Im Bereich der Ideen und der Kommunikation reichen Worte manchmal nicht aus. Eine schnelle Skizze, etwa die Darstellung eines Schaltkreises, kann komplexe Konzepte wirkungsvoll vermitteln. Aber was wäre, wenn man künstliche Intelligenz in diesem kreativen Prozess nutzen könnte? Nun, diese Idee ist dank der brillanten Köpfe von Forschern aus MIT-Labor für Computerwissenschaften und künstliche Intelligenz (CSAIL) und der Stanford University. Unter dem Namen haben sie ein KI-System entwickelt, das eher wie ein Mensch skizziert: SketchAgent.
Dieses innovative neue Tool nutzt multimodale Sprachmodelle – also Systeme, die sowohl auf Text als auch auf Bilder trainiert sind. Es kann Eingaben in natürlicher Sprache verarbeiten und diese innerhalb von Sekunden in einfache Skizzen im handgezeichneten Stil umsetzen. Im Gegensatz zu vielen KI-Kunsttools, die den Schwerpunkt auf fotorealistische Bilder oder stilisierte Cartoons legen, konzentriert sich SketchAgent auf den Prozess des Skizzierens und ahmt dabei die Art und Weise nach, wie Menschen Strich für Strich zeichnen. Dieser Ansatz ermöglicht organischere, iterative Visualisierungen. So kann SketchAgent alles zeichnen – von einem einfachen Haus bis hin zur gemeinsamen Arbeit an einer komplexen Skizze mit Menschen –, wobei es textbasierte Anweisungen entgegennimmt und jede Komponente einzeln skizziert.
Bei der Entwicklung von SketchAgent entschieden sich die Wissenschaftler für einen einzigartigen Ansatz. Anstatt die KI anhand riesiger Datenbanken mit menschlichen Skizzen zu trainieren, brachten sie ihr eine sogenannte ‘Skizziersprache’ bei. Diese geniale Methode zerlegt Zeichnungen in Strichfolgen, die auf ein Raster abgebildet werden, wobei jeder Strich nummeriert und beschriftet ist. Diese Skizziersprache ermöglicht es dem KI-System, abzuleiten, wie neue Konzepte skizziert werden, denen es zuvor noch nicht begegnet ist.
Zu dem Team, das diese neue KI-Revolution anführt, gehören Yael Vinker, Tamar Rott Shaham, Alex Zhao und Antonio Torralba vom MIT sowie Kristine Zheng und Judith Ellen Fan aus Stanford. Die Welt wird auf der Conference on Computer Vision and Pattern Recognition (CVPR) 2025 mehr über ihre bahnbrechende Arbeit erfahren.
Das Besondere an SketchAgent ist die Fähigkeit, jeden Strich nacheinander zu zeichnen, ähnlich wie ein Mensch es tun würde. Diese Fähigkeit führt zu Skizzen, die sich natürlich und menschlich anfühlen. Während andere KI-Modelle visuell ansprechende Bilder aus Text generieren können, fehlt ihnen oft die schrittweise Kreativität, die beim Skizzieren erforderlich ist. Darüber hinaus hat die KI das Potenzial, eine breite Palette von Ideen zu zeichnen, von Schmetterlingen und DNA-Helices bis hin zum ikonischen Opernhaus von Sydney, dank ihrer Fähigkeit, das breite Wissen von vortrainierten Sprachmodellen anzuzapfen, auch wenn diese Modelle natürlich nicht zeichnen können.
Ein weiteres bahnbrechendes Merkmal von SketchAgent ist seine Fähigkeit, mit Menschen zusammenzuarbeiten. Bei den Tests wurde festgestellt, dass die Beiträge der KI für die endgültigen Skizzen entscheidend waren. Wenn beispielsweise der von der KI gezeichnete Mast aus einer Segelbootskizze entfernt wurde, war die Zeichnung nicht mehr zu erkennen. Die Forscher experimentierten auch mit verschiedenen Sprachmodellen, um herauszufinden, welches die menschenähnlichsten Zeichnungen hervorbringt. Claude 3.5 Sonnet erwies sich als Spitzenreiter und stellte GPT-4o und Claude 3 Opus bei der Erstellung erkennbarer vektorbasierter Skizzen in den Schatten.
Zugegebenermaßen gibt es bei SketchAgent trotz seines enormen Potenzials noch einige Kinderkrankheiten zu beheben. Derzeit meistert es das Zeichnen einfacher Strichmännchen und Kritzeleien hervorragend, hat jedoch Schwierigkeiten mit komplexen Bildern wie Logos, Text oder detaillierten Kreaturen wie Einhörnern und Kühen. Zudem interpretiert es gelegentlich die Absichten des Nutzers falsch, wie zum Beispiel bei der Erstellung einer Skizze eines zweiköpfigen Hasen – wahrscheinlich, weil der schrittweise Prozess der KI nicht mehr mit dem menschlichen Mitwirkenden synchron ist. Um diese Anlaufschwierigkeiten zu beheben, plant das Forschungsteam, SketchAgent mit synthetischen Daten aus Diffusionsmodellen zu trainieren und die Benutzeroberfläche zu optimieren, damit sie während gemeinsamer Skizziersitzungen intuitiver und reaktionsschneller wird.
Dennoch läutet SketchAgent eine neue Ära in der Kommunikation zwischen Mensch und KI ein. Durch die Unterstützung der visuellen Kommunikation mittels Skizzen eröffnen sich unschätzbare Möglichkeiten für Lehrkräfte, Forscher und alle, die ihre Ideen visuell zum Ausdruck bringen möchten. Die Hauptautorin Yael Vinker erklärte: “Vielen Menschen ist gar nicht bewusst, wie oft sie im Alltag zeichnen – sei es beim Brainstorming oder um etwas visuell zu erklären. SketchAgent zielt darauf ab, diesen Prozess nachzubilden und so dazu beizutragen, dass KI zu einem effektiveren Werkzeug für den visuellen Ausdruck wird.” Tatsächlich könnten innovative Werkzeuge wie SketchAgent im Zuge der fortschreitenden Entwicklung der KI die Art und Weise verändern, wie wir mit Maschinen interagieren – weg von bloßen Worten hin zu gemeinsamer, visueller Kreativität.
Quelle: MIT-Nachrichten
Diese Website verwendet Cookies.