Als nächstes steht für mein Forschungsprojekt die Testphase verschiedener Chatbots, bzw. Sprachmodelle an. Entschieden habe ich mich für Open AI (ChatGPT), Anthropic (Claude), Google (Gemini) und Mistral AI (Mistral).

Ich selbst nutze seit meinen Anfängen mit KI wie die meisten Open AI. Später kam Anthropic hinzu. Mistral AI und Google folgten im Lauf meines Projekts.

Die Dialoge waren meistens bereichernd, inspirierend und informativ. Aber ich habe auch klare Unterschiede und gravierende Nachteile erlebt. Halluzinationen, Schmeicheleien oder auch zu viele Informationen habe ich als sehr problematisch wahrgenommen.

Aber ich verstand auch sehr schnell, dass mit entsprechenden Nachbesserungen der Anfragen deutlich bessere Ergebnisse zu erzielen sind. Für das anstehende Forschungsprojekt begann ich mich bewusster mit diesen Problemen und ihren Ursachen auseinanderzusetzen.

Das Projekt wird konkret

Die tiefgreifende Beschäftigung mit künstlerischer Intelligenz in der Vorbereitungsphase offenbarte mir eine neue Welt. Ich verstand, wie wichtig der richtige Umgang mit Vor- und Nachteilen ist.

Mir ist bewusst, dass ich nur davon profitiere, wenn ich sicher, effizient und effektiv damit umzugehen weiß. Ich musste also verstehen lernen, wie ich zu den gewünschten Ergebnissen komme.

Was ich brauche, sind in erster Linie konkrete Informationen, die richtig und aktuell sind. Doch wie erreiche ich das? Wie kann ich Sprachmodelle so füttern, dass sie mir genau das liefern?

Prompten will gelernt sein

Was ist ein Prompt, werden Sie sich an dieser Stelle vielleicht fragen? Die Antwort; so nennt man die Eingaben, bzw. Aufforderungen, bzw. Fragen die wir einem Sprachmodell stellen.

Wer beispielsweise ChatGPT öfter nutzt merkt schnell, dass die Resultate oft nicht optimal ausfallen. Zum gewünschten Ergebnis kommt man manchmal erst, wenn die ursprünglich gestellte Frage nachgebessert wird, d.h. der KI mehr Infos dazu gibt.

Nutzt man mehrere Chatbots, sieht man zudem auch die Unterschiede von Modell zu Modell. Jedes hat eigene Stärken und Schwachstellen. Was also tun?

Prompt Sensitivität

Das ist der Fachbegriff, dem ich im Rahmen meiner Vorbereitungen als erstes begegnete und der mich aufhorchen ließ. Er bezeichnet die Empfindlichkeit eines Sprachmodells in der Verarbeitung unterschiedlicher Formulierungen einer Eingabe. Schon kleine Veränderungen einzelner Wörter, der Satzstruktur oder das Hinzufügen weiterer Infos ergeben erstaunlich vielfältige Antworten.

Genau das ist für mich relevant. Möchte ich effektiv und effizient mit KI arbeiten, muss ich mich logischerweise damit tiefgreifend beschäftigen. Prompt Sensitivität wies mir den Weg. Denn; diese Empfindlichkeit kann man messen.

Doch wie geht das? Und kann ich das auch? Die Antwort ist ja und der Plan wie folgt. Ich werde vier verschiedene Sprachmodelle mit denselben Prompts in unterschiedlichen Variationen füttern und ihre Antworten nach festgelegten Kriterien miteinander vergleichen.

Prompt-Engineering

Soweit so gut, aber auch leichter gedacht als getan. Wie genau generiere ich sinnvoll unterschiedliche Varianten einer Fragestellung? Einiges hatte ich mir im Laufe meiner bisherigen Nutzung bereits selber angeeignet.

Aber für ein wissenschaftliches Projekt brauche ich Methodik. Die kann ich nur entwickeln, wenn ich über grundlegendes Wissen zum Thema Prompten verfüge.

Auf der Suche nach mehr Informationen hörte ich in einem KI-Podcast den Begriff Prompt Engineering. Dabei handelt es sich um die gezielte Optimierung eines Prompts um das Potenzial eines KI-Systems richtig ausschöpfen zu können.

Auch wichtig zu wissen; in der Interaktion zwischen Mensch und Maschine geht es nicht nur um rein faktische Sprachverarbeitung. Das KI-Modell soll darüber hinaus auch die Absicht des Users verstehen können. Nur so entstehen sinnvolle Antworten und vor allem weniger Halluzinationen. Im Idealfall lassen sich neue Ideen zünden.

Große Unternehmen beschäftigen Prompt Engineers. Diese spezialisierten Köpfe holen aus jeder Anweisung das beste heraus. Man spricht dabei auch von Prompt Tuning.

Es gibt sogar Unternehmen, die sich darauf fokussiert haben. Ihr Einsatz kann sehr gewinnbringend sein. Vom Mittelstand bis zum DAX-Konzern und in der Wissenschaft profitiert man inzwischen davon. Es ist zum Standard geworden und wird sogar erforscht.

Wie lernt man das und vor allem, wie lerne ICH das?

In der Vorbereitungsphase bin ich nicht ohne Grund so tief in die Materie KI eingedrungen. Denn soviel wusste ich; wer richtig prompten können will, der muss die Grundlagen künstlischer Intelligenz verstehen.

Also habe ich über Wochen nichts Anderes gemacht als zu recherchieren, zu lesen und zu verstehen. Es wurde immer spannender und ich erkannte eine interessante Herausforderung für mich.

Bei der Planung meines Forschungsprojektes entschied ich mich daher auch konsequent für die anstehende Testphase. Aus meiner Sicht ist das der optimale Weg zum ‚richtigen Prompten‘.

Im Einsatz unterschiedlicher KI-Modelle möchte ich zuverlässigen und kreativen Output erzeugen. Nur so kann und möchte ich damit arbeiten. Schließlich habe ich einige Aufgaben für KI vorgesehen – nicht nur im Rahmen meiner Forschung.

Einsatzmöglichkeiten sehe ich zukünftig so einige in meiner künstlerischen Arbeit. Für welche ich mich tatsächlich entscheiden werde soll dieses Projekt zeigen.

Darum starte ich demnächst mit den anstehenden Testfragen systematisch in verschiedenen Varianten. Ich werde mich dabei für jeweils vier verschiedene Ausführungen entscheiden und die Ergebnisse auswerten.

Master-Template

Für diese Testphase habe ich ein Master Template ausgearbeitet. Jede einzelne Frage wird in allen Varianten darin dokumentiert. Genauso verfahre ich mit den Antworten. Aufgrund meiner Forschungsmethodik erfolgt direkt eine Bewertung nach festgelegten Kriterien.

Im Anschluss an die gesamte Testphase erfolgt eine entsprechende Evaluation.

Was hat das mit künstlerischer Forschung zu tun?

Die anstehende Testphase soll zwei Ergebnisse bringen:

• Richtiges Prompten erlernen
• Grundlage für effektives und effizientes Arbeiten mit KI-Systemen im weiteren Verlauf des Projektes

Letzteres ist vor allem relevant, um eine gute Einschätzung der für mich aktuell geeignetsten Sprachmodelle zu erhalten. Jedes hat andere Stärken und so ziehe ich nicht in Erwägung zukünftig nur ein Modell zu nutzen. Eher wird es so sein, für unterschiedliche Bereiche meiner Arbeit gezielt jeweils eines der Systeme einzusetzen.

Das richtige Prompten betrifft auch KI-Tools in der Bildbearbeitung und ist ein großer Vorteil. Das ist bereits jetzt ein ganz wichtiger Aspekt für meine fotografische und künstlerische Arbeit. Gerade für Letzteres wird sie im Laufe meines Projekts eventuell einen ganz neuen Stellenwert bekommen.

Und dann wären da ja noch die Neurowissenschaften …

Sie bilden den wichtigsten Schnittpunkt meiner Kunst. Auf optische Täuschungen spezialisiert, arbeite ich gezielt mit dem Wissen zur Wahrnehmung und ihrer Grenzen. Neurowissenschaften können erklären, wie optische Täuschungen überhaupt möglich sind und wie genau sie im Gehirn wirken.

Auch in diesem Zusammenhang sehe ich ein großes Potential in KI für meine Arbeit. Wie genau ich mir das vorstelle, erfahren Sie zu gegebenem Zeitpunkt.

Schneller Fortschritt

Die Entwicklung der großen Sprachmodelle schreitet allerdings rasant voran. Mit jedem neuen Modell gibt es neues Potential. So ist unter anderem das sogenannte Kontextverständnis inzwischen deutlich besser. Das ermöglicht einer KI beispielsweise ‚zwischen den Zeilen zu lesen‘. Das ist ein wichtiges Ergebnis und ein Beispiel für die Fähigkeiten solcher Systeme.

Den Umstand schneller  Veränderungen muss ich für mein Projekt berücksichtigen. Fakt ist; aufgrund neuer Modellvarianten erzeugt meine anstehende Testphase nur ein temporäres Ergebnis.

Daher ist zum jetzigen Zeitpunkt angedacht, die Testphase parallel zum Forschungsprojekt mehrmals identisch zu wiederholen.

In all dem zeigt sich, wie perfekt explorative Forschung zu meinem Pojekt passt. Aber dazu im nächsten Blog mehr.

Es bleibt spannend …