Wie funktioniert Künstliche Intelligenz? Ein Gespräch mit Ranga Yogeshwar über ChatGPT und die Folgen (1)

Ranga Yogeshwar ist studierter Experimentalphysiker und freiberuflicher Wissenschaftsjournalist. In seiner Arbeit hat er sich immer wieder mit künstlicher Intelligenz beschäftigt. Ich habe ihn gefragt, wie funktionieren Systeme wie ChatGPT? Sind sie wirklich „intelligent“? Was passiert, wenn sie großflächig zum Einsatz kommen? Was hätte das für Auswirkungen auf Bibliotheken? Das Gespräch erscheint in 4 Teilen.

Michael Knoche: Was ist ChatGPT?

Ranga Yogeshwar: ChatGPT ist zunächst eine statistische KI. Hierbei werden Wörter nach rein statistischen Kriterien zusammengewürfelt. Bei der Bilderkennung hat das in der Vergangenheit sehr gut funktioniert, beim Textverständnis war dieses jedoch ein Problem, bis man sogenannte Transformer-Models einführte. 2019 kamen die ersten Aufsätze wie der hier vorliegende heraus Training language models to follow instructions with human feedback ¹, und zwar mit einem Abstract, in dem es heißt: „Note, the abstract above was not written by the authors, it was generated by one of the models presented in this paper.“ Das fand ich sehr bemerkenswert, dass sich die Schlange jetzt in den Schwanz beißt. ChatGPT ist und bleibt jedoch ein Würfelspiel und fängt sogar an zu halluzinieren. Ein paar Beispiele. Ich habe ChatGPT gefragt, welche Bücher ich geschrieben habe. Es werden Bücher genannt, die tatsächlich erschienen sind, aber es gibt auch solche, die ich nie geschrieben habe. Ich frage, wie heißt meine Ehefrau? Die Antwort ist: Manisha Yogeshwar, ebenfalls Physikerin, sie haben zusammen zwei Kinder. Völlig ausgedacht! Dann stelle ich die Frage noch einmal am nächsten Tag, und jetzt kneift das System. Das heißt, wir attribuieren dem System eine Intelligenz, die einfach nicht da ist, denn diese Antworten entsprechen lediglich einer Wahrscheinlichkeit. Dass Ranga mit Manischa und nicht mit Ursula verheiratet ist, erscheint dem System wahrscheinlicher – ist aber eben falsch.

Künstliche „Intelligenz“ ist dann wohl nicht der angemessene Begriff für die Methode, Wissen neu zu sortieren und zusammenzuwürfeln.

Zuerst einmal, der Begriff „künstliche Intelligenz“ ist schon an sich zu hinterfragen. Bevor sie künstlich wird – was ist überhaupt Intelligenz? Es gibt in der Wissenschaft bis heute keine stringente Definition. Es gibt sogenannte IQ-Tests, bei denen man aber genau weiß: Die testen natürlich nur bestimmte Fähigkeiten. Diese Tests sind extrem stark abhängig vom Kulturkreis. Macht man denselben IQ-Test in Nordamerika oder in Südostasien, kommen unterschiedliche Ergebnisse heraus. Das liegt nicht an den unterschiedlichen Intelligenzen der Köpfe. Das, was wir bei ChatGPT sehen, beruht nicht auf Reflexion, ist kein Ergebnis von Denkprozessen und Erkenntnis, sondern billigste Statistik, nichts anderes. Man kann diesen fundamentalen Unterschied nicht oft genug unterstreichen, da viele sich durch die scheinbare Leistungsfähigkeit von ChatGPT blenden lassen und meinen, dieses System sei intelligent und verstehe, was es ausspuckt. Der Weg, den man hier eingeschlagen hat, setzt auf folgenden Ansatz: Simuliere die Struktur unseres Gehirns, dann entsteht daraus ein intelligentes Etwas. Wir haben in den letzten Jahrzehnten verstanden, dass unser Gehirn aus etwa hundert Milliarden Neuronen besteht.  Jede einzelne Gehirnzelle ist wiederum mit 10.000 anderen vernetzt.  Ein einzelnes Neuron hat dabei in dieser Modellierung die Funktion eines Schalters: In Abhängigkeit von dem, was reinkommt, wird geschaltet oder nicht. Zur Verfeinerung werden dann noch Wichtungen und Schwellenwerte für die einlaufenden Impulse eingebaut. In dieser Vereinfachung kann man also ein Neuron mathematisch beschreiben und vernetzen. Man spricht dann von digitalen Neuronalen Netzwerken (DNN).

Das fügt sich perfekt in das Grundkonzept der Digitalisierung ein, wonach sich Bilder, Texte, Sprache oder Videos auf einen Datenstrom von Zahlen reduzieren lassen: Ein Bild etwa besteht in dieser Logik aus einzelnen Bildpunkten, von denen jeder einen Wert für die Helligkeit oder die Farbe hat. Mit diesen Daten fütterst du ein neuronales Netz. Die Aufgabe: Die Daten werden einzelnen Kategorien zugeordnet, also dieses Bild zeigt eine Katze, das nächste zeigt ein Auto oder diese Bilddaten einer Röntgenaufnahme zeigen einen Tumor. Zunächst werden diese Systeme trainiert, d.h. das neuronale Netz wird mit bekannten (gelabelten) Daten gefüttert, macht einen ersten Vorschlag und wird dann so verändert, dass es allmählich bei dem jeweiligen Input automatisch die korrekte Kategorie zuordnet. In der Statistik nennt man das rekursives Optimieren. That’s it, ziemlich primitiv. Wir Menschen lernen übrigens ganz ähnlich: Wenn ich mit meiner Enkelin ein Bilderbuch anschaue, frage ich: „Was ist das für ein Tier?“ Sie antwortet „Katze“ und ich lobe sie „Toll …“  

Bei Bildern hat das ganz gut funktioniert. Die Voraussetzung sind jedoch Unmengen an Trainingsdaten und ungeheuer gute Computer. Schon hier sollten wir skeptisch werden, denn die digitalen neuronalen Netze benötigen Millionen von Trainingsdaten, bis sie selbst ein Objekt erkennen. Wenn deine Enkelin 200.000 Katzenbilder sehen müsste, bis sie begreift, dass dieses Bild eine Katze darstellt, würden wir kaum sagen, sie sei intelligent! Irgendwann jedenfalls erkennen diese Systeme mit großer Genauigkeit, was auf einem Bild zu sehen ist. Im nächsten Schritt kann man dann noch den umgekehrten Weg beschreiten und das System generiert ein Bild. (generative AI) Die KI fängt also an, künstliche Bilder zu erzeugen, die inzwischen fotorealistisch sind. Die Menschen auf diesen Fotos gibt es gar nicht.

Du siehst auf der nächsten Folie, „Language and image recognition capabilities … improved rapidly“, welche Fortschritte die KI in den letzten Jahren gemacht hat. Um 2000 begann es mit dem Erkennen von geschriebener Schrift. Die trivialste Anwendung dafür war das Sortieren von Briefumschlägen bei der Post. Die horizontale Linie „Human performance and the benchmark, is set to zero“ bedeutet, dass die Erkennung der Handschrift (die rote Kurve) immer besser wurde. Irgendwann um 2015 war die Maschine so gut wie ein Mensch. Das hat die Konsequenz: Alle Menschen, die bisher bei der Post Briefe sortiert haben, können nach Hause geschickt werden. Spracherkennung (Speech recognition), hat eine ähnliche Verlaufskurve, das ist der Grund, warum Alexa oder Siri per Sprachbefehl z.B. das Licht einschalten. Auch bei der Bilderkennung ging die blaue Kurve sehr schnell nach oben. Es dauerte jedoch bis nach 2015, bis das Sprachverständnis (Reading comprehension und Language understanding)  in Schwung kamen. Das hat damit zu tun, dass Bild und Text unterschiedlich sind.

Bilder sind eindeutig, doch bei Texten gibt es weitere Herausforderungen für die KI: In unserer Sprache gibt es z. B. Homonyme, also Wörter wie „Flügel“, auf dem man Beethoven spielt oder mit denen Engel durch den Himmel fliegen. Das jeweilige Wort bekommt seinen Inhalt durch den Kontext.  Die Position des Wortes verändert zudem die Satzbedeutung:   „I hit only him in his face“ bedeutet etwas anderes als „I hit him in his face only“ usw. Das muss eine KI berücksichtigen. Durch die Entwicklung der Transformer Modelle hatte man eine Methode entwickelt, wie man die Wortposition oder den Kontext auf einfache Weise statistisch verarbeiten kann. Das war der Start von leistungsfähigen Textmodellen, aber es bleiben statistische Modelle. Es ist sehr wichtig zu begreifen, dass die Grundlage eben nicht wirkliches Verständnis ist, sondern lediglich auf einer statistischen Wahrscheinlichkeit basiert.

Ein Beispiel: Was erkennst Du auf diesem Bild? Okay, Kühe. Die KI, die statistische Bilderkennung, schafft das auch ganz gut, so meinen wir. Du zeigst dem System Kühe, und dann steht da: „cow“, „cow“, „cow“. Aber wenn Du die Kühe auf einen Strand setzt, erkennt das System nicht mehr, dass es sich um eine Kuh handelt. Die KI hat eben kein inneres Verständnis einer Kuh, sondern sortiert, filtert und clustert Zahlen. Und das ist das, was bei ChatGPT wichtig ist zu verstehen: Es ist ein statistisches Würfelspiel. Die Ergebnisse scheinen sinnvoll zu sein, aber der Computer versteht nichts.

Die Verfechter von ChatGPT würden vermutlich sagen: Gut, das sind Kinderkrankheiten. Wir müssen noch mal eine Milliarde mehr Daten reinpowern, und in 2-3 Jahren werden diese Kinderkrankheiten erledigt sein.

Ich halte dagegen, denn der Grundansatz ist falsch und wird durch mehr Trainingsdaten nicht qualitativ verändert. Das, was GPT auszeichnet, ist nicht Qualität, sondern Quantität: Auf dieser Folie siehst Du, welche enorme Rechenleistung notwendig war, und welche Daten – die siehst Du unten – genutzt wurden.

ChatGPT hat Unmengen an Daten verwendet (Common Crawl, WebText2, Books, Wikipedia). In der Publikation steht: „All models were trained on V100 GPU‘s …“ Das sind spezielle Weiterentwicklungen von Grafikplatinen, wie man sie im PC von Gamern findet. Warum Grafikkarten? Wenn du Bilder bearbeiten möchtest, z. B. in einem Computerspiel die Perspektive wechseln willst, dann tust du das mit Hilfe von mathematischen Matrizen. Das ist also eine sehr spezielle Datenverarbeitung, die man mit eigens dafür entwickelten Prozessoren bewältigt. Der Vorteil dieser Spezialprozessoren besteht darin, dass sie gleichzeitig enorme Datenströme verarbeiten können, wodurch die Videos von Computerspielen sehr flüssig wirken.  Beim Trainieren digitaler neuronaler Netze greift man auf sehr ähnliche mathematische Grundfunktionen wie bei der Bildverarbeitung von Videospielen zurück. Daher werden in der KI Grafikplatinen eingesetzt.  

Die Kosten nur für einen Run habe ich auf etwa 3 Millionen US-Dollar geschätzt. Nur für einen Trainingsrun! Die Energie beträgt 2,8 GWh Strom. Systeme wie ChatGPT benötigen also sehr viel Kapital, doch die Annahme eine künstliche Intelligenz durch den Einsatz von statistischer KI zu erschaffen ist und bleibt zweifelhaft. Eine KI, die auf semantischem Verständnis basiert, würde mit weit weniger Rechenaufwand deutlich bessere Ergebnisse liefern. Wenn das gelingt, ist ChatGPT morgen tot.

Fortsetzung folgt

---

1. Ouyang, Long, et al.: Training language models to follow instructions with human feedback. arXiv preprint arXiv:2203.02155 (2022) [↩]

---

---