Das Geheimnis hinter ChatGPT (eBook)

Wie die KI arbeitet und warum sie funktioniert

Stephen Wolfram (Autor)

eBook Download: EPUB

2023 | 1. Auflage
160 Seiten
MITP Verlags GmbH & Co. KG
978-3-7475-0747-6 (ISBN)

Infos

• Die Technik hinter ChatGPT für jeden leicht verständlich erklärt
• Mit zahlreichen Beispielen und Schaubildern
• Verfasst von Stephen Wolfram, dem bekannten Schöpfer der Software Mathematica und der Suchmaschine Wolfram|Alpha

Niemand hat damit gerechnet - nicht einmal die Entwickler selbst. ChatGPT hat sich als KI entpuppt, die in der Lage ist, überzeugend auf menschlichem Niveau zu schreiben. Aber wie funktioniert das genau? Was geht in dem »Verstand« dieser KI vor?

Der bekannte Wissenschaftler und Pionier Stephen Wolfram liefert in diesem Buch eine lesenswerte fesselnde Erläuterung der Funktionsweise von ChatGPT, die aus seiner jahrzehntelangen Erfahrung in der IT-Forschung schöpft. Mit anschaulichen Schaubildern und realen Beispielen bietet er einen Blick hinter die Kulissen des beliebten Chatbots. Dabei gibt er nicht nur einen leicht verständlichen Einblick in die Arbeitsweise und das Training neuronaler Netze, sondern zeigt auch detailliert, wie die Sprachverarbeitung von ChatGPT funktioniert und welche Rolle Syntax und Semantik der menschlichen Sprache dabei spielen.

Finden Sie heraus, wie ChatGPT die modernste Technologie neuronaler Netze mit grundlegenden Fragen bezüglich der Sprache und des menschlichen Denkens vereint und wie inhaltlich falsche Ausgaben unter Zuhilfenahme von Wolfram|Alpha vermieden werden können.

Stephen Wolfram ist preisgekrönter Wissenschaftler und Bestseller-Autor sowie der Schöpfer der weltweit angesehenen Software-Systeme: Mathematica, Wolfram|Alpha und Wolfram Language. Seit mehr als 35 Jahren ist er CEO des weltweit agierenden Technologie-Unternehmens Wolfram Reserach. Darüber hinaus ist er für eine Reihe von bahnbrechenden Fortschritten in der Grundlagenwissenschaft verantwortlich, darunter auch sein neuestes Projekt Wolfram Physics Project.

• Fachbuch-Bestseller: Informatik (Nr. 6/2024) — Platz 4
• Fachbuch-Bestseller: Informatik (Nr. 10/2023) — Platz 8

Textauszug

Kapitel 1:
Es fügt nur immer wieder ein Wort hinzu

Dass ChatGPT automatisch etwas generieren kann, das sich, wenn auch nur oberflächlich betrachtet, wie ein von Menschen geschriebener Text liest, ist bemerkenswert und unerwartet. Aber wie macht es das? Und wieso funktioniert es? Ich möchte Ihnen hier einen groben Überblick darüber verschaffen, was in ChatGPT passiert – und dann untersuchen, warum es so gut darin ist, etwas herzustellen, was man für sinnvollen Text halten könnte. Seien Sie sich bewusst, dass für mich die Betonung hier auf dem Wort »Überblick« liegt – und auch wenn ich einige technische Details erwähne, werde ich nicht allzu detailliert darauf eingehen. (Und im Wesentlichen gilt das, was ich schreibe, nicht nur für ChatGPT, sondern auch für andere aktuelle »‌Large Language Models« [‌LLMs].)

Zunächst muss man verstehen, dass ChatGPT im Prinzip immer versucht, eine »vernünftige Fortsetzung« desjenigen Textes zu erzeugen, den es bisher vorliegen hat. Dabei bedeutet »vernünftig«, »was man von jemandem erwarten würde, nachdem man gesehen hat, was Menschen auf Milliarden von Webseiten usw. geschrieben haben«.

Nehmen Sie also einmal an, Sie haben den Text »The best thing about AI is its ability to«. Stellen Sie sich vor, Sie überfliegen Milliarden von Seiten mit von Menschen geschriebenem Text (zum Beispiel im Web und in digitalisierten Büchern) und finden alle Vorkommen dieses Textes – und sehen dann, welches Wort in welchem Zeitabstand als Nächstes kommt. ChatGPT macht prinzipiell genau das, allerdings (wie ich bald erklären werde) betrachtet es den Text nicht wortwörtlich. Stattdessen sucht es nach Dingen, die in einem gewissen Sinn »in ihrer Bedeutung passen«. Letztendlich erzeugt es eine ‌Rangliste von Wörtern, die folgen könnten, zusammen mit ihren »‌Wahrscheinlichkeiten«:

Das Bemerkenswerte ist, dass ChatGPT, wenn es zum Beispiel einen Essay schreibt, im Prinzip immer und immer wieder fragt: »Wie sollte angesichts des Textes, den ich bisher habe, das nächste Wort lauten?« – und immer wieder ein Wort hinzufügt. (Genauer gesagt fügt es, wie ich gleich erklären werde, ein »‌Token« hinzu, bei dem es sich auch um einen Teil eines Wortes handeln könnte, weshalb es manchmal »neue Wörter erfindet«.)

Bei jedem Schritt erhält es also eine Wortliste mit Wahrscheinlichkeiten. Welches Wort soll es nun auswählen, um es an den Essay (oder Ähnliches) anzuhängen, den es schreibt? Man könnte annehmen, dass es das Wort mit dem »höchsten Rang« nimmt (d.h. dasjenige, dem die größte Wahrscheinlichkeit zugewiesen wurde). Dies ist allerdings die Stelle, an der ein bisschen gezaubert wird. Denn aus irgendeinem Grund – und man kann sich das vielleicht eines Tages sogar wissenschaftlich erklären – erhält man einen ziemlich »flachen« Essay, der niemals »irgendeine Kreativität zu zeigen« scheint (und sich manchmal sogar Wort für Wort wiederholt), wenn man immer das am höchsten eingestufte Wort wählt. Nimmt man dagegen manchmal (ganz zufällig ausgewählte) Wörter mit niedrigerem Rang, erhält man einen »interessanteren« Essay.

Die Tatsache, dass hier eine gewisse ‌Zufälligkeit im Spiel ist, bedeutet, dass Sie wahrscheinlich jedes Mal einen anderen Essay bekommen, selbst wenn Sie mehrmals dasselbe Ausgangsmaterial einsetzen. Und, um bei der Vorstellung von der Zauberei zu bleiben, es gibt einen speziellen sogenannten »‌Temperatur«-Parameter, der bestimmt, wie oft Wörter mit niedrigerem Rang benutzt werden. Für die Erstellung von Essays scheint ein »Temperatur«-Wert von 0,8 sich am besten zu eignen. (Ich betone es noch einmal, dass dem Ganzen hier keine »Theorie« zugrunde liegt, sondern dies einfach auf der Erfahrung beruht, was in der Praxis am besten funktioniert. Das Konzept der »Temperatur« gibt es zum Beispiel deshalb, weil ‌Exponentialverteilungen benutzt werden, die uns aus der statistischen Physik[1] vertraut sind, auch wenn es keine »physikalische« Verbindung gibt – zumindest soweit wir das wissen.)

Bevor wir weitermachen, sollte ich noch erklären, dass ich zu Darstellungszwecken meist nicht das komplette System in ChatGPT nutze. Stattdessen arbeite ich normalerweise mit einem einfacheren ‌GPT-2-System, das die schöne Eigenschaft besitzt, klein genug zu sein, um auf einem einfachen Desktop-Computer zu laufen. Und so kann ich im Prinzip für alles, was ich Ihnen zeige, auch den expliziten ‌Code in der Wolfram Language[2] angeben, den Sie dann selbst auf Ihrem Computer ausprobieren können.

So kommen Sie zum Beispiel zu der oben gezeigten Tabelle der Wahrscheinlichkeiten. Zuerst müssen wir das dem »Sprachmodell« zugrunde liegende ‌neuronale Netz[3] beziehen:

Später werden wir einen Blick in dieses neuronale Netz werfen und diskutieren, wie es funktioniert. Für den Augenblick wenden wir dieses »Netzmodell« einfach als eine Art Black Box auf unseren bisher erstellten Text an und fragen nach den fünf Wörtern mit der höchsten Wahrscheinlichkeit, die das Modell vorhersagt:

Nun wird das Ergebnis in einen explizit formatierten »Datensatz«[4] umgewandelt:

Folgendes passiert, wenn man wiederholt »das Modell anwendet« – und bei jedem Schritt das Wort hinzufügt, das die höchste Wahrscheinlichkeit hat (angegeben in diesem Code als die »D‌ecision«, also die ‌Entscheidung des Modells):

Was passiert, wenn das so weitergeht? In diesem Fall (»Temperatur Null«) wird das Ergebnis schnell ziemlich wirr und beginnt, sich zu wiederholen:

The best thing about AI is its ability to learn from experience.
It's not just a matter of learning from experience, it's learning
from the world around you. The AI is a very good example of this.
It's a very goodexample of how to use AI to improve your life. It's
a very good example of how to use AI to improve your life. The AI
is a very good example of howto use AI to improve your life. It's a
very good example of how to use AI to

Was ist, wenn man nicht immer das »oberste« Wort nimmt, sondern manchmal zufällig Wörter wählt, die »nicht ganz oben« stehen (wobei die »Zufälligkeit« der »Temperatur« von 0,8 entspricht)? Auch hier kann man wieder einen Text aufbauen:

{ The best thing about AI is its ability to,
The best thing about AI is its ability to create,
The best thing about AI is its ability to create worlds,
The best thing about AI is its ability to create worlds that,
The best thing about AI is its ability to create worlds that are,
The best thing about AI is its ability to create worlds that are both,
The best thing about AI is its ability to create worlds that are both exciting,
The best thing about AI is its ability to create worlds that are both exciting, }

Jedes Mal, wenn man das macht, werden andere Zufallsentscheidungen getroffen, sodass der Text anders ausfällt – wie diese fünf Beispiele beweisen:

The best thing about AI is its ability to learn. I’ve always liked the
The best thing about AI is its ability to really come into your world and just
The best thing about AI is its ability to examine human behavior and the way it
The best thing about AI is its ability to do a great job of teaching us
The best thing about AI is its ability to create real tasks, but you can

Beachten Sie, dass selbst im ersten Schritt bereits eine Menge möglicher »nächster Wörter« zur Auswahl stehen (bei einer Temperatur von 0,8), auch wenn ihre Wahrscheinlichkeiten sehr schnell ziemlich stark abfallen (und ja, die gerade Linie in dieser doppelt logarithmischen Darstellung entspricht einem Potenzabfall von n-1, der typisch ist für die allgemeine Statistik von Sprachen[5]):

Was passiert, wenn das noch weitergeht? Hier ist ein zufälliges Beispiel. Es ist besser als das Ergebnis mit dem obersten Wort (Temperatur Null), aber bleibt dennoch im besten Fall ziemlich seltsam:

The best thing about AI is its ability to see through, and make
sense of, the world around us, rather than panicking and ignoring.
This is known as AI "doing its job" or AI "run-of-the-mill."
Indeed, taking an infinite number of steps, developing a machine
that can be integrated with other systems, or controlling one system
that's truly a machine, is one of the most fundamental processes of AI.
Aside from the human-machine interaction, AI was also a big part of
creativity

(Das Beste an der KI ist ihre Fähigkeit, die Welt um uns herum zu durchschauen und ihren Sinn zu verstehen, anstatt in Panik zu verfallen und sie zu ignorieren. Das bezeichnet man als KI, »die ihren Job erledigt« oder »Wald-und-Wiesen-KI«. Tatsächlich ist es einer der grundlegendsten Prozesse der KI, eine unendliche Anzahl an Schritten zu durchlaufen und eine Maschine zu entwickeln, die in andere Systeme integriert werden kann, oder ein System zu kontrollieren, das wirklich eine Maschine ist. Abgesehen von der Mensch-Maschine-Interaktion war die KI auch ein großer Teil der Kreativität.)

Dies wurde mit dem einfachsten GPT-2-Modell[6] (von 2019) erzeugt. Die neueren und größeren GPT-3-Modelle liefern bessere Ergebnisse. Hier ist der Text, der mit dem jeweils obersten Wort (Temperatur Null) und derselben Ausgangsphrase erzeugt wird, allerdings mit dem größten ‌GPT-3-Modell[7]:

The best thing about AI is its ability to automate processes and
make decisions...

Produkt-Details

• Erscheint lt. Verlag: 22.8.2023
• Sprache: deutsch
• Themenwelt: Mathematik / Informatik ► Informatik
• ISBN-10: 3-7475-0747-6 / 3747507476
• ISBN-13: 978-3-7475-0747-6 / 9783747507476