Praxiseinstieg Large Language Models (eBook)

Strategien und Best Practices für den Einsatz von ChatGPT und anderen LLMs

Sinan Ozdemir (Autor)

eBook Download: EPUB

2024 | 1. Auflage
274 Seiten
O'Reilly Verlag
978-3-96010-854-2 (ISBN)

Infos

Der Schnellstart in die praktische Arbeit mit LLMs - Das Buch bietet einen Überblick über zentrale Konzepte und Techniken von LLMs wie z.B. ChatGPT und zeigt das Potenzial von Open-Source- und Closed-Source-Modellen - Es erläutert, wie Large Language Models funktionieren und wie sie für Aufgaben des Natural Language Processing (NLP) genutzt werden - Auch für interessierte Nicht-Data-Scientists mit Python-Kenntnissen verständlich - Themen z.B.: die ChatGPT-API, Prompt-Engineering, Chatbot-Personas, Cloud-Bereitstellung; deckt auch GPT-4 abLarge Language Models (LLMs) wie ChatGPT sind enorm leistungsfähig, aber auch sehr komplex. Praktikerinnen und Praktiker stehen daher vor vielfältigen Herausforderungen, wenn sie LLMs in ihre eigenen Anwendungen integrieren wollen. In dieser Einführung räumt Data Scientist und KI-Unternehmer Sinan Ozdemir diese Hürden aus dem Weg und bietet einen Leitfaden für den Einsatz von LLMs zur Lösung praktischer Probleme des Natural Language Processings. Sinan Ozdemir hat alles zusammengestellt, was Sie für den Einstieg benötigen: Schritt-für-Schritt-Anleitungen, Best Practices, Fallstudien aus der Praxis, Übungen und vieles mehr. Er stellt die Funktionsweise von LLMs vor und unterstützt Sie so dabei, das für Ihre Anwendung passende Modell und geeignete Datenformate und Parameter auszuwählen. Dabei zeigt er das Potenzial sowohl von Closed-Source- als auch von Open-Source-LLMs wie GPT-3, GPT-4 und ChatGPT, BERT und T5, GPT-J und GPT-Neo, Cohere sowie BART. - Lernen Sie die Schlüsselkonzepte kennen: Transfer Learning, Feintuning, Attention, Embeddings, Tokenisierung und mehr - Nutzen Sie APIs und Python, um LLMs an Ihre Anforderungen anzupassen - Beherrschen Sie Prompt-Engineering-Techniken wie Ausgabe-Strukturierung, Gedankenketten und Few-Shot-Prompting - Passen Sie LLM-Embeddings an, um eine Empfehlungsengine mit eigenen Benutzerdaten neu zu erstellen - Konstruieren Sie multimodale Transformer-Architekturen mithilfe von Open-Source-LLMs - Optimieren Sie LLMs mit Reinforcement Learning from Human and AI Feedback (RLHF/RLAIF) - Deployen Sie Prompts und benutzerdefinierte, feingetunte LLMs in die Cloud

Sinan Ozdemir hat einen Master in Mathematik und ist ein erfolgreicher KI-Unternehmer und Venture-Capital-Berater. Seine ersten Erfahrungen mit Data Science und Machine Learning (ML) sammelte er während seiner Zeit als Dozent an der Johns Hopkins University, wo er mehrere KI-Patente entwickelte. Später entschied er sich, einen anderen Weg einzuschlagen, und wagte den Sprung in die schnelllebige Welt der Start-ups, indem er sich im kalifornischen Tech-Hotspot San Francisco niederließ. Dort gründete er Kylie.ai, eine innovative Plattform, die die Fähigkeiten der Conversational AI mit Robotic Process Automation (RPA) verschmolz. Kylie.ai wurde schon bald aufgrund ihres überzeugenden Wertversprechens schnell bekannt und 2019 schließlich verkauft. In dieser Zeit begann Sinan, zahlreiche Lehrbücher über Data Science, KI und ML zu verfassen. Seine Mission ist es, über die Fortschritte in diesem Bereich auf dem Laufenden zu bleiben und dieses Wissen an andere weiterzugeben - eine Philosophie, die er noch aus seiner Zeit als Universitätsdozent mitbringt. In seiner derzeitigen Rolle als CTO bei LoopGenius, einem von Venture Capital unterstützten Startup, steht Sinan im Mittelpunkt eines Teams, das die Möglichkeiten von KI-Anwendungen für die Unternehmensgründung und das Management auslotet.

Textauszug

Einleitung

Hallo! Mein Name ist Sinan Ozdemir. In bin ein ehemaliger theoretischer Mathematiker, der zum Universitätsdozenten wurde, dann zum KI-Enthusiasten, zum erfolgreichen Start-up-Gründer, zum KI-Lehrbuchautor und zum Berater für Risikokapitalgeber. Heute bin ich auch Ihr Reiseleiter durch das riesige Museum des Wissens, das die Entwicklung von Large Language Models (LLMs), also großen Sprachmodellen, und deren Anwendungen darstellt. Mit diesem Buch verfolge ich zwei Ziele: das Gebiet der LLMs zu entmystifizieren und Sie mit praktischem Wissen auszustatten, damit Sie in der Lage sind, mit LLMs zu experimentieren, zu programmieren und zu bauen.

Aber dies ist kein Schulungsraum, und ich bin kein typischer Professor. Ich bin nicht hier, um Sie mit komplizierter Terminologie zu überschütten. Vielmehr möchte ich komplexe Konzepte leicht verdaulich, nachvollziehbar und – was noch wichtiger ist – anwendbar machen.

Aber jetzt genug von mir. Dieses Buch ist nicht für mich – es ist für Sie. Ich möchte Ihnen einige Tipps dazu geben, wie Sie dieses Buch lesen können, wie Sie dieses Buch noch einmal lesen können (wenn ich meine Arbeit richtig gemacht habe) und wie Sie sicherstellen können, dass Sie alles, was Sie brauchen, aus diesem Text herausholen.

Leserkreis und Voraussetzungen

Für wen ist dieses Buch gedacht, werden Sie fragen. Nun, meine Antwort ist einfach: für jeden, der neugierig auf LLMs ist, den ehrgeizigen Programmierer, die unermüdlich Lernende. Ganz gleich, ob Sie sich bereits mit maschinellem Lernen (Machine Learning) beschäftigt haben oder erst am Rand stehen und Ihre Zehenspitzen in diesen riesigen Ozean tauchen, dieses Buch ist Ihr Leitfaden, Ihre Landkarte, um in den Gewässern der LLMs zu navigieren.

Aber ich will ehrlich zu Ihnen sein: Um das meiste aus dieser Reise herauszuholen, ist eine gewisse Erfahrung mit Machine Learning und Python von unschätzbarem Vorteil. Das heißt nicht, dass Sie ohne diese Kenntnisse nicht überleben werden, aber ohne diese Werkzeuge könnten die Gewässer ein wenig unruhig erscheinen. Wenn Sie unterwegs lernen, ist das aber auch prima! Einige der Konzepte, die wir erforschen werden, erfordern nicht unbedingt eine umfangreiche Programmierung, die meisten jedoch schon.

Ich habe auch versucht, in diesem Buch ein Gleichgewicht zwischen tiefem theoretischem Verständnis und praktischen Fertigkeiten herzustellen. Jedes Kapitel ist mit Analogien gefüllt, um das Komplexe einfach zu machen, gefolgt von Codeauszügen, die die Konzepte zum Leben erwecken. Im Wesentlichen habe ich dieses Buch als Ihr LLM-Dozent und Tutor geschrieben, um dieses faszinierende Gebiet zu entwirren und zu vereinfachen, anstatt Sie mit akademischem Fachjargon zu überhäufen. Ich möchte, dass Sie aus jedem Kapitel mit einem klareren Verständnis des Themas und dem Wissen, wie es in der Praxis anzuwenden ist, herausgehen.

Wie man an dieses Buch herangeht

Wie eben erwähnt, werden Sie einen leichteren Zugang zu diesem Buch haben, wenn Sie bereits Erfahrung in Machine Learning mitbringen, als wenn Sie komplett bei null anfangen. Dennoch steht der Weg offen für jeden, der in Python programmieren kann und bereit ist zu lernen. Dieses Buch ermöglicht verschiedene Stufen der Beteiligung, je nach Ihrem Hintergrund, Ihren Zielen und Ihrer verfügbaren Zeit. So können Sie tief in die praktischen Abschnitte eintauchen, mit dem Code experimentieren und die Modelle optimieren, oder Sie beschäftigen sich mit den theoretischen Teilen und eignen sich ein solides Verständnis von der Funktionsweise der LLMs an, ohne eine einzige Zeile Code zu schreiben. Sie haben die Wahl.

Wenn Sie das Buch durcharbeiten, sollten Sie daran denken, dass jedes Kapitel in der Regel auf vorherigen Arbeiten aufbaut. Die Kenntnisse und Fertigkeiten, die Sie in einem Abschnitt erwerben, werden in den nachfolgenden Kapiteln zu wertvollen Werkzeugen. Die Herausforderungen, denen Sie sich stellen müssen, sind Teil des Lernprozesses. Es kann sein, dass Sie manchmal etwas durcheinanderkommen, frustriert sind und vielleicht auch gar nicht weiterkommen. Als ich das visuelle Frage-Antwort-System (Visual Question-Answering, VQA) für dieses Buch entwickelte, hatte ich wiederholt mit Fehlschlägen zu kämpfen. Das Modell hat nur Unsinn ausgespuckt, immer wieder die gleichen Phrasen. Aber dann, nach unzähligen Wiederholungen, begann es, sinnvolle Ergebnisse zu erzeugen. Dieser Moment des Triumphs, das Hochgefühl, einen Durchbruch erzielt zu haben, war jeden Fehlversuch wert. Dieses Buch bietet Ihnen ähnliche Herausforderungen und folglich auch die Chance auf ähnliche Triumphe.

Aufbau dieses Buchs

Das Buch umfasst vier Teile.

Teil I: Einführung in Large Language Models

Die Kapitel in Teil I bieten eine Einführung in LLMs (Large Language Models) oder mit großen Datenmengen trainierte Sprachmodelle.

• Kapitel 1: Überblick über Large Language Models

  Dieses Kapitel bietet einen breiten Überblick über die Welt von LLMs. Es behandelt die Grundlagen: Was sind sie, wie funktionieren sie, und warum sind sie wichtig? Am Ende dieses Kapitel besitzen Sie solide Grundkenntnisse, um den Rest des Buchs zu verstehen.

• Kapitel 2: Semantische Suche mit LLMs

  Aufbauend auf den in Kapitel 1 gelegten Grundlagen, untersucht Kapitel 2, wie sich LLMs für eine der einflussreichsten Anwendungen der Sprachmodelle einsetzen lassen – die semantische Suche. Wir erstellen ein Suchsystem, das die Bedeutung Ihrer Abfrage versteht und nicht nur Schlüsselwörter vergleicht.

• Kapitel 3: Erstes Prompt Engineering und ein Chatbot mit ChatGPT

  Die Kunst und Wissenschaft, effektive Prompts zu erstellen, ist entscheidend, um die Vorzüge von LLMs nutzen zu können. Kapitel 3 bietet eine praktische Einführung in das Prompt Engineering mit Richtlinien und Techniken, um das Beste aus Ihren LLMs herauszuholen. Zum Schluss erstellen wir einen Chatbot, der auf ChatGPT aufsetzt und die API nutzt, die wir in Kapitel 2 aufgebaut haben.

Teil II: Das Beste aus LLMs herausholen

In Teil II erklimmen Sie die nächste Ebene.

• Kapitel 4: LLMs mit individuellem Feintuning optimieren

  In der Welt der LLMs gibt es keine Einheitslösung. Kapitel 4 erläutert, wie Sie LLMs mit Ihren eigenen Datensets feintunen können. Anhand von praktischen Beispielen und Übungen lernen Sie, wie Sie Ihre Modelle im Handumdrehen anpassen.

• Kapitel 5: Fortgeschrittenes Prompt Engineering

  Jetzt tauchen wir tiefer in die Welt des Prompt Engineering ein. Kapitel 5 befasst sich mit fortgeschrittenen Strategien und Techniken, die Ihnen helfen, noch mehr aus Ihren LLMs herauszuholen – zum Beispiel Validierung der Ausgabe und semantisches Few-Shot-Learning.

• Kapitel 6: Embeddings und Modellarchitekturen anpassen

  In Kapitel 6 erkunden wir die eher technische Seite von LLMs. Wir zeigen, wie man Modellarchitekturen und Embeddings modifiziert, um sie besser auf die eigenen spezifischen Anwendungsfälle und Anforderungen abzustimmen. Außerdem passen wir LLM-Architekturen an unsere Bedürfnisse an und führen ein Feintuning an einer Empfehlungsengine durch, die die Modelle von OpenAI übertrifft.

Teil III: Fortgeschrittene LLM-Nutzung

• Kapitel 7: Jenseits der Basismodelle: LLMs kombinieren

  Kapitel 7 untersucht einige der Modelle und Architekturen der nächsten Generation, die die Grenzen dessen verschieben, was mit LLMs möglich ist. Wir kombinieren mehrere LLMs und richten ein Framework ein, damit Sie Ihre eigenen LLM-Architekturen mit PyTorch aufbauen können. Außerdem stellt dieses Reinforcement Learning (bestärkendes Lernen) aus Rückkopplungen vor, um LLMs auf Ihre Bedürfnisse auszurichten.

• Kapitel 8: Feintuning fortgeschrittener Open-Source-LLMs

  In Fortsetzung von Kapitel 7 bietet Kapitel 8 praktische Richtlinien und Beispiele für das Feintuning fortgeschrittener Open-Source-LLMs, wobei der Schwerpunkt auf der praktischen Umsetzung liegt. Wir werden LLMs nicht nur mithilfe von generischer Sprachmodellierung feintunen, sondern auch mit fortgeschrittenen Methoden wie Reinforcement Learning aus Rückkopplungen, um unsere eigenes auf Anweisungen ausgerichtetes LLM namens SAWYER zu kreieren.

• Kapitel 9: LLMs in die Produktion überführen

  Dieses letzte Kapitel fasst alles zusammen, indem es die praktischen Überlegungen zur Bereitstellung von LLMs in Produktionsumgebungen untersucht. Unter anderem geht es darum, wie man Modelle skaliert, Echtzeitanfragen verarbeitet und sicherstellt, dass unsere Modelle robust und zuverlässig...

Produkt-Details

• Erscheint lt. Verlag: 14.5.2024
• Reihe/Serie: Animals
• Übersetzer: Frank Langenau
• Verlagsort: Heidelberg
• Sprache: deutsch
• Themenwelt: Mathematik / Informatik ► Informatik
• Schlagworte: AI • attention • Bard • Bart • Bert • Cohere • EleutherAI • Embeddings • GPT-4 • KI • LangChain • Llama • machine learning • Natural Language Processing • NLP • OpenAI • Prompt Engineering • Python • Q&A • question answering • T5 • transfer learning • Transformer
• ISBN-10: 3-96010-854-0 / 3960108540
• ISBN-13: 978-3-96010-854-2 / 9783960108542