GPT-3: Schreibwunder und Lügenbaron | c’t uplink 42.6

KI-Sprachmodelle sind enorm gewachsen und beim Wachsen haben sie so
gut schreiben gelernt, dass die meisten Menschen nicht erkennen
können, ob eine KI oder ein Mensch getextet hat. Vom Kundencenter
bis zum Automaten-Journalisten fallen einem jede Menge
Einsatzgebiete für die Technik ein. Da jeder GPT-3, eines der
größten Sprachmodelle, nun per API nutzen kann, spricht rein
technisch nichts mehr gegen die KI-Schreibwerkstatt. Nur leider
nehmen es GPT-3 und seine Geschwister nicht so genau mit der
Wahrheit. Ein weiteres Problem stellt der Datenschutz dar, da bei
der Benutzung der GPT-3-Schnittstelle zurzeit alle Anfragen auf
Servern in den USA verarbeitet werden. Auch deswegen ist es
spannend, die aktuell rasante Entwicklung weiterer Sprachmodelle zu
beobachten. GPT-3 steht für „Generative Pretrained Transformer in
Version 3“. Transformer sind eine spezielle Bauform neuronaler
Netze, die ihre Aufmerksamkeit selbst auf das lenken können, was
ihr Erschaffer beim Training als Problem definiert hat. Die
Strukturen in den Parametern des neuronalen Netzes, die zum freien
Schreiben gebraucht werden, sind weitgehend die gleichen wie für
Text-Klassifikation oder Übersetzung. Deswegen kann man einen
Transformer zuerst auf terabyteweise Text aus dem Internet
trainieren (Pre-Training) und ihn danach für die eigentliche
Aufgabe wie Übersetzung oder Klassifikation fit machen. OpenAI, die
Firma hinter GPT-3 hat das so gemacht und konnte mit diesem Trick
ein gigantisches Netz mit 175 Milliarden Parametern trainieren. Die
schiere Größe von GPT-3 ist kaum vorstellbar und je größer, desto
weniger haben seine Väter von OpenAI den Überblick, welche der
Parameter was bewirken. In der Praxis überrascht GPT-3 sowohl mit
stilsicheren Beschreibungen als auch mit dreisten Lügen und
renitenter Arbeitsverweigerung. Dem neuronalen Netz wurde bereits
Rassismus, Sexismus und das Formulieren von Verschwörungsmythen
nachgewiesen. Den Entwicklern kann man das nur indirekt vorwerfen,
da sie der KI keinen Hass in die Wiege gelegt haben. Die
problematischen Sätze entspringen dem Training mit Text, den
letztlich vorher Menschen geschrieben haben. GPT-3 ist ein wahres
Kind der Netzkultur der heutigen Zeit – mit allen Problemen, die es
mit sich bringt, wenn man kein Leben hat, sondern nur Internet. Mit
dabei: Arne Grävemeyer, Pina Merkert und Keywan Tonekaboni ===
Anzeige / Sponsorenhinweis === Dieser Podcast ist gesponsert von
Dell Technologies. Rufen Sie uns an unter 0800-724 48 69 oder
besuchen Sie uns online unter: Dell.de/KMU-Beratung === Anzeige /
Sponsorenhinweis Ende ===