Säuglinge reagieren lange bevor sie sprechen können auf sinnvolle Weise auf Musik, Berührungen, Gesichtsausdrücke und Körpersprache. Über Kulturen hinweg verbinden sich Menschen zudem tief miteinander durch wortlose Erfahrungen – etwa Musik, Malerei oder Spiel – und teilen dabei häufig eine tiefgehende Bedeutung, ganz ohne Sprache. Für Menschen existiert Bedeutung offensichtlich auch unabhängig von Sprache.
Dasselbe zeigt sich in der Alltagssprache. Manchmal weiß man mitten im Satz genau, was man sagen möchte, findet aber nicht das passende Wort. Kinder erleben diese Frustration ständig, Erwachsene gelegentlich. Bei bestimmten Formen der Aphasie wird diese Trennung besonders deutlich: Eine Person kann gesprochene Sprache vollständig verstehen und dennoch nicht in der Lage sein, selbst zu sprechen. Das Verständnis ist vorhanden, auch wenn die Fähigkeit fehlt, die richtigen Wörter zu finden.
Large Language Models, kurz LLMs, kehren dieses Verhältnis um. Für sie sind Wörter alles. Bedeutung existiert für sie nicht jenseits statistischer Muster zwischen Wörtern und Tokens. LLMs zeigen ein gewisses Maß an Kompetenz ohne Verständnis. Das entspricht schlicht ihrer Funktionsweise. Dennoch erwecken populäre Medien und öffentliche Debatten häufig einen anderen Eindruck.
Insbesondere im Bereich EdTech und beim digitalen Tutoring haben LLMs einen außergewöhnlichen Hype ausgelöst. Medien sind voll von Vorhersagen über eine unmittelbar bevorstehende Superintelligenz. Sam Altman hat geschrieben, OpenAI sei überzeugt, zu wissen, wie sich AGI entwickeln lasse. Dario Amodei hat angedeutet, dass eine KI, die „bei fast allen Aufgaben intelligenter ist als fast alle Menschen“, bereits 2026 oder 2027 entstehen könnte. Ein japanisches Start-up behauptete kürzlich sogar, AGI bereits erreicht zu haben.
Die Kluft zwischen Realität und Rhetorik ist relevant – insbesondere bei Technologien, die sich an Kinder oder andere vulnerable Nutzergruppen richten. Die lautesten Stimmen gehören meist überzeugten Anhängern, Untergangspropheten oder Opportunisten. Das Verhältnis von Signal zu Rauschen ist katastrophal und schadet verantwortungsvoll arbeitenden Unternehmen, die Klarheit brauchen und keine Mythen.
Ich zweifle seit Langem an der Möglichkeit einer Artificial General Intelligence in Computern, also in endlichen Turingmaschinen. Besonders geprägt haben mich dabei Roger Penroses Argumente, wonach menschliches Denken nicht bestimmten Beschränkungen unterliegt, die für Computer gelten. So sei es etwa nicht von den Gödel’schen Problemen der Vollständigkeit und Widerspruchsfreiheit betroffen und nicht auf Logik erster Stufe beschränkt. Siehe dazu Penroses Bücher „The Emperor’s New Mind“ und „Shadows of the Mind“. Für viele Menschen wirken diese Argumente jedoch zu abstrakt. Im Folgenden geht es deshalb um konkretere, speziell auf LLMs bezogene Gründe, die auf Beobachtung und nicht auf Computertheorie oder Philosophie beruhen.
Im Bildungsbereich und bei Technologien für Kinder verursacht Hype reale Schäden: fehlgeleitetes Vertrauen, abrupte regulatorische Gegenreaktionen, unsichere Einführung und schließlich öffentliche Ablehnung. Wir haben bereits zahlreiche Beispiele für Missbrauch gesehen; Links dazu im ersten Kommentar:
Das sind keine geringfügigen „Kinderkrankheiten“. Sie weisen auf ein tiefer liegendes Problem hin: LLMs sind als Werkzeuge für Schlussfolgerungen und Urteilsbildung grundsätzlich unzuverlässig.
LLMs zeigen kein nachgewiesenes Verständnis im menschlichen Sinn. Sie erzeugen neue Texte auf Grundlage statistischer Muster aus Trainingsdaten. Sobald Probleme über die Komplexität der Beispiele hinausgehen, die während des Trainings vorlagen, bricht ihre Leistung ein. Die Studie „The Illusion of Thinking“ dokumentiert einen abrupten Leistungsabfall beim Schlussfolgern: Mit steigender Komplexität scheitern LLMs katastrophal.
Auch sogenannte Large Reasoning Models bleiben LLMs. Sie sind auf den Anschein des Denkens optimiert, nicht auf echtes Denken. Warum sollte eine statistische Nachahmung das übertreffen, was sie nachahmt?
Könnten wir dieses Problem lösen, indem wir Modelle mit noch mehr menschlichen Gedankengängen trainieren? Theoretisch könnten LLMs erfolgreich sein, wenn es für jede denkbare Eingabe stets ein Beispiel für eine perfekte menschliche Antwort gäbe. Dann könnten sie all diese Daten komprimieren und bei Bedarf abrufen.
In der Realität ist hochwertiger, von Menschen verfasster Text jedoch endlich, und LLMs sind dabei, diesen Bestand nahezu auszuschöpfen. Das Training mit synthetischen Ausgaben verschärft das Problem nur. Die Studie „The Curse of Recursion“ aus dem Jahr 2023 zeigt, dass Modelle, die mit ihren eigenen generierten Daten trainiert werden, an Qualität verlieren und nach wenigen Generationen vollständig kollabieren.
Synthetischer Text scheint eine andere Qualität zu haben als von Menschen erzeugter Text. Authentische menschliche Inhalte sind unverzichtbar und nicht ersetzbar. Menschen verwenden Wörter, um Bedeutung auszudrücken. Für LLMs bilden Wörter das gesamte System. Beides zu verwechseln, ist Aberglaube und keine Wissenschaft.
Einige argumentieren, dass Modelle durch visuelle oder andere sensorische Eingaben ein menschenähnliches Verständnis entwickeln könnten. Doch menschliche visuelle Wahrnehmung ist keine passive Aufzeichnung. Sie ist selektiv, zielgerichtet und von Werten geprägt.
Das berühmte Basketballvideo mit dem „unsichtbaren Gorilla“ veranschaulicht dies perfekt: Was wir „sehen“, hängt davon ab, was wir verstehen und worauf wir achten. Sensorische Daten ohne Verständnis reproduzieren dasselbe Problem lediglich in größerem Maßstab.
Ein LLM könnte beispielsweise erkennen, dass es eine mathematische Berechnung durchführen soll, und anschließend eine Taschenrechner-Software verwenden, um eine korrekte Antwort zu liefern – ähnlich wie ein Kind in einem Kopfrechentest darum bitten könnte, einen Taschenrechner benutzen zu dürfen.
Die Auslagerung des Denkens an Taschenrechner oder externe Software schafft keine allgemeine Intelligenz. Wenn das eigentliche Berechnen vollständig in bereits bestehenden Werkzeugen stattfindet, ist das LLM lediglich eine komfortable Benutzeroberfläche und kein System mit Verständnis.
LLMs erzeugen Antworten, die sinnvoll wirken, zeigen kein nachgewiesenes semantisches Verständnis – ebenso wenig wie sämtliche bisherige KI-Systeme. Natürlich kann eine Maschine kompetent handeln, ohne zu verstehen: Ein mechanischer Bagger kann kompetent graben, ohne das Graben zu verstehen. Eine CPU kann kompetent rechnen, ohne Arithmetik zu verstehen.
Soll eine Maschine jedoch mit Bedeutung selbst umgehen, also kompetent auf die Bedeutung einer Eingabe reagieren und eine angemessen sinnvolle Antwort liefern, wäre es widersprüchlich anzunehmen, sie könne dies ohne Verständnis tun. In diesem Fall wird Kompetenz früher oder später versagen.
Aus diesem Grund bleiben LLMs ungeeignet für moralische Orientierung, emotionale Unterstützung, sensible Verhandlungen, richterliche oder schiedsrichterliche Entscheidungen sowie Führungsaufgaben – insbesondere dann, wenn Kinder oder andere vulnerable Menschen betroffen sind. Schutzmechanismen sind nicht optional, sondern grundlegend.
Bei eKidz.eu behandeln wir diese Grenzen als Axiome. Wir entwickeln feinabgestimmte LLMs für Aufgaben, die Computer gut beherrschen: Inhalte zu personalisieren, Daten zuverlässig abzurufen und Lernpfade zu optimieren. Menschliches Urteilsvermögen, menschliche Werte und Verantwortung bleiben beim Menschen. Sollte sich der derzeitige Hype als überzogen erweisen, dürfte sich die Branche in den kommenden Jahren deutlich konsolidieren. Überleben sollten sowohl die leistungsfähigsten als auch die gesellschaftlich verträglichsten Lösungen. Wir können diesen Übergang weniger schmerzhaft gestalten, indem wir Mythen aufgeben und den Begriff „Künstliche Intelligenz“ hinter uns lassen. Vielleicht sollten wir ihn durch einen weniger attraktiven, aber weniger überladenen Begriff ersetzen, etwa „trainierte Software“, der die tatsächliche Natur dieser Technologie besser beschreibt. Klarheit statt Hype ist der Weg nach vorn.
John McDonagh
CTO bei eKidz.eu