KI stößt an eine scheinbar unüberwindbare Grenze. Ist dies das Ende der rasanten KI Entwicklung?

Photo by Gertrūda Valasevičiūtė on Unsplash

Bei meinen Recherchen rund um die weitere Entwicklung von Künstlicher Intelligenz bin ich jetzt schon mehrfach auf der Seite Planet Earth & Beyond von William Locket gelandet. Ich selbst (Stefan Waldhauser) warne schon seit längerem vor überhöhten Erwartungen an die KI-Entwicklung. Heute lasse ich zu diesem Thema gerne mal William zu Wort kommen. Sein Beitrag findet sich auch hier im englischen Original.

In den letzten Monaten gab es einen wahnsinnigen Hype um Künstliche Intelligenz (KI). Es heißt, dass Teslas in ein oder zwei Jahren vollständig selbstfahrend sein werden, dass KI im nächsten Jahr intelligenter sein wird als Menschen und dass eine Armee von einer Milliarde KI-gesteuerter Roboter bis 2040 menschliche Arbeitskräfte ersetzen wird. Und das sind nur einige der KI-Versprechen, die alleine Elon Musk in diesem Jahr gemacht hat.

Die gesamte KI-Branche wird von solchen Prognosen und Versprechungen überschwemmt, und es scheint, als befinde sich die KI-Entwicklung auf einem unaufhaltsamen, exponentiellen Weg, den wir Menschen einfach nicht aufhalten können. Doch das ist weit gefehlt. Tatsächlich stößt die Entwicklung der KI allmählich an eine Grenze, an der die Fortschritte abnehmen und die vollmundigen Versprechungen hohl werden.

Lassen Sie mich das erklären:

Um dieses Problem zu verstehen, müssen wir die Grundprinzipien der KI verstehen. Moderne KI nutzt Deep-Learning-Algorithmen und künstliche neuronale Netze, um Trends in Daten zu erkennen. Sie kann dann aus diesen Daten extrapolieren oder neue Daten entlang derselben Trendlinie generieren. Dazu wird die KI zunächst "trainiert", d.h. sie wird mit einer großen Menge an Daten gefüttert, die sie analysiert, um diese Trends zu erkennen.

Anschließend kann die KI abgefragt werden, um eine Ausgabe zu generieren. Dieses Grundkonzept ist die Basis für maschinelles Sehen, selbstfahrende Autos, Chatbots und generative KI. Das ist eine etwas verkürzte Erklärung, aber das ist alles, was wir im Moment verstehen müssen.

In den letzten Jahren ist die Leistungsfähigkeit der KI deutlich gestiegen. Das liegt zum Teil an der besseren Programmierung und Weiterentwicklung der Algorithmen. Zu 90 Prozent liegt es aber auch daran, dass die KIs auf viel größeren Datensätzen trainiert werden. Dadurch können sie Trends in den Daten besser verstehen und somit genauere Ergebnisse erzielen. Aber es gibt ein Problem: Der zusätzliche Nutzen des KI-Trainings nimmt drastisch ab, sowohl in Bezug auf die Daten als auch auf die benötigte Rechenleistung.

Beginnen wir mit den Daten. Nehmen wir an, wir haben eine einfache KI Bilderkennung entwickelt, die Hunde und Katzen erkennt. Wir haben sie mit Bildern und Videos von 100 Hunden und Katzen trainiert und sie kann sie in 60 % der Fälle richtig identifizieren. Wenn wir die Anzahl der Trainingsbilder und -videos auf 200 verdoppeln, verbessert sich die Erkennungsrate nur geringfügig auf etwa 65 %. Wenn wir die Anzahl der Trainingsbilder und -videos nochmals auf 400 verdoppeln, ist die Verbesserung noch marginaler und liegt bei ca. 67,5 %.

Dies liegt zum Teil daran, dass bei einem kleineren Datensatz mit jedem neuen Trainingsbild proportional mehr neue Daten zur Verfügung stehen, als wenn ein neues Trainingsbild zu einem größeren Datensatz hinzugefügt wird. Es liegt aber auch daran, dass die KI in einem kleinen Datensatz schnell neue Zusammenhänge und Trends erkennen kann, da sie nur einen Trend finden muss, der mit wenigen Beispielen funktioniert.

Je größer der Datensatz jedoch wird, desto schwieriger wird es, neue und neuartige Trends und Verbindungen zu finden, die für den gesamten Datensatz funktionieren. Diese neuen Trends und Verbindungen aus größeren Datensätzen ermöglichen es einer KI, besser und leistungsfähiger zu werden. Die Menge an Trainingsdaten, die benötigt wird, um eine KI um einen bestimmten Wert zu verbessern, nimmt dramatisch zu, da wir einen Punkt erreichen, an dem der Ertrag des KI-Trainings abnimmt.

Aber es gibt noch ein anderes Problem. Das Training der KI ist unglaublich rechenintensiv. Die KI muss jeden einzelnen Datenpunkt mit jedem anderen Datenpunkt in der Menge vergleichen, um diese Verbindungen und Trends zu finden. Das bedeutet, dass mit jedem Datenpunkt, den man einer KI-Trainingsdatenbank hinzufügt, der Rechenaufwand für das Training der KI auf dieser Datenbank exponentiell steigt. Selbst wenn es gelingt, die riesigen Datenmengen zu sammeln, die für das Training einer immer besser werdenden KI erforderlich sind, wird die dafür benötigte Rechenleistung und Energie irgendwann an die Grenzen des Machbaren stoßen.

Leider gibt es Anzeichen dafür, dass wir an einem Punkt angelangt sind, an dem sowohl der abnehmende Nutzen zusätzlicher Trainingsdaten als auch die exponentiell steigende Rechenleistung, die für die Nutzung dieser Daten erforderlich ist, die Entwicklung von KI an eine harte Grenze bringen.

Nehmen wir das Flaggschiff von OpenAI, ChatGPT4. Seine Verbesserung gegenüber ChatGPT3 war geringer als die Verbesserung von ChatGPT3 gegenüber ChatGPT2. Und obwohl es genauer war, hatte es immer noch die gleichen Probleme wie ChatGPT3, nämlich Fakten zu halluzinieren und nicht zu verstehen. OpenAI hält sich sehr bedeckt, was die Entwicklung seiner KIs angeht, aber Experten haben recherchiert und herausgefunden, dass ChatGPT3 einen 78-mal größeren Trainingsdatensatz als ChatGPT2 und ChatGPT4 einen 571-mal größeren Datensatz als ChatGPT3 verwendet!

Trotz dieser beträchtlichen Vergrößerung des Trainingsdatensatzes hat ChatGPT4 immer noch erhebliche Schwächen, die seine Einsatzmöglichkeiten erheblich einschränken. Zum Beispiel kann man sich nicht darauf verlassen, dass es auch nur annähernd wahrheitsgetreu schreibt, da es immer noch Fakten erfindet.

Nach einigen Schätzungen umfasst der Trainingsdatensatz von ChatGPT4 45 TB Klartext. Das bedeutet, dass der Trainingsdatensatz mehrere zehntausend TB groß sein müsste, damit die nächste Iteration eine ebenso große Verbesserung darstellt wie ChatGPT4 gegenüber ChatGPT3. Die Beschaffung und Aufbereitung einer solchen Menge an Klartextdaten ist selbst mit den fragwürdigen Methoden von OpenAI schlicht nicht praktikabel. Die tatsächliche Nutzung dieses Datensatzes zum Training der KI könnte so viel Energie verbrauchen, dass die Kosten die KI selbst für eine Non-Profit-Organisation völlig unrentabel machen.

Das ist keine Übertreibung. Der CEO von OpenAI, Sam Altman, hat selbst erklärt, dass ein Energiedurchbruch, z.B. bei der Kernfusion, notwendig ist, um fortgeschrittene KI nutzbar zu machen. Aber selbst wenn wir die Kernfusion nutzen, wird sie in diesem oder vielleicht im nächsten Jahrhundert wahrscheinlich nicht billiger sein als die Energie, die wir heute nutzen. Tatsächlich wird keine Energieform wesentlich billiger werden als die, die uns heute zur Verfügung steht. Die vorgeschlagene Lösung des Energieproblems ist daher sehr irreführend.

Diese Ansicht wird durch einige sehr seriöse Studien gestützt. Eine Studie der University of Massachusetts Amherst untersuchte die Rechen- und Energiekosten, die erforderlich sind, um die Leistung einer KI zur Bilderkennung auf über 95 % zu steigern. Die Forscher kamen zu dem Ergebnis, dass das Training eines solchen Modells 100 Milliarden Dollar kosten und so viel Kohlenstoffemissionen verursachen würde, wie New York City in einem Monat ausstößt. Und das bei einer KI, die immer noch in 5 % der Fälle katastrophale Fehler macht. Die Studie zeigte auch, dass eine Erhöhung der Genauigkeit auf 99 % exponentiell höhere Kosten und Kohlenstoffemissionen verursachen würde.

Dies ist der Grund, warum Tesla mit seinem derzeitigen Ansatz niemals vollständig selbstfahrende Autos entwickeln wird. Autopilot und FSD können die Welt um sie herum nur mit Hilfe dieser Art von KI wahrnehmen, und damit FSD vollständig selbstfahren kann, muss die Genauigkeit der Bilderkennung bei nahezu 100 % liegen. Wie diese Studie zeigt, würde es weit mehr Geld kosten, als Tesla hat, um seine KI so gut zu machen.

Mit anderen Worten: Wenn die KI-Branche keinen Weg findet, ihr KI-Training und ihre Rechenleistung effizienter zu gestalten, wird sie diese Grenze nicht überwinden können und die KI-Entwicklung wird völlig stagnieren. Inzwischen zeichnen sich mögliche Lösungsansätze ab, z.B. wesentlich effizientere KI-Hardware mit Analog- und Quantentechnologien und neue KI-Architekturen, die wesentlich kleinere Trainingsdatensätze benötigen. Diese Konzepte stecken jedoch noch in den Kinderschuhen und könnten noch Jahrzehnte vom Einsatz in der realen Welt entfernt sein.

Kurzum: Wir sollten uns darauf einstellen, dass die KI in den kommenden Jahren weit hinter den derzeit überhöhten Erwartungen zurückbleiben wird.

Falls Dir dieser Gastbeitrag gefallen hat, so kannst Du gerne mal auf dem Substack Planet Earth & Beyond von Will Locket vorbeischauen. Dort finden sich zahlreiche weitere spannende Artikel mit vielen Hintergrundinfos zu AI, zu Tesla und dem EV-Markt, u.v.m.

Disclaimer: Dieser Beitrag stellt eine Meinungsäußerung und keine Anlageberatung dar. Bitte beachte die rechtlichen Hinweise.