In der KI-Forschung herrschen seit Langem Uneinigkeiten darüber, ob künstliche Intelligenz eine Bedrohung für die Menschheit darstellen könnte. Diskutiert wird auch, ob wir uns auf dem Weg zu echter Intelligenz, also AGI, befinden oder ob die aktuellen Ansätze in eine Sackgasse führen. Es besteht die Vermutung, dass die Entlassung und Wiedereinstellung von OpenAIs CEO Sam Altman durch Sorgen um die Menschheitsicherheit veranlasst wurden. Möglicherweise hat OpenAI mit dem Q*-Algorithmus einen Durchbruch auf dem Weg zur künstlichen Superintelligenz erzielt. Die Geheimhaltung um diesen Algorithmus ist aus meiner Sicht besorgniserregend.
Inhaltsverzeichnis
Welche Risiken sehen Wissenschaftler:innen?
Eine prominente Warnerin, Timnit Gebru, schrieb bereits vor einem Jahr einen sehr guten Artikel im WIRED Magazine, welchen negativen Einfluß diese Philosophie hat, in dem sie die KI-Forschungsagenda weg von mehr Sicherheit hin zur kommerziellen Ausbeutung verschiebt und damit laut Gebru ein schädliches System im Namen der Rettung der Menschheit schaffe. Dass dabei die umstrittene Tech-Persönlichkeit Sam Bankman-Fried im Zentrum steht, ist mit Blick auf dessen jüngste Verurteilung wegen Betrugs und Geldwäsche zwar interessant, aber es ist längst nicht nur SBF, der diese Agenda vorantreibt.
Das Paper „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“ identifiziert mehrere Gefahren, die von aktuellen generativen KI-Modellen, insbesondere großen Sprachmodellen, ausgehen:
- Umwelt- und Finanzkosten: Die enormen Rechenressourcen, die für das Training großer Modelle erforderlich sind, verursachen hohe CO2-Emissionen und erhebliche Energiekosten. Diese Kosten und Umweltauswirkungen sind ungleich verteilt und wirken sich oft auf marginalisierte Gemeinschaften aus.
- Problematische Trainingsdaten: Große, unmoderierte Internetdatensätze können stereotype und abwertende Assoziationen hinsichtlich Geschlecht, Rasse, Ethnizität und Behinderung kodieren. Diese Datensätze bilden oft hegemoniale Ansichten ab, wodurch Menschen am Rande der Gesellschaft weiter geschädigt werden.
Die Trainingsdaten reflektieren möglicherweise nicht die dynamische Natur menschlicher Sprache und sozialer Bewegungen. Dadurch können Sprachmodelle veraltete oder weniger inklusive Perspektiven verfestigen.
Außerdem können große Sprachmodelle dadurch verschiedene Arten von Vorurteilen widerspiegeln, einschließlich stereotyper Assoziationen und negativer Gefühle gegenüber bestimmten Gruppen. Diese Vorurteile sind oft ein Spiegelbild der Charakteristika der Trainingsdaten. - Fehlgeleiteter Forschungsaufwand: Die Konzentration auf große Sprachmodelle für Aufgaben, die natürliches Sprachverständnis erfordern, könnte zu einer Vernachlässigung der Entwicklung von Technologien führen, die effektiver auf sorgfältig kuratierte Datensätze und eine breitere Sprachvielfalt ausgerichtet sind.
- Risiken und Schäden: Die scheinbar menschlichen Fähigkeiten von Sprachmodellen können zu einer Fehlinterpretation ihrer Ausgaben als sinnvoll und bedeutungsvoll führen. Dies birgt Risiken für die Verbreitung und Verstärkung von Vorurteilen, den Missbrauch durch böswillige Akteure und die Verbreitung inkorrekter Informationen, insbesondere wenn die Modelle in Systemen zur Textklassifizierung oder bei der Erweiterung von Suchanfragen eingesetzt werden. Darüber hinaus besteht das Risiko, dass Benutzer über die Modelle auf sensible oder falsche Informationen zugreifen.
Diese Punkte zeigen verdeutlichen, dass die Entwicklung und der Einsatz großer Sprachmodelle sorgfältig abgewogen und gesteuert werden sollte, um negative Auswirkungen auf die Gesellschaft zu minimieren.
Doch das ist nicht gerade zuträglich für die Gewinne an der Wall Street.
Big-Tech gegen die „freie“ Wissenschaft?
Gerade ist ein Paper erschienen, dass mit „Skill-Mix“ eine neue Bewertung von LLMs vorstellt, die die Fähigkeit zur Kombination von Fertigkeiten misst. Eine Evaluierung damit, zeigte erhebliche Unterschiede zwischen den Fähigkeiten unterschiedlicher Sprachmodelle, die nach Aussage der Forscher bislang nicht durch ihre Platzierung in den populären LLM-Ranglisten erfasst werden. Sie leiten aus den gezeigten Leistungen mittels einfachee Wahrscheinlichkeitsberechnungen sogar ab, dass die Leistung von GPT-4 bei der Kombination von mindestens fünf unterschiedlichen Fähigkeiten (k=5) sogar über das Verhalten eines „stochastischen Papageis“ hinausgeht. Das Sprachmodell kombiniere hierbei Fähigkeiten auf eine Weise, die es während des Trainings so garnicht gesehen haben kann.
Merkwürdigerweise zitiert das neue Paper bereits in dessen Abstract genau jenes Paper über dessen Veröffentlichung die leitende Wissenschaftlerin der KI-Sicherheitsabteilung bei Google, Timnit Gebru ihren Job verloren! Gebru wurde damals aufgefordert ihren Namen von der Arbeit zu streichen, in dem auf die Risiken von großen Sprachmodellen hingewiesen wurden, die für Googles Geschäft von zentraler Bedeutung sind. Wer verstehen möchte, was darin steht, ohne das Paper selbst lesen zu müssen, findet eine gelungene Einordnung beim MIT Technology Review.
Die Hauptautorin des Papers, Professorin Emily Bender befürchtete schon damals, dass das Vorgehen von Google einen abschreckenden Effekt auf die zukünftige KI-Ethikforschung haben könnte. Denn viele der Top-Experten für KI-Ethik arbeiten bei großen Technologieunternehmen, weil diese das Geld haben, aber somit entstehe ein Ökosystem, das nicht gerade die besten Anreize für den Fortschritt der Wissenschaft biete. Aus Angst um ihren Job ist Margaret Mitchell, die an dem Papier mitgearbeitet hat, nur unter dem Pseudonym Shmargaret Shmitchell als Autorin geführt und wurde im Nachgang der Kontroverse um Gebru ebenfalls entlassen.
Das aktuelle SKILL-MIX Paper, kann man in diesem Zusammenhang also auch als einen, von Google (über DeepMind) finanzierten Versuch verstehen, die Bedenken der Forscherinnen als irrelevant zu erklären.
Doch damit nicht genug.
Echter Altruismus vs. effektiver Altruismus?
Mittlerweile wird sogar die öffentliche Diskussion zwischen einigen der angesehensten Forschern zunehmend hitziger und die Einflüsse auf Regulierung und die Vergabe von Forschungsgeldern immer deutlicher. Die ganze Diskussion ist längst hochpolitisch, weil die großen Tech-Unternehmen und Milliardäre eigene Interessen verfolgen und unter dem Deckmantel des sogenannten effektiven Altruismus eine immer stärkere Lobby gegen Sicherheitsbedenken in der KI-Forschung eintritt.
Der Erfinder von Deep Learning und soetwas wie der Vater aktueller generative KI, Geoffrey Hinton, griff vor Kurzem Meta AIs Chef Yann LeCun an, in dem er ihm auf Twitter vorwarft, die Risiken von KI zu unterschätzen und seine eigene Meinung über die anderer Experten zu stellen:
Die Diskussion die daraus entstand, ist durchaus lesenswert, auch wenn ich Twitter bzw. X seit der Übernahme durch Elon Musk weitestgehend meide.
In seinem neuesten Paper, „A Path Towards Autonomous Machine Intelligence“, präsentiert Yann LeCuns seine Vision, wie Maschinen lernen könnten, effizienter zu sein – ähnlich wie Menschen und Tiere – indem sie lernen, zu planen und zu überlegen. Der Schlüssel dazu liege in der Entwicklung eines autonomen intelligenten Agenten, der auf einem konfigurierbaren, vorhersagenden Weltmodell basiert, das durch intrinsische Motivation angetrieben wird und mittels selbstüberwachtem Lernen trainiert wird.
LeCun betont, dass dieses Dokument kein traditionelles wissenschaftliches Papier ist, sondern eher eine Darstellung seiner Vision für die Entwicklung intelligenter Maschinen. Er hebt hervor, dass viele der in seinem Papier beschriebenen Ideen bereits von anderen Autoren in verschiedenen Kontexten formuliert wurden. Ziel seines Ansatzes ist es, diese Ideen zu einem kohärenten Ganzen zusammenzufügen und die Herausforderungen auf dem Weg zu intelligenteren Maschinen zu identifizieren.
Meine Meinung
Ich sehe sowohl die Chancen, als auch die Risiken, die aktuelle und mögliche zukünftige Technologien wie generative KI für die Menschheit bereit halten. Allerdings ist es aus meiner Sicht für einen verantwortungsvollen Umgang mit KI vollkommen unerheblich, ob LLMs der Weg zu einer AGI sind, oder andere Ansätze am Ende zu diesem Ziel führen werden.
Die Analogien, die genutzt werden, um das Wesen und die Funktionsweise großer Sprachmodelle (LLMs) zu beschreiben, sind oft ebenso faszinierend wie irreführend. Eine Analogie, die mir besonders ins Auge fiel, ist die Vorstellung der Parameter eines LLMs als ein verschwommenes Abbild des Internets, über die ich im „The New Yorker“ stolperte. Diese Analogie habe ich auch in meinem Buch verwendet, aber sie ist am Ende nicht ganz zutreffen.
Das fiel mir erst kürzlich auf, als ich den hervorragenden Talk „Intro to Large Language Models“ von Andrej Karpathy, Mitbegründer von OpenAI und ehemaliger Sr. Director of AI bei Tesla auf YouTube anschaute, der darin einen anderen Vergleich zieht: Er sieht ein LLM als eine Art ZIP-Datei des Internets. Er weist zwar darauf hin, dass dieser Vergleich hinkt, da ZIP eine verlustfreie Kompression ist, während die Erzeugung von Parametern in einem neuronalen Netz verlustbehaftet ist.
Jedoch übersehen beide Analogien einen wesentlichen Punkt: Die in den Trainingsdaten vorhandenen Strukturen – Grammatik, Semantik und letztlich Wissen über die Welt – werden nicht einfach verlustbehaftet komprimiert, sondern in einer faszinierenden Art und Weise in den Gewichtungen der künstlichen Neuronen strukturiert abgelegt. Dies zeigt sich, wenn man einzelne Schichten und Neuronen eines LLMs betrachtet. Darin kann man teilweise deren Funktion entschlüsseln und mit Methoden der Dimensionsreduzierung (zum Beispiel PCA, t-SNE, LDA oder UMAP) visualisieren.
In den Strukturen der tiefen Schichten entsteht quasi automatisch eine Art systematisch generalisierte Repräsentation.
Kritiker behaupten oft, dass es bei großen Sprachmodellen „nur“ um die Vorhersage des nächsten Tokens geht und sie daher per se nicht als intelligent angesehen werden können. Doch um das nächste Wort wirklich exzellent vorherzusagen, insbesondere nach einer Frage, muss das LLM zwangsläufig in seinen internen Strukturen eine Repräsentation der Informationen abbilden.
Mit zunehmender Komplexität der Netze bildet sich aus meiner Sicht zwangsläufig eine Art mentaler Repräsentation der Realität – vorausgesetzt, die Trainingsdaten ermöglichen dies und das Optimierungsziel ist adäquat gesetzt!
Bei der aktuellen Komplexität von Modellen wie GPT-4 ist dies oft noch unzureichend, das ist klar. Ein Beispiel hierfür ist der sogenannte „reversal curse“: GPT-4 kann beispielsweise die Frage beantworten, wer Tom Cruises Mutter ist, aber nicht, wer der Sohn von Mary Lee Pfeiffer ist.
Dies zeigt, dass die Art und Weise, wie Wissen und Verständnis in diesen Modellen strukturiert sind, zwar fortschrittlich, aber noch nicht vollständig ist. Es bleibt spannend zu beobachten, wie sich diese Technologien weiterentwickeln und welche neuen Erkenntnisse und Fähigkeiten sie uns bringen werden.
Ich halte es daher für unvermeidlich, dass wir uns auf dem Weg zu einer AGI befinden, die Frage aus meiner Sicht ist nur noch wann und wie. Umso wichtiger ist es daher aus meiner Sicht, frei über mögliche Risiken forschen, publizieren und sprechen zu können!
Vielleicht brauchen wir bald sogar eine Registrierungspflicht für autonome KI, damit man deren Halter:innen rechtliche belangen kann. Damit kämen wir rechtlich dem Status von Hunde nahe, denn diese sind quasi-autonom und unterliegen rechtlichen Grenzen. Beispielsweise ist das Halten von bestimmten Kampfhunden reguliert oder Hunde müssen in bestimmten Bereichen an der Leine geführt werden. Langfristig laufen wir dann auf die Diskussion zu, ob wir autonome KI vollkommen verbieten oder den Agenten ab einem gewissen Punkt sogar Menschenrechte einräumen müssen.
Abonniere das kostenlose KI-Update
Bleib auf dem Laufenden in Sachen Künstliche Intelligenz!
Melde Dich jetzt mit Deiner E-Mail-Adresse an und ich versorge Dich kostenlos mit News-Updates, Tools, Tipps und Empfehlungen aus den Bereichen Künstliche Intelligenz für dein Online Business, WordPress, SEO, Online-Marketing und vieles mehr.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Woche eine E-Mail von mir. Versprochen.
