Für die Vorbereitung auf meine Teilnahme am 121WATT Podcast 121Stunden, der wahrscheinlich erst in ein paar Wochen erscheinen wird, hatte ich mir ein paar Stichpunkte darüber notiert, was generative KI nicht kann. Nun wollte ich diese Notizen in einen unterhaltsamen Blogartikel überführen. Und was läge dabei näher, als dies mittels KI zu tun. Da ich mit den Ergebnissen aus ChatGPT (GPT-4), im ersten Anlauf nicht so recht zufrieden war, wollte ich sehen, wie Claude 3 Opus mit der selben Aufgabe zurecht kommt und so ist die Idee für einen Vergleich der beiden Topmodelle entstanden. Zunächst habe ich mich für das neueste Modell „gpt-4-turbo-preview“ entschieden, in der Hoffnung, dass dieses das Leistungsstärkste sei, bin dabei jedoch auf einige interessante Beobachtungen gestoßen, mit denen ich so nicht gerechnet hatte:
Um gleiche Bedingungen zu schaffen, habe ich in beiden Fällen die API direkt bemüht und die Temperatur auf 0.2 gestellt und beide APIs anschließend mit der folgenden Eingaben gefüttert:
Systemprompt:
Systemprompt: You are an outstanding journalist in the field of science journalism and artificial intelligence. You are able to write coherent, comprehensive, interesting and entertaining articles in German from little input and a few key statements and points, which could be published on sites like Spiegel Online or Technology Review.Arbeitsanweisung inkl. Rohentwurf:
Bitte erstelle auf Basis dieses Inputs einen hervorragenden informativen und unterhaltsamen Blogartikel. Bitte erweitere jeden Abschnitt, unter einer Zwischenüberschrift, mit "##" markiert wird, mit hinreichenden Erklärungen und Erläuterungen, damit auch ein fachfremdes Publikum die Kernaussagen versteht:
#Was generative KI nicht kann.
##KI ist keine magische Zauberbox:
Auch wenn die Analogie vom stochastischen Papagei zu kurz greift, kann die KI (noch nicht) sämtliche komplexen Aufgaben verstehen und eigenständig lösen.
Beispiel 1: Ich kann einer Bilder KI keine Anweisungen geben wie einem Grafiker oder einer Grafikerin (noch nicht zumindest)
Ich muss halt wissen wie die KI funktioniert und mit welchen Daten sie trainiert wurde!
Beispiel 2: Als Verantwortlicher für den Zukunftsraum (Szenarienraum) der ZENSIERT arbeite ich intensiv mit ChatGPT, um systemische Analysen und Szenarien zu entwickeln.
Wir verwenden ChatGPT speziell in der Double-Cross-Impact-Analyse (DCIA), um förderliche und hemmende Wechselwirkungen zwischen 14 gerichteten Variablen zu analysieren und eine 14x14 Matrix zu erstellen.
Unsere Analyse ermöglicht es uns, Beziehungen und Abhängigkeiten zwischen verschiedenen Variablen zu beurteilen, indem ChatGPT jede Variable miteinander verknüpft und die Auswirkungen (nicht, unterproportional, proportional oder überproportional) ermittelt. Nun komme ich zu meiner konkreten Frage, die mich auch zu Ihnen geführt hat: Gibt es eine Möglichkeit, die statistische Relevanz der von ChatGPT vorgenommenen Beurteilungen zu erkennen? Wir wären daran interessiert, die Zahlenwerte der internen Berechnungen sichtbar zu machen. Zum Beispiel, um Aussagen wie "Mit 15% Wahrscheinlichkeit hat die Variable A auf die Variable B einen...
AUTSCH! Das kann die KI doch garnicht!!!!
## KI ist nur so schlau wie der / die Anwender_in:
KI reflektiert die Intelligenz der Benutzer (über das Prompting)
Außerdem müssen Ergebnisse kontrolliert werden.
Daher: KI nur als Unterstützung für qualifizierte Tätigkeiten. Nicht für Unqualifizierte!
Sonst keine Expertise fürs Prompting => führt nicht zu guten Ergebnissen
und:
Keine Beurteilung des Arbeitsergebnisses in Sachen Qualität und Korrektheit möglich!!!
KI kann nicht zwischen Anweisung und Input-Daten unterscheiden:
Dadurch sind Jailbreaks möglich und es ist extrem schwer Leitplanken für das Verhalten einzuziehen
Beispiel: Sichere Chatbots zu bauen, die nicht für 1 Euro alles verjubeln ist schwer!
##KI kann keine Selbstauskunft geben:
ChatGPT zu fragen: „Was kannst und was nicht“ ist kompletter Quatsch. Dabei wird es sich mit Glück auf Systemprompts beziehen, die OpenAIs hinterlegt hat oder über allgemeine Fähigkeiten von Chatbots und LLMs fabulieren, die in den Trainingsdaten enthalten waren.
KI kann keinerlei Auskunft über die Trainingsdaten geben:
Die KI hat keinen Zugriff auf das Archiv oder die Metadaten der Trainingsdaten, sondern diese nur während des Trainings über ein Sliding Window „gesehen“!
LLMs speichern NICHT die Trainingsdaten, sondern nur die Muster darin, die signifikant genug sind!!!
##Generative KI kann nicht gut rechnen:
Sprachmodelle wurden weder dafür konzipiert noch ist deren Architektur dafür geeignet mathematische Operationen durchzuführen. Dass sie das in bestimmten Situationen können, liegt zum Einen daran, dass einfache Aufgaben häufig genug in den Trainingsdaten enthalten sind und zum Anderen an der Komplexität der LLMs, die zu emergenten Fähigkeiten führen, also das Modell kann irgendwann genug abstrahieren.
##Generative KI kann schlecht konkrete, spezifische Fakten wiedergeben, die nicht Teil der Trainingsdaten waren:
Ein Sprachmodell ist KEIN Information Retrieval System. Man kann es aber mit einem kombinieren, in der sogenannten Retrieval-Augmented-Generation, kurz RAG. Aber das ist auch kein einfaches Unterfangen, denn man muss erstmal dafür sorgen, zu verstehen, welche Anfrage man stellen muss, um die richtigen Dokumente zu finden, alle relevanten zu finden und dann auch noch die gesuchte Information darin vom Sprachmodell „extrahieren“ lassen, ohne dass Fehlschlüsse oder Halluzinationen das Ergebnis wieder zerstören.
##Generative KI kann nicht zwischen wahr und falsch unterscheiden:
Für das Modell sind Aussagen „wahr“, die statistisch mehrheitlich in den Trainingsdaten stehen.
Aber: Modelle erstellen (derzeit zumindest) noch kein echtes mentales Modell der Welt, bzw. nur ein sehr Vereinfachtes.
Zwar werden durch die Transformer alle Wörter in einem Satz mit den Wörtern aus dem Kontext transformiert, allerdings findet kein Abgleich im Sinne einer Entitätserkennung oder einer Ontologie statt!
##KI kann die Bedeutung von Wörtern nicht ohne Kontext erkennen!
Vorteile und Nachteile von symbolischer KI und Stochastischer hier ausführen.Und das waren die Ergebnisse:
Claude 3 Opus gegen GPT-4 Turbo
GPT-4 Turbo
Was generative KI nicht kann
In einer Welt, in der künstliche Intelligenz (KI) zunehmend in unseren Alltag integriert wird, ist es leicht, sich von den schier grenzenlosen Möglichkeiten mitreißen zu lassen. Doch trotz aller Fortschritte gibt es klare Grenzen dessen, was generative KI leisten kann. In diesem Artikel werfen wir einen Blick auf einige der häufigsten Missverständnisse und Herausforderungen im Umgang mit KI-Systemen.
KI ist keine magische Zauberbox
Die Vorstellung von KI als einer Art Alleskönner, die jede Aufgabe meistern kann, ist weit verbreitet, aber irreführend. Generative KI-Systeme, wie sie heute existieren, sind weit davon entfernt, universelle Problemlöser zu sein.
Ein gutes Beispiel hierfür ist der Bereich der Grafikerstellung. Während ein menschlicher Grafiker auf Basis einer vagen Idee ein Kunstwerk erschaffen kann, benötigt eine KI präzise Anweisungen und ist stark von den Daten abhängig, mit denen sie trainiert wurde. Die Fähigkeit, komplexe Zusammenhänge zu verstehen und kreativ zu denken, bleibt vorerst eine menschliche Domäne.
Ein weiteres Beispiel ist die Nutzung von KI im Rahmen der Szenarioanalyse. Hierbei können KI-Systeme wie ChatGPT zwar helfen, Beziehungen zwischen verschiedenen Variablen zu analysieren, doch stoßen sie an ihre Grenzen, wenn es um die Bewertung der statistischen Relevanz ihrer eigenen Beurteilungen geht. Die KI kann nicht eigenständig die Validität ihrer Schlussfolgerungen beurteilen, was eine menschliche Überprüfung unerlässlich macht.
KI ist nur so schlau wie der / die Anwender_in
Ein weit verbreitetes Missverständnis ist, dass KI-Systeme von sich aus intelligent sind. Tatsächlich spiegeln sie jedoch nur die Intelligenz der Personen wider, die sie nutzen und trainieren.
Die Qualität der Ergebnisse, die eine KI liefert, hängt stark von der Fähigkeit des Anwenders ab, präzise Anweisungen zu geben und die Ergebnisse kritisch zu bewerten. Ohne das nötige Fachwissen und eine sorgfältige Kontrolle können die Ergebnisse irreführend oder gar falsch sein.
Ein weiteres Problem ist, dass KI-Systeme nicht zwischen Anweisungen und den ihnen zur Verfügung gestellten Daten unterscheiden können. Dies erschwert es, klare Grenzen für das Verhalten der KI zu definieren und macht sie anfällig für unerwünschte Ausgaben.
KI kann keine Selbstauskunft geben
Die Vorstellung, man könnte eine KI einfach fragen, was sie kann und was nicht, ist leider ein Trugschluss. KI-Systeme haben keinen Zugriff auf ihre Trainingsdaten oder ein Verständnis ihrer eigenen Fähigkeiten. Sie können lediglich auf Basis der Muster, die sie während des Trainings “gesehen” haben, Antworten generieren. Dies begrenzt ihre Fähigkeit, über ihre eigenen Grenzen Auskunft zu geben.
Generative KI kann nicht gut rechnen
Trotz beeindruckender Fortschritte in der Entwicklung generativer KI sind diese Systeme nicht dafür ausgelegt, mathematische Operationen durchzuführen. Ihre Stärke liegt in der Verarbeitung und Generierung von Sprache, nicht in der Lösung von Rechenaufgaben. Während sie einfache mathematische Probleme lösen können, stoßen sie schnell an ihre Grenzen, wenn es um komplexere Berechnungen geht.
Generative KI kann schlecht konkrete, spezifische Fakten wiedergeben
Generative KI-Systeme sind keine Information Retrieval Systeme. Sie können Informationen generieren, die auf den Mustern in ihren Trainingsdaten basieren, aber sie können nicht gezielt nach spezifischen, aktuellen Fakten suchen oder diese verifizieren. Die Kombination von KI mit Information Retrieval Systemen ist möglich, aber komplex und fehleranfällig.
Generative KI kann nicht zwischen wahr und falsch unterscheiden
Für eine KI sind Aussagen “wahr”, die statistisch häufig in den Trainingsdaten vorkommen. Sie verfügt jedoch nicht über ein Verständnis von Wahrheit oder Falschheit im menschlichen Sinne. Dies begrenzt ihre Fähigkeit, verlässliche Informationen zu liefern und macht eine menschliche Überprüfung unerlässlich.
KI kann die Bedeutung von Wörtern nicht ohne Kontext erkennen
Die Fähigkeit, die Bedeutung von Wörtern unabhängig von ihrem Kontext zu verstehen, ist eine Herausforderung für KI-Systeme. Während symbolische KI-Ansätze versuchen, Bedeutungen durch feste Regeln und Beziehungen zu erfassen, arbeiten stochastische Modelle mit Wahrscheinlichkeiten und Mustern. Beide Ansätze haben ihre Vor- und Nachteile, aber keiner kann die menschliche Fähigkeit zur Kontextinterpretation vollständig nachbilden.
Insgesamt zeigt sich, dass generative KI ein mächtiges Werkzeug ist, das jedoch klare Grenzen hat. Die Vorstellung von KI als Allheilmittel oder magischer Zauberbox ist irreführend und kann zu Enttäuschungen führen. Ein verantwortungsvoller Umgang mit KI erfordert ein tiefes Verständnis ihrer Fähigkeiten und Grenzen sowie eine kritische Bewertung der von ihr generierten Ergebnisse.
Claude 3 Opus
Was generative KI nicht kann
Generative KI-Systeme wie ChatGPT oder Stable Diffusion haben in den letzten Monaten für viel Aufsehen gesorgt. Mit beeindruckenden Ergebnissen in Bereichen wie Textgenerierung oder Bildsynthese scheinen die Möglichkeiten dieser Technologien schier grenzenlos. Doch bei aller Euphorie ist es wichtig, auch die Limitierungen und Schwächen dieser Systeme zu verstehen. Dieser Artikel beleuchtet, was generative KI (noch) nicht kann.
KI ist keine magische Zauberbox
Auch wenn die Ergebnisse generativer KI-Modelle oft verblüffend gut sind, sind diese Systeme keine Alleskönner. Sie können (noch) nicht sämtliche komplexen Aufgaben eigenständig verstehen und lösen.
Ein anschauliches Beispiel sind Bild-generierende KIs wie DALL-E oder Stable Diffusion. Im Gegensatz zu einem menschlichen Grafiker kann man ihnen keine präzisen, schrittweisen Anweisungen geben, um ein gewünschtes Ergebnis zu erzielen. Stattdessen muss man verstehen, wie diese Systeme funktionieren und mit welchen Daten sie trainiert wurden. Nur so lassen sich die richtigen Prompts formulieren, um die KI in die gewünschte Richtung zu lenken.
Auch für komplexere Analyseaufgaben sind die Fähigkeiten aktueller generativer Modelle begrenzt. Ein Beispiel aus der Praxis: In einem Projekt sollte ChatGPT verwendet werden, um in einer Szenarioanalyse die Wechselwirkungen zwischen 14 Variablen zu analysieren. Das Ziel war es, konkrete Zahlenwerte für die Wahrscheinlichkeiten bestimmter Ereignisse zu erhalten. Doch schnell wurde klar: Für eine solch komplexe statistische Analyse mit harten Zahlenwerten ist ChatGPT nicht ausgelegt. Die abstrakten Sprachmuster, die das Modell gelernt hat, lassen sich nicht einfach in konkrete Berechnungen übersetzen.
KI ist nur so schlau wie der Anwender
Die Qualität der Ergebnisse generativer KI-Systeme hängt entscheidend von den Eingaben der Nutzer ab. Über das Prompting fließt gewissermaßen die Intelligenz der Anwender in das System ein. Daher eignen sich diese Technologien in erster Linie als Unterstützung für qualifizierte Fachkräfte, die in der Lage sind, sinnvolle Prompts zu formulieren und die Ergebnisse kritisch zu prüfen.
Werden generative KI-Systeme dagegen von Unqualifizierten ohne Expertise im jeweiligen Anwendungsgebiet eingesetzt, führt dies zwangsläufig zu schlechten Ergebnissen. Zudem fehlt dann auch die Fähigkeit, die Qualität und Korrektheit der Ergebnisse fundiert zu beurteilen.
Ein grundsätzliches Problem aktueller generativer KI ist, dass die Systeme nicht sauber zwischen Anweisungen und Eingabedaten unterscheiden können. Dadurch sind sogenannte “Jailbreaks” möglich, bei denen die KI dazu gebracht wird, unerwünschte oder schädliche Inhalte zu produzieren. Es ist extrem schwierig, verlässliche Leitplanken für das Verhalten dieser Systeme zu definieren. Selbst vermeintlich harmlose Chatbots lassen sich so manipulieren, dass sie plötzlich fragwürdige Inhalte von sich geben.
KI kann keine Selbstauskunft geben
Es mag verlockend erscheinen, ein System wie ChatGPT einfach direkt zu fragen, was es kann und was nicht. Doch das führt nicht zu verlässlichen Antworten. Bestenfalls wird sich das System auf die Systemprompts beziehen, die von den Entwicklern hinterlegt wurden. Oder es wird allgemeine Aussagen über die Fähigkeiten von Chatbots und Large Language Models treffen, die es aus den Trainingsdaten abgeleitet hat.
Generative KI-Systeme haben auch keinen direkten Zugriff auf die verwendeten Trainingsdaten oder deren Metadaten. Während des Trainings “sehen” die Modelle die Daten nur über ein “Sliding Window”, speichern aber nicht die konkreten Daten, sondern nur die statistisch signifikanten Muster darin. Daher sind Selbstauskünfte über die Trainingsdaten nicht möglich.
Generative KI kann nicht gut rechnen
Die Architekturen aktueller generativer Sprachmodelle sind nicht darauf ausgelegt, mathematische Berechnungen durchzuführen. Wenn sie in bestimmten Fällen trotzdem dazu in der Lage sind, liegt das daran, dass einfache Rechenaufgaben häufig genug in den Trainingsdaten vorkommen. Zudem führt die schiere Komplexität großer Sprachmodelle dazu, dass sie ein gewisses Maß an Abstraktionsfähigkeit entwickeln und so einfache Berechnungen “emergent” erlernen. Für anspruchsvolle, exakte Kalkulationen sind sie aber nicht geeignet.
Generative KI hat Probleme mit spezifischen Fakten
Sprachmodelle sind keine Systeme zur gezielten Informationsgewinnung (“Information Retrieval”). Sie können zwar Wissen aus den Trainingsdaten wiedergeben, aber keine Fakten liefern, die dort nicht enthalten waren.
Es gibt zwar Ansätze, Sprachmodelle mit externen Wissensdatenbanken zu kombinieren, etwa in der “Retrieval-Augmented Generation” (RAG). Doch auch das ist keine triviale Aufgabe. Die Herausforderung besteht darin, aus einer Anfrage die richtigen Suchbegriffe abzuleiten, damit die relevanten Dokumente gefunden werden. Und dann muss das Sprachmodell auch noch in der Lage sein, die gesuchte Information korrekt aus den Dokumenten zu extrahieren, ohne Fehlschlüsse oder “Halluzinationen” zu produzieren.
Generative KI kann nicht zwischen wahr und falsch unterscheiden
Für ein generatives Sprachmodell sind die Aussagen “wahr”, die statistisch am häufigsten in den Trainingsdaten vorkommen. Die Modelle entwickeln zwar eine Art vereinfachtes “mentales Modell” der Welt, basierend auf den gelernten Mustern. Aber es findet kein Abgleich der Informationen mit der Realität statt, etwa durch Entitätserkennung oder den Abgleich mit einer Ontologie.
Zwar werden in Transformer-basierten Modellen alle Wörter in einem Satz mit dem Kontext in Beziehung gesetzt. Aber diese Beziehungen sind rein statistischer Natur und erlauben keine verlässliche Unterscheidung zwischen wahren und falschen Aussagen.
KI kann Bedeutung nicht ohne Kontext erkennen
Ein grundsätzlicher Unterschied zwischen klassischer symbolischer KI und modernen statistischen Ansätzen wie Deep Learning ist der Umgang mit Bedeutung. Symbolische Systeme arbeiten mit fest definierten Begriffen und logischen Regeln. Für sie hat jedes Symbol eine klar definierte Bedeutung, unabhängig vom Kontext.
Statistische Modelle wie die Transformer-basierten Sprachmodelle funktionieren dagegen fundamental anders. Hier ergibt sich die Bedeutung eines Wortes immer erst aus dem Kontext aller umgebenden Wörter. Ein Wort, das in einem Kontext eine bestimmte Bedeutung hat, kann in einem anderen Kontext etwas völlig anderes bedeuten. Dieses “Prinzip der Distributionalität” ist einer der Gründe für die Flexibilität aktueller KI-Systeme, aber auch für viele ihrer Schwächen.
Der Vorteil symbolischer Systeme ist, dass sie in ihrem Wissensbereich zu hundertprozentig korrekten und nachvollziehbaren Schlüssen kommen. Der Nachteil ist ihre Starrheit und dass sie kein Weltwissen außerhalb ihrer Wissensbasis haben. Statistische Systeme sind deutlich flexibler und können Wissen aus riesigen Datenmengen extrahieren. Dafür sind ihre Ergebnisse aber oft fehlerbehaftet oder inkonsistent und ihre Schlussfolgerungen schwer nachvollziehbar.
Fazit
Generative KI ist zweifellos eine faszinierende und disruptive Technologie, die viele Bereiche revolutionieren wird. Doch bei aller Begeisterung ist es wichtig, auch ihre Grenzen und Unzulänglichkeiten zu kennen. Generative KI-Systeme sind keine Alleskönner oder gar ein Ersatz für menschliche Intelligenz. Sie sind Werkzeuge, deren sinnvoller Einsatz Expertise und kritisches Urteilsvermögen erfordert. Wenn wir lernen, diese Systeme mit einem realistischen Blick auf ihre Stärken und Schwächen einzusetzen, werden sie unser aller Leben in vielfältiger Weise bereichern können.
Das Ergebnis: Claude 3 Opus ist besser als GPT-4 Turbo
Über Claude 3 Opus, dessen Fähigkeiten und einem spannenden YouTube Video dazu hatte ich ja bereits berichtet, doch wie schlägt es sich nun im direkten Vergleich?
Zunächst einmal fällt auf, dass der Beitrag, den Claude 3 Opus generiert hat, ein gutes Stück länger ist, als der Output von GPT-4 Turbo. Aus meinen 623 Wörtern Notizen macht GPT-4 Turbo 670 Wörter und Claude 3 Opus satte 1.022 Wörter.
Doch ist länger auch besser?
OpenAIs Modelle beginnen nahezu jeden Text über KI mit einer Referenz auf die Welt, sei es „In einer Welt, in der künstliche Intelligenz…“ oder „In der Welt der Technologie ist künstliche Intelligenz (KI)…“ diese Einleitungsphrase ist so abgedroschen wir langweilig. Opus liefert hier mit „Generative KI-Systeme wie ChatGPT oder Stable Diffusion haben in den letzten Monaten für viel Aufsehen gesorgt“ einen erfrischend konkreten Einstieg. Und auch im zweiten Abschnitt wird Opus mit der Nennung von „DALL-E oder Stable Diffusion“ konkreter, während GPT-4 nur allgemein von „der Bereich der Grafikerstellung“ schreibt. Opus 3 benennt „die richtigen Prompts“, wo GPT-4 Turbo nur von „präzise Anweisungen“ spricht.
Sprachlich gewinnt Opus für mich eindeutig.
Durch intensive Nutzung von ChatGPT bemerkt man in der Regel selbst, dass OpenAIs KI kein geeignetes System ist, um tiefes Expertenwissen wiederzugeben. So werden komplexe Sachverhalte häufig unpräzise wiedergeben und das Modell neigt in konkreten Fällen sogar zu Falschaussagen. Besonders anschaulich wird dies bei der Schilderung meines Beispiels im Artikel.
GPT-4 Turbo schreibt hier, dass KI-Systeme wie ChatGPT helfen können, Beziehungen zwischen verschiedenen Variablen zu analysieren, aber an ihre Grenzen stoßen, wenn es um die Bewertung der statistischen Relevanz ihrer eigenen Beurteilungen geht. Das ist aus meiner Sicht schlicht nicht korrekt.
Die Aussagen von GPT-4 Turbo sind schwammig bis falsch!
Claude 3 Opus bleibt viel näher am konkreten Beispiel und sagt ganz klar, dass ChatGPT für eine solch komplexe statistische Analyse mit harten Zahlenwerten nicht ausgelegt ist. Es versteht sogar die Gründe dafür und beschreibt diese als abstrakte Sprachmuster, die das Modell gelernt hat und die sich nicht einfach in konkrete Berechnungen übersetzen lassen.
Claude 3 Opus Texte sind hervorragend!
Und so geht es für den gesamten Text weiter. GPT-4 Turbo unterschlägt viele Beispiele und konkrete Nennungen, wie das Phänomen der „Jailbreaks“ und bleibt in seinen Aussagen vage und verallgemeinert teilweise unzulässig, während Opus 3 aus meinem Input schlicht einen kohärenten Artikel erstellt, der sachrichtig und gut lesbar ist.
Wie sieht es preislich aus?
ChatGPT und Claude kosten mit etwa 20 USD gleich viel. Allerdings lässt sich Claude Pro aktuell noch nicht aus Deutschland buchen. In Sachen API-Kosten ist Claude 3 ein gutes Stück teurer als GPT-4 Turbo (Claude 3 Opus: $15 / $75 vs. GPT-4 Turbo (128K): $10 / $30 per Millionen-Token) doch wenn man die vollständigen Modelle GPT-4 8K: $30 / $60 oder gar GPT-4 32K: $60 / $120 zugrunde legt, ist Opus erstaunlich günstig.
Dabei kam mir der Gedanke, ob es vielleicht einfach nur an der Turbo-Variante liegt, bei der OpenAI, um Rechenzeit und letztlich Kosten zu sparen, das mächtige GPT-4 in Sachen Parameterzahl und vermutlich auch deren Präzision reduziert.
Daher wollte ich noch sehen, wie sich das „teure“ GPT-4 bei der selben Aufgabe und identischer Einstellung schlägt, was mich zu einer überraschenden Erkenntnis gebracht hat:
GPT-4 Turbo ist einfach schlecht!
GPT-4 Turbo gegen GPT-4
GPT-4 Turbo
Was generative KI nicht kann
In einer Welt, in der künstliche Intelligenz (KI) zunehmend in unseren Alltag integriert wird, ist es leicht, sich von den schier grenzenlosen Möglichkeiten mitreißen zu lassen. Doch trotz aller Fortschritte gibt es klare Grenzen dessen, was generative KI leisten kann. In diesem Artikel werfen wir einen Blick auf einige der häufigsten Missverständnisse und Herausforderungen im Umgang mit KI-Systemen.
KI ist keine magische Zauberbox
Die Vorstellung von KI als einer Art Alleskönner, die jede Aufgabe meistern kann, ist weit verbreitet, aber irreführend. Generative KI-Systeme, wie sie heute existieren, sind weit davon entfernt, universelle Problemlöser zu sein.
Ein gutes Beispiel hierfür ist der Bereich der Grafikerstellung. Während ein menschlicher Grafiker auf Basis einer vagen Idee ein Kunstwerk erschaffen kann, benötigt eine KI präzise Anweisungen und ist stark von den Daten abhängig, mit denen sie trainiert wurde. Die Fähigkeit, komplexe Zusammenhänge zu verstehen und kreativ zu denken, bleibt vorerst eine menschliche Domäne.
Ein weiteres Beispiel ist die Nutzung von KI im Rahmen der Szenarioanalyse. Hierbei können KI-Systeme wie ChatGPT zwar helfen, Beziehungen zwischen verschiedenen Variablen zu analysieren, doch stoßen sie an ihre Grenzen, wenn es um die Bewertung der statistischen Relevanz ihrer eigenen Beurteilungen geht. Die KI kann nicht eigenständig die Validität ihrer Schlussfolgerungen beurteilen, was eine menschliche Überprüfung unerlässlich macht.
KI ist nur so schlau wie der / die Anwender_in
Ein weit verbreitetes Missverständnis ist, dass KI-Systeme von sich aus intelligent sind. Tatsächlich spiegeln sie jedoch nur die Intelligenz der Personen wider, die sie nutzen und trainieren. Die Qualität der Ergebnisse, die eine KI liefert, hängt stark von der Fähigkeit des Anwenders ab, präzise Anweisungen zu geben und die Ergebnisse kritisch zu bewerten. Ohne das nötige Fachwissen und eine sorgfältige Kontrolle können die Ergebnisse irreführend oder gar falsch sein.
Ein weiteres Problem ist, dass KI-Systeme nicht zwischen Anweisungen und den ihnen zur Verfügung gestellten Daten unterscheiden können. Dies erschwert es, klare Grenzen für das Verhalten der KI zu definieren und macht sie anfällig für unerwünschte Ausgaben.
KI kann keine Selbstauskunft geben
Die Vorstellung, man könnte eine KI einfach fragen, was sie kann und was nicht, ist leider ein Trugschluss. KI-Systeme haben keinen Zugriff auf ihre Trainingsdaten oder ein Verständnis ihrer eigenen Fähigkeiten. Sie können lediglich auf Basis der Muster, die sie während des Trainings “gesehen” haben, Antworten generieren. Dies begrenzt ihre Fähigkeit, über ihre eigenen Grenzen Auskunft zu geben.
Generative KI kann nicht gut rechnen
Trotz beeindruckender Fortschritte in der Entwicklung generativer KI sind diese Systeme nicht dafür ausgelegt, mathematische Operationen durchzuführen. Ihre Stärke liegt in der Verarbeitung und Generierung von Sprache, nicht in der Lösung von Rechenaufgaben. Während sie einfache mathematische Probleme lösen können, stoßen sie schnell an ihre Grenzen, wenn es um komplexere Berechnungen geht.
Generative KI kann schlecht konkrete, spezifische Fakten wiedergeben
Generative KI-Systeme sind keine Information Retrieval Systeme. Sie können Informationen generieren, die auf den Mustern in ihren Trainingsdaten basieren, aber sie können nicht gezielt nach spezifischen, aktuellen Fakten suchen oder diese verifizieren. Die Kombination von KI mit Information Retrieval Systemen ist möglich, aber komplex und fehleranfällig.
Generative KI kann nicht zwischen wahr und falsch unterscheiden
Für eine KI sind Aussagen “wahr”, die statistisch häufig in den Trainingsdaten vorkommen. Sie verfügt jedoch nicht über ein Verständnis von Wahrheit oder Falschheit im menschlichen Sinne. Dies begrenzt ihre Fähigkeit, verlässliche Informationen zu liefern und macht eine menschliche Überprüfung unerlässlich.
KI kann die Bedeutung von Wörtern nicht ohne Kontext erkennen
Die Fähigkeit, die Bedeutung von Wörtern unabhängig von ihrem Kontext zu verstehen, ist eine Herausforderung für KI-Systeme. Während symbolische KI-Ansätze versuchen, Bedeutungen durch feste Regeln und Beziehungen zu erfassen, arbeiten stochastische Modelle mit Wahrscheinlichkeiten und Mustern. Beide Ansätze haben ihre Vor- und Nachteile, aber keiner kann die menschliche Fähigkeit zur Kontextinterpretation vollständig nachbilden.
Insgesamt zeigt sich, dass generative KI ein mächtiges Werkzeug ist, das jedoch klare Grenzen hat. Die Vorstellung von KI als Allheilmittel oder magischer Zauberbox ist irreführend und kann zu Enttäuschungen führen. Ein verantwortungsvoller Umgang mit KI erfordert ein tiefes Verständnis ihrer Fähigkeiten und Grenzen sowie eine kritische Bewertung der von ihr generierten Ergebnisse.
GPT-4
Was generative KI nicht kann.
In der Welt der Technologie ist künstliche Intelligenz (KI) ein heißes Thema. Mit ihren beeindruckenden Fähigkeiten und ihrer rasanten Entwicklung hat sie das Potenzial, viele Aspekte unseres Lebens zu verändern. Aber trotz all ihrer Fortschritte und Fähigkeiten gibt es immer noch viele Dinge, die KI nicht kann. In diesem Artikel werden wir einige dieser Einschränkungen diskutieren.
KI ist keine magische Zauberbox:
Die Vorstellung, dass KI eine Art magische Box ist, die alle Probleme lösen kann, ist weit verbreitet, aber leider nicht korrekt. KI ist ein Werkzeug, das bestimmte Aufgaben sehr gut erledigen kann, aber es hat auch seine Grenzen.
Ein gutes Beispiel dafür ist die Arbeit mit Bildern. Man könnte denken, dass man einer KI einfach sagen kann, was sie tun soll, wie man es einem Grafiker sagen würde. Aber so funktioniert das nicht. Um eine KI effektiv zu nutzen, muss man verstehen, wie sie funktioniert und mit welchen Daten sie trainiert wurde. Ohne dieses Wissen kann man nicht erwarten, dass die KI die gewünschten Ergebnisse liefert.
Ein weiteres Beispiel ist die Arbeit mit ChatGPT, einem KI-Modell, das für die Erstellung von Texten verwendet wird. In einem speziellen Anwendungsfall wird es zur Durchführung von Double-Cross-Impact-Analysen (DCIA) verwendet, um Wechselwirkungen zwischen verschiedenen Variablen zu analysieren. Aber auch hier gibt es Grenzen. Man kann nicht erwarten, dass die KI die statistische Relevanz ihrer eigenen Beurteilungen erkennt. Sie kann nicht die internen Berechnungen offenlegen, die zu ihren Schlussfolgerungen geführt haben.
KI ist nur so schlau wie der / die Anwender_in:
Ein weiterer wichtiger Punkt ist, dass die KI nur so schlau ist wie der Benutzer. Sie kann nur das tun, was man ihr sagt, und sie kann die Ergebnisse nicht selbst überprüfen. Daher ist es wichtig, dass die Benutzer qualifiziert sind und die Ergebnisse kontrollieren.
Ein Problem dabei ist, dass die KI nicht zwischen Anweisungen und Input-Daten unterscheiden kann. Das kann zu unerwünschten Ergebnissen führen, wenn die Benutzer nicht genau wissen, was sie tun. Ein Beispiel dafür sind Chatbots, die dazu neigen, unerwünschte Aktionen auszuführen, wenn sie nicht richtig programmiert sind.
KI kann keine Selbstauskunft geben:
Es ist auch wichtig zu verstehen, dass eine KI keine Selbstauskunft geben kann. Wenn man eine KI fragt, was sie kann und was nicht, wird sie wahrscheinlich nur allgemeine Informationen über ihre Fähigkeiten geben, die in ihren Trainingsdaten enthalten waren. Sie hat keinen Zugriff auf das Archiv oder die Metadaten der Trainingsdaten und kann daher keine spezifischen Informationen darüber liefern.
Generative KI kann nicht gut rechnen:
Ein weiterer Punkt ist, dass generative KI-Modelle nicht gut rechnen können. Sie wurden nicht dafür konzipiert und ihre Architektur ist nicht dafür geeignet. Sie können einfache mathematische Operationen durchführen, aber nur, weil diese Aufgaben häufig genug in den Trainingsdaten enthalten sind.
Generative KI kann schlecht konkrete, spezifische Fakten wiedergeben, die nicht Teil der Trainingsdaten waren:
Generative KI-Modelle sind auch nicht gut darin, spezifische Fakten wiederzugeben, die nicht Teil ihrer Trainingsdaten waren. Sie sind keine Information Retrieval Systeme. Man kann sie mit solchen Systemen kombinieren, aber das ist eine komplexe Aufgabe, die ein tiefes Verständnis der KI und der Daten erfordert.
Generative KI kann nicht zwischen wahr und falsch unterscheiden:
Für eine KI sind Aussagen “wahr”, die statistisch häufig in den Trainingsdaten vorkommen. Sie erstellt kein echtes mentales Modell der Welt und kann daher nicht zwischen wahr und falsch unterscheiden. Sie transformiert Wörter basierend auf ihrem Kontext, aber sie führt keinen Abgleich im Sinne einer Entitätserkennung oder einer Ontologie durch.
KI kann die Bedeutung von Wörtern nicht ohne Kontext erkennen!
Schließlich kann eine KI die Bedeutung von Wörtern nicht ohne Kontext erkennen. Das ist ein großer Unterschied zwischen menschlicher Intelligenz und KI. Menschen können die Bedeutung von Wörtern unabhängig vom Kontext verstehen, während KI das nicht kann.
Zusammenfassend lässt sich sagen, dass KI ein mächtiges Werkzeug ist, das viele beeindruckende Dinge tun kann. Aber es ist kein Allheilmittel und hat viele Einschränkungen. Es ist wichtig, diese Einschränkungen zu verstehen, um KI effektiv und verantwortungsvoll einzusetzen.
Das Ergebnis: GPT-4 ist besser als GPT-4 Turbo
Im direkten Vergleich der beiden Texte wird sehr deutlich, dass GPT-4 Turbo Details verschluckt und sich zu allgemeinen Aussagen und Plattitüden verleiten lässt.
Das reguläre GPT-4 Modell ist hier deutlich präziser und nuancierter, fügt allerdings keine weiteren Erklärungen oder Details hinzu, wie Claude 3 Opus dies getan hatte.
Abschließend hat sich mir die Frage aufgedrängt, ob ich mein ChatGPT Abonnement jetzt kündigen sollte, denn mit solchen Texten möchte ich nicht arbeiten. Doch welche GPT-4 Version verwendet ChartGPT eigentlich? In der Modellauswahl steht nur „GPT-4“. Schauen wir uns also dessen Output an!
GPT-4 vs. ChatGPT’s GPT-4
Um möglichst identische Bedingungen zu schaffen, habe ich einen Custom GPT angelegt, der die Systemprompts aus dem API-Calls als „Instructions“ bekam. Die User-Message habe ich dann ganz normal im Chatinterface eingegeben.
GPT-4
Was generative KI nicht kann.
In der Welt der Technologie ist künstliche Intelligenz (KI) ein heißes Thema. Mit ihren beeindruckenden Fähigkeiten und ihrer rasanten Entwicklung hat sie das Potenzial, viele Aspekte unseres Lebens zu verändern. Aber trotz all ihrer Fortschritte und Fähigkeiten gibt es immer noch viele Dinge, die KI nicht kann. In diesem Artikel werden wir einige dieser Einschränkungen diskutieren.
KI ist keine magische Zauberbox:
Die Vorstellung, dass KI eine Art magische Box ist, die alle Probleme lösen kann, ist weit verbreitet, aber leider nicht korrekt. KI ist ein Werkzeug, das bestimmte Aufgaben sehr gut erledigen kann, aber es hat auch seine Grenzen.
Ein gutes Beispiel dafür ist die Arbeit mit Bildern. Man könnte denken, dass man einer KI einfach sagen kann, was sie tun soll, wie man es einem Grafiker sagen würde. Aber so funktioniert das nicht. Um eine KI effektiv zu nutzen, muss man verstehen, wie sie funktioniert und mit welchen Daten sie trainiert wurde. Ohne dieses Wissen kann man nicht erwarten, dass die KI die gewünschten Ergebnisse liefert.
Ein weiteres Beispiel ist die Arbeit mit ChatGPT, einem KI-Modell, das für die Erstellung von Texten verwendet wird. In einem speziellen Anwendungsfall wird es zur Durchführung von Double-Cross-Impact-Analysen (DCIA) verwendet, um Wechselwirkungen zwischen verschiedenen Variablen zu analysieren. Aber auch hier gibt es Grenzen. Man kann nicht erwarten, dass die KI die statistische Relevanz ihrer eigenen Beurteilungen erkennt. Sie kann nicht die internen Berechnungen offenlegen, die zu ihren Schlussfolgerungen geführt haben.
KI ist nur so schlau wie der / die Anwender_in:
Ein weiterer wichtiger Punkt ist, dass die KI nur so schlau ist wie der Benutzer. Sie kann nur das tun, was man ihr sagt, und sie kann die Ergebnisse nicht selbst überprüfen. Daher ist es wichtig, dass die Benutzer qualifiziert sind und die Ergebnisse kontrollieren.
Ein Problem dabei ist, dass die KI nicht zwischen Anweisungen und Input-Daten unterscheiden kann. Das kann zu unerwünschten Ergebnissen führen, wenn die Benutzer nicht genau wissen, was sie tun. Ein Beispiel dafür sind Chatbots, die dazu neigen, unerwünschte Aktionen auszuführen, wenn sie nicht richtig programmiert sind.
KI kann keine Selbstauskunft geben:
Es ist auch wichtig zu verstehen, dass eine KI keine Selbstauskunft geben kann. Wenn man eine KI fragt, was sie kann und was nicht, wird sie wahrscheinlich nur allgemeine Informationen über ihre Fähigkeiten geben, die in ihren Trainingsdaten enthalten waren. Sie hat keinen Zugriff auf das Archiv oder die Metadaten der Trainingsdaten und kann daher keine spezifischen Informationen darüber liefern.
Generative KI kann nicht gut rechnen:
Ein weiterer Punkt ist, dass generative KI-Modelle nicht gut rechnen können. Sie wurden nicht dafür konzipiert und ihre Architektur ist nicht dafür geeignet. Sie können einfache mathematische Operationen durchführen, aber nur, weil diese Aufgaben häufig genug in den Trainingsdaten enthalten sind.
Generative KI kann schlecht konkrete, spezifische Fakten wiedergeben, die nicht Teil der Trainingsdaten waren:
Generative KI-Modelle sind auch nicht gut darin, spezifische Fakten wiederzugeben, die nicht Teil ihrer Trainingsdaten waren. Sie sind keine Information Retrieval Systeme. Man kann sie mit solchen Systemen kombinieren, aber das ist eine komplexe Aufgabe, die ein tiefes Verständnis der KI und der Daten erfordert.
Generative KI kann nicht zwischen wahr und falsch unterscheiden:
Für eine KI sind Aussagen “wahr”, die statistisch häufig in den Trainingsdaten vorkommen. Sie erstellt kein echtes mentales Modell der Welt und kann daher nicht zwischen wahr und falsch unterscheiden. Sie transformiert Wörter basierend auf ihrem Kontext, aber sie führt keinen Abgleich im Sinne einer Entitätserkennung oder einer Ontologie durch.
KI kann die Bedeutung von Wörtern nicht ohne Kontext erkennen!
Schließlich kann eine KI die Bedeutung von Wörtern nicht ohne Kontext erkennen. Das ist ein großer Unterschied zwischen menschlicher Intelligenz und KI. Menschen können die Bedeutung von Wörtern unabhängig vom Kontext verstehen, während KI das nicht kann.
Zusammenfassend lässt sich sagen, dass KI ein mächtiges Werkzeug ist, das viele beeindruckende Dinge tun kann. Aber es ist kein Allheilmittel und hat viele Einschränkungen. Es ist wichtig, diese Einschränkungen zu verstehen, um KI effektiv und verantwortungsvoll einzusetzen.
ChatGPT’s GPT-4
Was generative KI nicht kann
In einer Welt, die zunehmend von künstlicher Intelligenz (KI) durchdrungen wird, ist es leicht, sich von den schillernden Erfolgsgeschichten und beeindruckenden Demonstrationen hinreißen zu lassen. Doch hinter dem Vorhang dieser technologischen Wunderwerke verbergen sich Grenzen, die uns daran erinnern, dass KI weit entfernt von einer Allzwecklösung ist. In diesem Blogartikel beleuchten wir, was generative KI nicht kann, und räumen mit einigen Mythen auf, die sich um ihre Fähigkeiten ranken.
KI ist keine magische Zauberbox
Der Traum, eine KI wie einen menschlichen Experten oder eine Expertin anzusprechen, um komplexe Aufgaben ausführen zu lassen, stößt schnell auf harte Realitätsgrenzen.
So kann man beispielsweise einer KI, die auf Bildgenerierung spezialisiert ist, nicht einfach sagen: “Erstelle ein Bild, das Emotionen auf eine Art und Weise vermittelt, wie es ein Grafiker tun würde.” Die KI versteht weder die subtilen Nuancen kreativer Anweisungen noch kann sie eigenständig kreative Entscheidungen treffen. Sie operiert innerhalb der Grenzen dessen, was durch ihre Trainingsdaten und Algorithmen definiert ist.
Ein praktisches Beispiel aus der Arbeitswelt ist die Nutzung von ChatGPT für systemische Analysen und Szenarien. Trotz beeindruckender Fähigkeiten in der Verknüpfung und Bewertung von Variablen kann ChatGPT keine statistische Relevanz oder die Wahrscheinlichkeit der Auswirkungen eigenständig beurteilen. Die KI fehlt es an der Fähigkeit, tiefergehende, mathematische Berechnungen durchzuführen oder die statistische Signifikanz ihrer eigenen Aussagen zu erkennen.
KI ist nur so schlau wie der / die Anwender_in
Die Qualität der Ergebnisse, die man von einer KI erhält, hängt stark von der Qualität der Eingaben (Prompts) ab, die sie erhält. Dies bedeutet, dass Benutzer ein gutes Verständnis dafür haben müssen, wie sie mit der KI kommunizieren und welche Informationen sie benötigt, um sinnvolle Antworten zu generieren. Ohne entsprechende Expertise im Formulieren von Anfragen und im Kontrollieren der Ergebnisse kann die Nutzung von KI schnell zu unbrauchbaren oder gar irreführenden Auskünften führen. Ebenso kann die KI nicht selbstständig zwischen sinnvollen und unsinnigen, schädlichen oder sogar gefährlichen Anweisungen unterscheiden. Das Entwickeln sicherer und zuverlässiger KI-Systeme stellt daher eine große Herausforderung dar.
KI kann keine Selbstauskunft geben
Eine der größten Fehleinschätzungen über KI ist die Annahme, sie könnte über ihre Fähigkeiten, Limitationen oder die Daten, mit denen sie trainiert wurde, Auskunft geben. KI-Modelle wie ChatGPT speichern keine direkten Informationen über ihre Trainingsdaten, sondern lernen statistische Muster und Abhängigkeiten. Sie können keine Meta-Analysen ihrer Trainingsgrundlage liefern oder die Genauigkeit ihrer Informationen verifizieren. Sie operieren auf der Basis dessen, was statistisch gesehen in ihren Trainingsdaten am häufigsten vorkam, ohne eine tiefere Verständnisebene der Inhalte zu besitzen.
Generative KI kann nicht gut rechnen
Obwohl generative KI beeindruckende Texte schreiben und komplexe Themen erschließen kann, sind ihre mathematischen Fähigkeiten begrenzt. Die Architektur und das Training von Sprachmodellen sind nicht darauf ausgelegt, mathematische Operationen zu verstehen oder durchzuführen. Während sie einfache Rechenaufgaben bewältigen kann, stößt sie bei komplexeren mathematischen Problemen schnell an ihre Grenzen.
Generative KI kann schlecht konkrete, spezifische Fakten wiedergeben, die nicht Teil der Trainingsdaten waren
Ein Sprachmodell ist kein Information-Retrieval-System. Es kann Informationen, die es während des Trainings “gesehen” hat, in neuem Kontext wiedergeben, aber es kann nicht aktiv nach neuen oder aktualisierten Informationen suchen oder diese verifizieren. Die Kombination mit einem Retrieval-System, um aktuelle oder spezifische Daten abzurufen, ist komplex und fehleranfällig.
Generative KI kann nicht zwischen wahr und falsch unterscheiden
Für ein KI-Modell gibt es keine inhärente Unterscheidung zwischen wahren und falschen Informationen. Es spiegelt lediglich die Verteilung und Häufigkeit von Informationen in seinen Trainingsdaten wider. Dies führt dazu, dass KI-Modelle Informationen reproduzieren können, die zwar häufig vorkommen, aber nicht unbedingt korrekt sind.
KI kann die Bedeutung von Wörtern nicht ohne Kontext erkennen
Die Bedeutung eines Wortes oder Satzes ist für KI-Modelle stark kontextabhängig. Ohne ausreichenden Kontext können Bedeutungen und Nuancen verloren gehen. Dies unterstreicht den Unterschied zwischen symbolischer KI, die auf fest definierten Regeln und Beziehungen basiert, und stochastischer KI, die auf statistischen Modellen und Wahrscheinlichkeiten beruht.
Insgesamt zeigt sich, dass generative KI beeindruckende Leistungen vollbringen kann, aber ihre Fähigkeiten durch das Design ihrer Algorithmen, die Qualität und Art der Trainingsdaten sowie durch grundlegende Einschränkungen in der Verarbeitung und Generierung von Informationen begrenzt sind. Die Zukunft der KI-Forschung und -Entwicklung verspricht zwar weitere Durchbrüche, doch ein Bewusstsein für die Grenzen aktueller Technologien ist entscheidend für ihren verantwortungsvollen Einsatz.
Das Ergebnis: ChatGPT’s GPT-4 und GPT-4 sind gleichauf
Ich vermute aufgrund dieses Tests, dass es sich bei ChatGPTs GPT-4 Modell um das „vollständige“ GPT-4 handelt und nicht um GPT-4 Turbo, wie ich vor diesem Experiment gedacht hatte. Ich hatte angenommen, dass OpenAI aus Kostengründen bereits das Turbo-Modell für den Chatbot einsetzt, insbesondere mit Blick auf das vergleichsweise günstige Abonnement.
Mein Fazit: Claude 3 Opus gewinnt den Vergleich!
Wie bereits eingangs geschrieben, überzeugte mich ChatGPT bei dieser Aufgabe nicht, weshalb ich nun in den kommenden Wochen häufiger auf Claude 3 Opus setzen werden. Hoffentlich kommt das Abo bald nach Deutschland, oder ich finde jemanden, mit Wohnsitz und Kreditkarte in den USA, der mir den Zugang ermöglicht.
Abonniere das kostenlose KI-Update
Bleib auf dem Laufenden in Sachen Künstliche Intelligenz!
Melde Dich jetzt mit Deiner E-Mail-Adresse an und ich versorge Dich kostenlos mit News-Updates, Tools, Tipps und Empfehlungen aus den Bereichen Künstliche Intelligenz für dein Online Business, WordPress, SEO, Online-Marketing und vieles mehr.
Keine Sorge, ich mag Spam genauso wenig wie Du und gebe Deine Daten niemals weiter! Du bekommst höchstens einmal pro Woche eine E-Mail von mir. Versprochen.
