Es ist bereits Anfang März und damit wieder Zeit für ein kleines KI-News Update von mir.

Die Umstellung meiner Webseite von search-one.de auf afaik.de ist übrigens abgeschlossen und als letzte Elemente habe ich mir noch einen neuen Firmenstempel sowie neue Visitenkarten zugelegt.

Mit den KI-Werkräumen gehe ich gerade in die dritte Iteration und das Konzept für meine Masterclass wird immer konkreter.

Es wird nun insgesamt drei Pakete geben:

1. KI für Professionals

In diesem Paket ist die Teilnahme an den Live-Terminen für eine Person zu meiner Masterclass mit Fokus auf den operativen Einsatz generativer KI enthalten. Es wird Vorlesungen und Fragestunden geben.

Darüber hinaus Zugriff auf Aufzeichnungen sowie umfangreiche Schulungsunterlagen und Tool-Empfehlungen. Außerdem ist die Teilnahme am Zertifizierungsprogramm inklusive, wofür jedoch die Teilnahme einer bestimmte Anzahl von Terminen notwendige Voraussetzung sein wird.

Das zweite Paket ist:

2. KI-Knowhow für Führungskräfte

Dieses Paket umfasst eine Masterclass legt den Fokus auf den strategischen Einsatz generativer KI und ermöglicht die Teilnahme an exklusiven Live-Terminen für Führungskräfte.

Darüber hinaus sind überzeugende Präsentationen und vorbereitete Checklisten für die Einführung generativer KI im Unternehmen Teil des Pakets. Abgerundet wird das Ganze durch private Fragestunden, eine individuelle Beratung ist ebenfalls möglich.

Das dritte Paket ist:

3. KI für Unternehmen

Dieses Paket ermöglicht den Zugang zur allen Masterclasses für mehrere Personen und kann zentral gebucht und per Rechnung bezahlt werden.

Damit können Sie mehreren Mitarbeiter:innen die Teilnahme an allen Live-Terminen und Sprechstunden für Professionals und Führungskräfte ermöglichen, erhalten Zugriff auf sämtliche Aufzeichnungen, Präsentationen, Schulungsunterlagen, Tools und Checklisten.

Außerdem erhalten Sie private Sprechstunden exklusiv für Ihr Unternehmen, sowie die Teilnahme am Zertifizierungsprogramm für alle Teilnehmer:innen.

Die vorläufigen Inhalte der Masterclass finden Sie  unter: https://www.afaik.de/generative-ki-masterclass/

Die finalen Preise stehen derzeit noch nicht fest.

Falls Sie Interesse an einer Teilnahme haben, füllen Sie bitte das Formular auf meiner Webseite aus, damit ich Sie unmittelbar informieren kann, sobald die erste Kohorte startet!

Das KI-Start-up Anthropic hat mit Claude 3 eine neue Modellfamilie von KI-Systemen vorgestellt, die in verschiedenen Bereichen neue Standards setzen soll.

Claude 3 besteht aus den Modellen Haiku, Sonnet und Opus, die Nutzern je nach Bedarf an Intelligenz, Geschwindigkeit und Kosten angepasst sind. Opus kombiniert die Geschwindigkeit von Claude 2.1 mit höherer Intelligenz, während Haiku fast in Echtzeit reagieren kann. Diese Modelle bieten verbesserte Fähigkeiten in Analyse, Prognose, Inhaltserstellung, Codegenerierung und Konversation in mehreren Sprachen sowie die Verarbeitung verschiedener visueller Formate.

Na da bin ich aber gespannt! GPT-4 zu übertreffen hatte schon Google mit Gemini Ultra behauptet, Mistral mit Large und Meta AI mit Llama 2... bislang sind alle daran gescheitert!

Über Operas eingebauten VPN lässt sich zwar Claude 3 Sonnet, das zweitintelligentestes Modell bereits kostenlos ausprobieren. Um Opus, das intelligenteste Modell, auszuprobieren, muss man jedoch auf Claude Pro ($20) upgraden, was aktuell nicht aus Deutschland heraus möglich ist.

Der Arbeitskreis Recht im Unternehmen & Compliance des Bitkom hat gerade einen umfangreichen Leitfaden „Generative KI im Unternehmen“ veröffentlicht.

Insbesondere die rechtlichen Aspekte bei der Beschaffung finde ich sehr interessant! Hier geht das Dokument sowohl auf die Verteilung der Verantwortlichkeiten entlang der Wertschöpfungskette nach AI Act ein und liefert eine Checkliste und Vorüberlegungen vor der Beschaffung von KI (IT Procurement), als auch auf die unzähligen rechtlichen Aspekte in der Einsatzphase.

Einziger Kritikpunkt von meiner Seite: Das Thema „Ethik beim Einsatz von KI“, insbesondere die in JEDEM KI Modell enthaltenen Vorurteile und Verzerrungen kommen aus meiner Sicht deutlich zu kurz. Das Thema wird zwar unter „Haftungsrechtliche Aspekte“ kurz beschrieben, die Tragweite dessen wird aus meiner Sicht hier jedoch nicht deutlich.

In der Studie „Tiny Titans“ untersuchen Forscher, ob kleinere, feinabgestimmte Sprachmodelle mit weniger als 2 Milliarden Parametern leistungsstärker sein können als größere, öffentlich verfügbare Sprachmodelle wie Llama 2 Chat und proprietäre Modelle wie GPT-3.5.

Die Ergebnisse zeigen, dass FLAN-T5-Large bei spezifischen Anwendungen wie der Zusammenfassung von Texten in bestimmten Domänen (z.B. realen Besprechungsdaten) besser abschneiden kann als größere Modelle. Dennoch besteht eine Einschränkung in der begrenzten Kontextgröße von FLAN-T5-Large, was bei größeren Textmengen zu Leistungseinbußen führt.

Außerdem wurde im Paper die Zuverlässigkeit automatisierter Metriken wie ROUGE-Scores zur Bewertung von Zusammenfassungen diskutiert. Obwohl sie nützlich sind, um die Übereinstimmung zwischen maschinengenerierten Zusammenfassungen und Referenzzusammenfassungen zu messen, erfassen sie möglicherweise nicht vollständig die Qualität in Bezug auf Kohärenz, Lesbarkeit oder faktische Genauigkeit.

Die Studie weist darauf hin, dass kleinere Modelle aufgrund ihrer begrenzten Kontextgröße und der geringeren Kapazität zur Informationsverarbeitung in einigen Fällen schlechter abschneiden als größere Modelle. Die Forschung legt nahe, dass das Erweitern der Kontextlängen während des Trainings und der Inferenz eine Möglichkeit sein könnte, diese Einschränkungen zu überwinden, ohne die Modellgröße notwendigerweise zu erhöhen.

Abschließend wird betont, dass trotz der relativen Schwächen kleinerer Modelle in bestimmten Bereichen, Modelle wie FLAN-T5 für spezifische Feinabstimmungsaufgaben immer noch sehr leistungsfähig sein können.

Google hat kürzlich mit Gemma eine Serie von Sprachmodellen (LLMs) vorgestellt, die auf der Gemini-Architektur basieren. Diese Serie umfasst vier Varianten: Gemma 2B und 7B als vortrainierte Basis-Modelle sowie instruktionsfeinabgestimmte Versionen derselben Größe (Instruct bzw. Chat).

Gemma zeichnet sich durch beeindruckende Leistungen im Vergleich zu anderen beliebten und weit verbreiteten Open-Source-Modellen wie Llama 2 7B und Mistral aus. Diese Leistung wird vermutlich durch die instruktionsfeinabgestimmten Varianten erreicht, unterstützt durch eine umfangreiche Wortschatzgröße von 256.000 Wörtern und ein Training auf einem 6 Billionen Token umfassenden Datensatz.

Die Architektur von Gemma ähnelt der von Llama 2 und zeichnet sich jedoch durch einige interessante Designentscheidungen aus, wie eine sehr große Vokabulargröße und den Einsatz von GeGLU-Aktivierungen, einer Variante der GELU-Aktivierungsfunktion, die eine effektivere Verarbeitung ermöglicht. Im Vergleich zu anderen Modellen verwendet Gemma eine besondere Form der Normalisierung und Aktivierung, was zu seiner herausragenden Leistung beiträgt.

Ein weiteres bemerkenswertes Merkmal ist die Verwendung von multi-query Aufmerksamkeit in der 2B-Variante und eine relativ große Feedforward-Schicht in der 7B-Variante, trotz einer geringeren Gesamtzahl an Schichten. Trotz weniger Schichten hat Gemma eine beachtliche Anzahl von Parametern, wobei die 7B-Version tatsächlich 9,3 Milliarden Parameter aufweist.

Damit stellt Gemma eine wertvolle Ergänzung zu der Sammlung öffentlich verfügbarer LLMs dar. Insbesondere das 7B-Modell zeigt starkes Potenzial, um in realen Anwendungsfällen Llama 2 und Mistral zu ersetzen.

Das 2B-Modell ist ebenfalls von Interesse, da es komfortabel auf einer einzelnen GPU läuft und somit einen Vergleich mit anderen Modellen wie phi-2, das 2,7 Milliarden Parameter umfasst, interessant macht.

Der Wharton Professor und wahrer Experte auf dem Gebiet der künstlichen Intelligenz, Ethan Mollick teilt in seinem Newsletter stets seine jüngsten Erkenntnisse und Erfahrungen im Umgang mit den neuesten Entwicklungen in der Welt der großen Sprachmodelle (LLMs).

Mollick betont in dieser Ausgabe, dass er seine Ansichten über den aktuellen Stand der KI-Technologie unerwartet schnell aktualisieren musste, insbesondere nach der Einführung von Googles Gemini Advanced, einem bedeutenden Konkurrenten von GPT-4. Er hebt zwei wesentliche Fortschritte hervor, die jeweils bedeutende praktische Auswirkungen haben:

1. Die erweiterten Gedächtniskapazitäten

und

2. Die gesteigerte Geschwindigkeit der KI-Systeme.

Im Ersten Punkt berichtet Mollick von der beeindruckenden Erweiterung des Kontextfensters in der neuesten Version von Googles Gemini, die es ermöglicht, über eine Million Token zu verarbeiten. Dieses erweiterte Gedächtnis ermöglicht es der KI, umfangreiche Informationsmengen, wie zum Beispiel Mollicks gesamtes akademisches Werk, effizient zu speichern und zu analysieren. Diese Kapazität übertrifft bei weitem die bisherigen Beschränkungen vieler Chatbots und eröffnet neue Nutzungsmöglichkeiten durch ihre nahezu perfekte Erinnerungsfähigkeit.

Ich bin hier noch etwas spektisch, denn obwohl Google Gemini 1.5 mit seinem Kontextfenster von bis zu einer Million Token hervor sticht und die Verarbeitung umfangreicher Datenmengen ermöglicht, ist jedoch die Frage nach der Präzision solcher Modelle entscheidend, da eine hohe Datenverarbeitungskapazität ohne Genauigkeit wenig Nutzen bietet, insbesondere wenn wichtige Details übersehen werden oder Informationen ungenau wiedergegeben werden.

Dieses Problem, bekannt als „Lost in the Middle“, betrifft auch andere Modelle mit großen Kontextfenstern wie GPT-4 Turbo und Claude 2, die trotz spezifischer Anweisungen relevante Details auslassen können.

Im Zweiten beschreibt Mollick die Fortschritte in der Antwortgeschwindigkeit der KI, die durch neue Hardwareentwicklungen eines Unternehmens namens Groq ermöglicht wurden. Diese Innovationen bieten fast augenblickliche Antworten von Modellen der GPT-3.5-Klasse und überwinden damit eine der größten Frustrationsquellen bei der Nutzung von ChatGPT: die langsame Geschwindigkeit.

Mollick betont, wie diese Entwicklungen – sowohl in Bezug auf Gedächtnis als auch auf Geschwindigkeit – KIs in realen Anwendungen wesentlich leistungsfähiger und benutzerfreundlicher machen. Er teilt faszinierende Beispiele, in denen KIs komplexe Aufgaben bewältigen, die von der Zusammenfassung wissenschaftlicher Arbeiten bis zum Erlernen einer Sprache mit nur 200 Sprechern reichen, basierend auf begrenzten verfügbaren Materialien.

Darüber hinaus reflektiert Mollick über seine Lehrerfahrung und wie er seinen Studierenden beibrachte, mit GPTs zu arbeiten und diese für innovative Projekte zu nutzen, die von der Automatisierung von Social-Media-Posts bis hin zur Unterstützung bei der Durchführung von Due-Diligence-Prozessen reichen. Diese Erfahrungen unterstreichen das enorme Potenzial von KIs, branchenübergreifend Veränderungen herbeizuführen und neue Möglichkeiten zu eröffnen, die zuvor als unmöglich galten.

Abschließend fordert Mollick Führungskräfte und Organisationen auf, vier zentrale Fragen zu bedenken, die dabei helfen sollen, die Herausforderungen und Chancen zu verstehen, die die rasante Entwicklung der KI-Technologie mit sich bringt. Diese Fragen zielen darauf ab, die Auswirkungen der KI auf bestehende Werte und Prozesse zu evaluieren, neue Möglichkeiten zu erkunden, die durch KI erschlossen werden können, und Strategien zu entwickeln, um sowohl den Markt als auch das Angebot von Produkten und Dienstleistungen zu erweitern und zu personalisieren.

Mollicks Einblicke bieten eine wertvolle Perspektive auf die Zukunft der KI und die Bedeutung, sich auf eine Welt vorzubereiten, die sich kontinuierlich und schnell verändert. Er mahnt zur Vorsicht vor den Risiken, die mit einer unüberlegten Integration von KI in Arbeitsprozesse einhergehen, betont aber gleichzeitig die enormen Möglichkeiten, die sich durch diese Technologien eröffnen, sowohl für die Verbesserung der Arbeitsbedingungen als auch für die Expansion und Innovation innerhalb von Branchen.

Falls Du Dich fragst, wieso Du diesen Newsletter erhältst:

Aus SEARCH ONE wurde AFAIK.

Du hast Dich in der Vergangenheit für meinem Newsletter angemeldet, damals wahrscheinlich noch unter search-one.de. Mittlerweile heißt mein Blog jedoch AFAIK, weshalb auch der Absender meiner Newsletter nun von [email protected] auf [email protected] umgestellt wurde.