KI-Vorhaben priorisieren: Welches Problem soll das Ding eigentlich lösen?

„Wir brauchen einen KI-Agenten für den Kundenservice.“ Klingt nach einem Plan. Ein Verantwortlicher lässt sich finden, ein Budget auch, und die erste Demo wird vermutlich ziemlich beeindruckend.

Nur eine Kleinigkeit fehlt noch: Welches Problem soll das Ding eigentlich lösen?

Vielleicht wartet die Kundschaft zu lange auf Antworten. Vielleicht fehlen den Mitarbeitenden Informationen. Vielleicht kommen dieselben Fragen immer wieder, weil die Website sie nicht beantwortet. Oder die Antworten sind schnell, aber falsch. Das sind verschiedene Probleme. Sie verlangen verschiedene Lösungen. Ein Agent kann bei manchen helfen. Bei anderen baut er eine hübsche technische Fassade vor einen kaputten Ablauf.

Deshalb fängt KI-Priorisierung für mich mit einer ziemlich unmodernen Frage an: Was genau soll hinterher besser sein? Wer darauf keine konkrete Antwort hat, sollte noch keine Tools vergleichen. Sonst wird aus Priorisierung eine Einkaufsliste mit strategischem Anstrich.

Eine Idee ist noch keine Aufgabe

Spielen wir das an einem Gedankenexperiment durch: Ein kleiner B2B-Anbieter bekommt regelmäßig Fragen zu seinen Produkten. Welche Variante passt zu einer vorhandenen Anlage? Ist Zubehör kompatibel? Kann eine Lieferfrist eingehalten werden? Die Antworten entstehen aus Produktunterlagen, internen Informationen und dem Wissen einzelner Mitarbeitender.

Die Idee auf der Projektliste heißt „KI im Kundenservice“. Das ist ungefähr so präzise wie „Digitalisierung im Vertrieb“. Als Richtung brauchbar. Als Arbeitsauftrag unbrauchbar.

Ein prüfbares Vorhaben könnte dagegen lauten: Für wiederkehrende Kompatibilitätsfragen erstellt die KI einen Antwortentwurf aus freigegebenen Produktunterlagen, nennt die verwendeten Stellen und weist auf fehlende Informationen hin. Ein Mensch prüft den Entwurf und verschickt die Antwort. Lieferzusagen bleiben zunächst außen vor.

Jetzt lässt sich darüber reden. Wir kennen den Eingang, den gewünschten Ausgang und eine Grenze. Wir wissen auch, wer für das Ergebnis verantwortlich bleibt. Und wir können prüfen, ob der Entwurf tatsächlich hilft.

Das macht die Idee kleiner. Gut so. Ein kleiner, verständlicher Auftrag ist für eine erste Entscheidung mehr wert als eine große Vision, in die jeder etwas anderes hineinliest.

Meine Faustregel: Wenn Du das Vorhaben nur mit dem Namen eines Tools oder einer Technologie erklären kannst, ist es noch nicht präzise genug.

Dasselbe gilt für „Wir wollen einen Chatbot“, „Wir brauchen RAG“ oder „Das machen wir mit Agenten“. Das können später technische Entscheidungen sein. Zuerst brauchst Du eine Aufgabe, an der sich diese Entscheidungen rechtfertigen müssen.

Was Du schneller machst, muss nicht Dein Problem sein

Zurück zu unserem Anbieter. Bevor wir einen Antwortassistenten bauen, schauen wir uns einige tatsächlich bearbeitete Anfragen an: unkomplizierte, schwierige und solche, bei denen es schiefging. Wo bleibt die Arbeit liegen? Beim Verstehen der Frage? Beim Suchen? Beim Formulieren? Oder bei der Rückfrage an jemanden, der gerade nicht erreichbar ist?

Angenommen, die Formulierung ist schnell erledigt. Die meiste Zeit geht dafür drauf, unterschiedliche Versionen eines Datenblatts abzugleichen. Dann kann die KI noch so elegant schreiben: Der Engpass sitzt woanders. Vielleicht bringt eine verbindliche Ablage mit aktuellen Unterlagen mehr als ein Modell, das die widersprüchlichen Unterlagen nur schneller zusammenfasst.

Oder die Produktinformationen sind sauber, aber niemand findet die passende Stelle. Dann ist ein Assistent, der relevante Quellen erschließt, einen Versuch wert. Er muss dafür nicht selbstständig kommunizieren. Vielleicht reicht eine bessere Suche. Vielleicht eine Suche mit Antwortentwurf. Die zusätzliche Autonomie sollte sich ihren Platz im Prozess verdienen.

Ich würde deshalb mindestens drei Wege nebeneinanderlegen: den heutigen Ablauf, eine einfache Verbesserung ohne KI und die KI-Variante. In unserem Beispiel könnte die einfache Verbesserung aus einer übersichtlichen Kompatibilitätstabelle und freigegebenen Antwortvorlagen bestehen.

KI hat keinen Anspruch darauf, das Ergebnis dieser Prüfung zu sein. Wer nur verschiedene KI-Lösungen vergleicht, hat die wichtigste Entscheidung bereits übersprungen.

Und bitte miss nicht nur die Zeit bis zum ersten Entwurf. Der Entwurf ist ein Zwischenprodukt. Entscheidend ist die Zeit bis zur fachlich richtigen, versandfertigen Antwort: einschließlich Quellenprüfung, Korrektur und notwendiger Rückfragen. Eine schnelle Ausgabe, die anschließend mühsam kontrolliert werden muss, ist noch keine Zeitersparnis.

Eine Punktzahl macht aus einer Vermutung keine Erkenntnis

Spätestens jetzt kommt meist die Priorisierungsmatrix auf den Tisch: Nutzen, Machbarkeit, Risiko, Aufwand. Alles bekommt Punkte, dann wird sortiert.

Ich habe nichts gegen eine solche Übersicht. Aber ich halte wenig davon, Unsicherheit hinter Rechenzeichen zu verstecken. Wenn der Nutzen geschätzt ist, die Datenqualität ungeprüft und der Kontrollaufwand unbekannt, bleibt die errechnete Rangfolge eine Rangfolge von Annahmen. Sie kann eine Diskussion ordnen. Sie sollte sie nicht beenden.

Für den ersten Versuch würde ich drei Fragen vor die Punktevergabe setzen:

Bei unserem Supportbeispiel heißt „prüfbar“: Eine fachkundige Person kann anhand der freigegebenen Unterlagen beurteilen, ob die vorgeschlagene Kompatibilität stimmt. Es reicht nicht, dass die Antwort überzeugend klingt. Wir brauchen Fälle, bei denen die Informationen fehlen, widersprüchlich sind oder keine eindeutige Antwort erlauben. Eine brauchbare Lösung muss auch erkennen lassen, wann sie nichts Belastbares sagen kann.

Und „Verantwortung geklärt“ bedeutet mehr als einen Projektnamen im Organigramm. Wer darf die Unterlagen verwenden? Wer entscheidet bei einem Widerspruch? Wer prüft die Antworten im Alltag? Wer hält die Produktinformationen aktuell? Wenn niemand diese Arbeit übernehmen kann, ist das keine kleine Restaufgabe für später.

Zwischen mehreren geeigneten Vorhaben würde ich eines bevorzugen, dessen Nutzen relevant ist und dessen entscheidende Unsicherheit sich mit überschaubarem Aufwand prüfen lässt. Das muss nicht das Projekt mit dem größten theoretischen Potenzial sein. Ein begrenzter Versuch kann Dir eine belastbare nächste Entscheidung liefern. Eine ambitionierte Demo kann Dir bloß neue offene Fragen liefern.

Der erste Pilot braucht eine Frage, die auch mit Nein beantwortet werden darf

Für unseren Anbieter wäre das: Können geprüfte KI-Entwürfe die Bearbeitung von Kompatibilitätsfragen erleichtern, ohne relevante Fehler zu übersehen? Noch konkreter wird es, wenn vor dem Versuch feststeht, woran wir das beurteilen:

Was prüfen wir?	Worauf kommt es im Beispiel an?
Gesamter Aufwand	Bearbeitung bis zur freigegebenen Antwort, einschließlich Prüfung und Korrektur.
Fachliche Qualität	Richtige Kompatibilitätsaussagen und passende Belegstellen.
Grenzen erkennen	Fehlende oder widersprüchliche Informationen werden sichtbar, statt eine Zusage zu erfinden.
Alltagstauglichkeit	Die zuständigen Menschen können den Ablauf mit den verfügbaren Mitteln tatsächlich übernehmen.

Lege die Grenze für akzeptable Ergebnisse vor dem Test fest. Nicht erst, wenn die Lieblingslösung knapp daran vorbeirutscht. Und verwende einen Teil der Fälle erst zur Prüfung, nachdem Du die Lösung eingerichtet hast. Sonst bewertest Du womöglich nur, wie gut sie auf Deine bereits bekannten Beispiele zugeschnitten ist.

Eine kleine Fallauswahl liefert noch keinen Beweis für den ganzen Betrieb. Sie kann aber einen ungeeigneten Ansatz sichtbar machen, einen engeren Einsatzbereich nahelegen oder den nächsten Versuch begründen. Für unseren Anbieter könnte das Ergebnis lauten: Der Assistent hilft beim Auffinden der Quellen, aber Antwortentwürfe bringen kaum zusätzliche Entlastung. Das wäre kein peinlicher Misserfolg. Es wäre eine nützliche Entscheidung.

Vielleicht gewinnen am Ende die Tabelle und die Vorlagen. Vielleicht die KI. Vielleicht wird zuerst die Dokumentation aufgeräumt. Entscheidend ist, dass Du anschließend mehr weißt als vorher und etwas anderes entscheidest, wenn die Ergebnisse etwas anderes nahelegen.

Nimm Dir dafür ein Vorhaben von Deiner Liste und schreibe einen Satz: „Bei dieser Aufgabe soll für diese Menschen dieses Ergebnis besser werden; erkennen können wir das daran, dass …“ Wenn sich der Satz nicht sinnvoll beenden lässt, fehlt Dir kein Tool. Dir fehlt die Grundlage für die Entscheidung.