Verlässliche KI-Chatbots und der Weg zur Produktivität
Chatbots gehören inzwischen in vielen Unternehmen genauso zum Arbeitsalltag, wie E-Mails oder Excel-Tabellen. Nach der großen Euphorie um ChatGPT und Co. hatten sowohl Mitarbeiter als auch Unternehmen die Hoffnung, dass der Chatbot weniger anspruchsvolle Tätigkeiten übernehmen kann und so zu Entlastung und mehr Produktivität führt. Diese Erwartung wurde aber bis jetzt nur an wenigen Stellen erfüllt. Dieser Artikel beschreibt Herausforderungen und mögliche Lösungsansätze, um Chatbots wertschöpfend in Unternehmen einsetzen zu können.
Das MIT schreibt in seiner Studie „The GenAI divide“, dass 50 % der Unternehmen Chatbots bereits in Pilotphasen einsetzen und 80 % planen dies zu tun. Die Überführung in produktive Lösungen bleibt jedoch häufig hinter den Erwartungen zurück. Das MIT hat in dieser Studie festgestellt, dass 95 % aller Anwendungen von Chatbots und generativer KI keinerlei messbare Einsparung durch KI erzielen. Fehlinformationen durch Halluzinationen stellen dabei die wichtigste Herausforderung für den produktiven Einsatz dar. Wie stark ein Chatbot halluziniert hängt von der Aufgabenstellung ab. Typischerweise liegt der Wert zwischen 9 % und 45 %, wobei spezifischere Aufgaben mit wenigen Beispielen einen höheren Halluzinationsanteil aufweisen. (s. auch News Integrity in AI Assistants und The Reality of AI Hallucinations in 2025) Eine so hohe Fehlerquote ist für den produktiven Einsatz meist nicht akzeptabel. Hinzu kommt, dass sich die Ergebnisse der Chatbots meist nur händisch überprüfen lassen. Die Überprüfung von KI-Ergebnissen macht daher einen Großteil des Produktivitätsgewinns wieder zunichte.
Große KI-Hersteller wie Microsoft, OpenAI und Anthropic führen die Schwächen aktueller Modelle häufig als Argument an, weshalb wir noch komplexere Modelle und in zweiter Instanz auch noch größere Rechenzentren benötigen. Auch in Europa werden solche Diskussionen geführt. OpenAI, der Hersteller von ChatGPT, musste allerdings in einer eigenen Veröffentlichung zugeben, dass sich Halluzinationen mit den aktuellen Modellarchitekturen nicht komplett vermeiden lassen. Mehr Rechenleistung allein wird das Problem nicht lösen.
Die eigenen Werbemaßnahmen von Microsoft und OpenAI haben maßgeblich dazu beigetragen, dass in der Öffentlichkeit ein verzerrtes Bild darüber entstanden ist, was generative KI und Chatbots leisten können und was nicht. Die folgende Liste zeigt Bereiche, in denen Chatbots in der Regel schwache Ergebnisse liefern:
- Planung von Aktivitäten und mehrstufige Abfolge von Teilaufgaben, um ein gewünschtes Ziel zu erreichen
- Verständnis von Ursache und Wirkung, zeitliche Abhängigkeiten und logische Konsistenz
- Durchführung von Berechnungen
- Angaben zu aktuellen Ereignissen
Anfragen an den Chatbot in den oben genannten Bereichen führen häufig zu Halluzinationen und Falschaussagen. Abbildung 1 zeigt ein typisches Beispiel eines halluzinierenden Chatbots, der keine Rechenfähigkeiten aufweist.
Einige Schwächen von Chatbots lassen sich durch die Anbindung externer Werkzeuge verringern. So ermöglicht eine angebundene Websuche den Zugriff eines Chatbots auf aktuelle Informationen aus dem Internet. Die Verfügbarkeit einer Python-Schnittstelle ermöglicht verlässliche Berechnungen.
Abb. 1: Typisches Beispiel für eine Halluzination eines Chatbots
Es gibt jedoch auch Bereiche, in denen Chatbots starke und teilweise sogar übermenschliche Ergebnisse liefern. Sie können Informationen aus unstrukturierten Daten wie PDF-Dateien, Powerpoint und Excel extrahieren und in andere Formate überführen. Abbildung 2 veranschaulicht dies grafisch. Die Fähigkeit von Chatbots, unstrukturierte Daten zu verstehen und umzuformulieren, ist für Unternehmen ausgesprochen nützlich. Chatbots können beispielsweise große Mengen an Text zugänglich und durchsuchbar machen.
Abb. 2: Schematische Darstellung von KI als universellem Übersetzer für Daten (© Prophet Analytics GmbH)
Bei Mitarbeitern, die vorwiegend im Büro arbeiten, machen Datenübersetzungsaufgaben einen erheblichen Teil der Arbeitszeit aus. Dies beinhaltet zum Beispiel die Erzeugung von Grafiken aus Tabellen, oder die Zusammenfassung von Daten in Textform. In vielen Unternehmen werden heute Daten händisch von PDF- und Excel-Dateien zurück in datenbankgestützte Systeme (zum Beispiel CRM- oder CAQ-Software) übertragen. Chatbots und generative KI eignen sich gut dazu solche händischen Übertragungen zu automatisieren. Allerdings können signifikante Einsparungen nur dann realisiert werden, wenn die KI-Prozesse autonom ablaufen und menschliche Aufsicht reduziert werden kann.
Die Tatsache, dass die meisten Unternehmen aktuell kaum Einspareffekte durch KI sehen, hat im Wesentlichen zwei Ursachen:
- Automatisierung ist aufgrund der hohen Halluzinationsanteils nur begrenzt möglich. Mitarbeiter verwenden viel Zeit darauf KI-Ergebnisse zu kontrollieren und zu korrigieren.
- Die Anbindung von KI an bestehende Datenquellen und Software im Unternehmen ist unzureichend. Systembrüche zwischen Softwarelösungen verringern das Einsparpotential.
Unternehmen wie Microsoft, AWS und Google haben dies erkannt und fahren inzwischen eine zweigleisige Strategie: Öffentlich wird weiterhin daran festgehalten, dass mehr Rechenleistung erforderlich ist und sich so alle Probleme lösen lassen. Gleichzeitig haben diese Unternehmen in den letzten Monaten grafische Editoren entwickelt, die es erlaubt, KI-Datenverarbeitungen als nachvollziehbaren Prozess zu modellieren (OpenAI AgentBuilder, MS Copilot Studio, AWS Bedrock). Man spricht in diesem Fall auch von „Agentic Workflows“ oder „Workflow Orchestration“. Die Botschaft an die Fachexperten ist somit eine andere als an die breite Öffentlichkeit: Wenn eine Anbindung an eine bestehende IT-Infrastruktur erforderlich ist und Halluzinationen nicht akzeptabel sind, dann müssen die Firmen eigene KI-Prozesse und Workflows entwickeln.
Abbildung 3 zeigt ein Beispiel eines „Agentic Workflows“, der von Prophet Analytics für die Nutzung im eigenen Unternehmen entwickelt wurde. Hierbei kam die Software n8n zum Einsatz. Es handelt sich um einen Workflow zur Erstellung von E-Rechnungen. In diesem Workflow übernimmt generative KI kleine, klar definierte Arbeitspakete. Als Input dient der Auftrag des Kunden und die Nutzereingabe über Hotelkosten und Anfahrt. Aus diesen Angaben wird in mehreren Schritten eine E-Rechnung erstellt, die danach automatisch validiert wird. Im letzten Schritt wird die Rechnung per E-Mail zur Freigabe versandt. Übertragungsfehler bei der Erstellung der Rechnung werden vermieden und händische Kontrollen werden reduziert. Der Zeitaufwand zur Erstellung reduziert sich von 15 Minuten auf weniger als eine Minute pro Rechnung.
Der Workflow ist frei verfügbar und kann hier heruntergeladen werden. N8n bietet eine Community-Version an, die frei genutzt werden kann.
Abb. 3: Ein „Agentic Workflow“ in der Software n8n zur automatischen Erstellung von E-Rechnungen im XRechnung- und pdf-Format (© Prophet Analytics GmbH)
In „Agentic Workflows“ stellt generative KI nur eine Methode unter vielen dar. In der Regel müssen die „Agentic Workflows“ von Hand durch Prozessexperten vorbereitet werden. Werkzeuge wie n8n gehören zur Kategorie low code/no code. Für viele etablierte Softwarelösungen gibt es vorbereitete Schnittstellen, die ohne Programmierkenntnisse verwendet werden können. Entscheidend für die erfolgreiche Umsetzung von solchen Workflows sind qualifizierte Mitarbeiter, die mit Stärke und Schwächen von generativer KI vertraut sind. Klassische Qualitätsfähigkeiten wie Prozessmanagement, die Betrachtung von Chancen und Risiken sowie die Festlegung von Leistungskennzahlen helfen ebenfalls bei der Erstellung robuster Workflows.
Der große Vorteil von „Agentic Workflows“ im Vergleich zu einfachen Chatbots (zum Beispiel eigene GPTs, GEMs oder Copiloten) liegt darin, dass diese Abläufe genau an die Unternehmensbedürfnisse angepasst werden können. Die Workflows können mit bestehender Software im Unternehmen kommunizieren und nahtlos in die Prozesslandschaft integriert werden. Da generative KI in solchen Workflows oft nur eng umrissene Aufgabenpakete übernimmt, ist so ein Workflow einfach zu überprüfen und zu überwachen. Halluzinationen lassen sich in kleinen Aufgabenpaketen auf unter 1 % reduzieren.
Die MIT-Studie „The GenAI Divide“ weist ausdrücklich darauf hin, dass einige Unternehmen hohe Einsparungen durch generative KI erzielt haben. Diesen Unternehmen gelingt es, KI effektiv in bestehende Prozesse zu integrieren. „Agentic Workflows“ können einen wichtigen Beitrag dazu leisten sichere und überprüfbare KI-Prozesse zu entwickeln. „Agentic Workflows“ kommen häufig auch mit weniger leistungsfähigen und günstigere Modellen aus. So können zum Beispiel auch offene Sprachmodelle zum Einsatz kommen, die im eigenen Unternehmensnetz betrieben werden können. Der Betrieb im eigenen Unternehmensnetz reduziert die Abhängigkeit von großen Cloud-Providern und erlaubt volle Kontrolle über den Verbleib der eigenen Daten.
„Retrieval Augmented Generation“ (RAG) sind hier zu nennen. Zusammenfassend kann gesagt werden, dass der Einsatz von KI in Unternehmen große Chancen bietet und dass für die erfolgreiche Umsetzung ein hohes Qualifikationsniveau der Mitarbeiter entscheidend bleibt.
Über den Autor:
Dr.-Ing. Stefan Prorok ist Geschäftsführer der Prophet Analytics GmbH und DGQ-Trainer für Qualitätssicherung und Künstliche Intelligenz. Prophet Analytics unterstützt Unternehmen in allen Phasen Ihrer KI-Umsetzung mit Trainings- und Beratungsangeboten. Kontakt: ki@prophet-analytics.de
Transparenzhinweis: Die Prophet Analytics GmbH entwickelt lokale KI-Lösungen und „Agentic Workflows“ für Unternehmen mit hohen Anforderungen an Verlässlichkeit und Vertraulichkeit. Weder der Autor noch die Prophet Analytics GmbH stehen in einer vertraglichen oder finanziellen Beziehung zu den oben genannten Unternehmen. Es gibt keine Vergütung für die Erwähnung von Marken und Produkten.
