Die Veröffentlichung von ChatGPT jährt sich nun bald zum zweiten Mal. Ein Ende des Hypes ist noch lange nicht abzusehen. Zu groß sind die Mehrwerte dieser Technologie, zu intuitiv ist der Umgang in Form eines Chats. Für das Jahr 2024 wurde erwartet, dass der Sprung vom explorativen Herumspielen mit Large Language Models (LLMs) zum produktiven Einsatz gewagt wird. Diese Prognose bewahrheitete sich und viele Unternehmen lagerten beispielsweise den Customer Support auf LLM-powered ChatBots aus. Dass dies nicht immer eine gute Entscheidung war, zeigten Fälle wie der des DPD-ChatBots, welcher anstelle nützlicher Antworten lieber Gedichte über den schlechten Service des eigenen Unternehmens verfasste. Auch die sogenannten Halluzinationen von LLMs führten immer wieder zu Versprechungen oder Preisnachlässen, welche es in dieser Form nie gab.

Eine Lösung, derartige Probleme zu mitigieren, bietet die RAG-Architektur (Retrieval Augmented Generation). Durch ein vorgeschaltetes Retrieval, um relevante Informationen aus einer eigenen dynamischen Datenbasis hinzuziehen, können fundierte Antworten geliefert werden. Halluzinationen können vermieden und toxische Sprache durch weitere Mechanismen abgefangen werden. Anhand eines konkreten Praxis-Beispiels möchte ich zeigen, wie ein RAG-System funktioniert und welche Vorteile es bietet. Zudem werde ich auch auf noch ungelöste Herausforderungen eingehen.