Digital Business

Retrieval Augmented Generation (RAG) - Was ist das genau?

Bei RAG handelt es sich um eine Methode, bei der LLMs Informationen aus einer externen Datenquelle nutzen, um eine Antwort zu generieren. Auf diese Weise kann die Ausgabe von LLMs optimiert werden, da diese so nicht nur auf ihr internes Wissen aus Trainingsdaten, sondern auch auf externe Quellen zurückgreifen. Dazu zählen z. B. externe und/oder nicht-öffentliche Datenbanken, Dokumente, Webseiten oder APIs. So werden zuverlässige Informationen für eine spezifische Frage oder Aufgabe abgerufen, was zu besseren Ergebnisse führt. Bei neuen Informationen, ist es durch RAG auch möglich, bestehende Datenquellen relativ schnell mit neuen Daten zu aktualisieren und in die Generierung von Ergebnissen einzubinden.

Zu den häufigsten Anwendungen mit RAG zählen z. B. Chatbots oder Suchsysteme, wo ein Zugriff zu spezifischem Fachwissen oder Echtzeitdaten sehr wichtig ist.

Die Funktion von RAG kann wie folgt beschrieben werden: Alles beginnt damit, dass ein(e) Nutzer:in eine Eingabe (z. B. eine Frage in einem Chatbot) macht. Diese Eingabe wird vorverarbeitet und an ein Retrieval-System weitergeleitet, das die spezifischen Informationen aus externen Datenquellen abruft (Retrieve). Die abgerufenen Informationen werden dann an ein LLM weitergeleitet, das diese mit seinem eigenen Wissen kombiniert (Augment). Anschließend generiert es daraus eine Antwort (Generation). Diese Antwort wird abschließend an die Nutzer:innen zurückgegeben. Eine detaillierte Beschreibung, wie RAG funktioniert, haben wir hier zusammengefasst.

Was sind die Herausforderungen beim Einsatz von LLMs?

Obwohl LLMs mit großen Datenmengen trainiert werden und bereits eine große Wissensbasis aufweisen, bringen sie trotzdem die nachfolgenden Herausforderungen mit sich:

• Mangelnde Aktualität: LLMs basieren auf einem festen Trainingsdatensatz, der möglicherweise nicht die aktuellsten Informationen enthält. Dies kann dazu führen, dass die generierten Antworten veraltet oder ungenau sind.
• Falsche Antworten: LLMs neigen dazu, falsche oder irreführende Antworten zu generieren, man spricht dabei auch von sog. Halluzinationen. Das kann das Vertrauen von Nutzer:innen in KI- Anwendungen negativ beeinträchtigen.
• Mangelnde Genauigkeit: LLMs können manchmal allgemeine oder vage Antworten generieren, die nicht spezifisch auf die Anfrage der Nutzer:innen eingehen.
• Begrenztes Fachwissen: LLMs können Schwierigkeiten haben, spezifisches Fachwissen (z.B. über Technologien, Kunden oder Produkte) bereitzustellen, insbesondere wenn sie nicht ausreichend mit Daten aus den relevanten Domänen trainiert wurden.
• Kontext-Unsicherheit: LLMs können Schwierigkeiten haben, den Kontext einer Anfrage vollständig zu verstehen, was zu ungenauen oder unangemessenen Antworten führen kann.

Was sind die Vorteile von RAG?

In diesem Abschnitt werfen wir einen Blick auf die konkreten Vorteile von RAG und wie diese die Ergebnisse von  LLMs verbessern können. Zu den wichtigsten Vorteilen zählen:

• Aktualität der Informationen: RAG ermöglicht einem LLM den Zugriff auf aktuelle Daten und Datenquellen, die möglicherweise nicht im ursprünglichen Trainingsdatensatz enthalten sind. Dies stellt sicher, dass Nutzer:innen aktuelle und relevante Antworten erhalten. ‍
• Mehr Fachwissen und Relevanz: Durch RAG können fachspezifische und relevante Informationen aus externen Datenquellen abgerufen werden (z. B. Produktinformationen). Dadurch kann das Modell spezialisiertere und relevantere Antworten generieren.
• Besseres Verständnis von Zusammenhängen: Bei spezifischen Fragen von Nutzer:innen kann RAG einen relevanten Kontext aus externen Datenquellen abrufen und eine passende Antwort  generieren. Dadurch wird die Wahrscheinlichkeit von Halluzinationen reduziert und die Genauigkeit und Zuverlässigkeit von Antworten verbessert.‍
• Kosteneffizienz und Skalierbarkeit: Anstatt ein LLM mit allen möglichen Informationen zu trainieren, wird durch RAG auf spezifische Daten zugegriffen. Dies macht das Modell effizienter und skalierbarer. Es kann sofort eingesetzt werden, ohne notwendige Anpassungen am LLM. Darüber hinaus ist der Aufwand für die Implementierung von RAG deutlich geringer als der für ein häufiges Nachtrainieren eines LLMs. Das ist besonders dann von Vorteil, wenn Informationen regelmäßig aktualisiert werden müssen.‍
• Flexible Anpassung: Durch die Kontrolle der Datenquellen des LLM kann das System auf sich ändernde Anforderungen (z. B. von Kunden oder Regularien) angepasst werden. Es kann auch mit Berechtigungsstufen versehen werden, um differenzierte Antworten zu generieren (z. B. bei vertraulichen Informationen). Bei falschen Antworten kann RAG auch helfen Korrekturen vorzunehmen, falls das LLM auf ungenaue Informationsquellen verweist.‍

Es wird deutlich, dass RAG dabei helfen kann, die Ergebnisse von  LLMs zu verbessern. Darüber hinaus wird klar, wie groß die Hebelwirkung von RAG ist, um KI-Anwendungen zu optimieren und so eine höhere Akzeptanz bei ihren Nutzer:innen zu schaffen.

An dieser Stelle muss jedoch auch darauf hingewiesen werden, dass die Nutzung einer RAG-Systematik nur so gut ist, wie die Qualität und Verfügbarkeit der relevanten Daten. Sind diese nicht gegeben, können die angestrebten Ergebnisse negativ beeinflusst werden und mit hoher Wahrscheinlichkeit nicht den gewünschten Erfolg liefern.

Was sind mögliche Anwendungen von RAG?

Die nachfolgenden Beispiele zeigen, wie Unternehmen RAG in unterscheidlichen Bereichen einsetzen können, um Effizienz zu steigern und neue Mehrwerte zu generieren:

• ‍Kundenservice:  RAG kann im Kundensupport eingesetzt werden, um spezifische Informationen (z.B. Produktinformationen) aus einer umfangreichen Wissensdatenbank abzurufen und Kundenanfragen in Live-Chats zu beantworten. Dies ermöglicht einen 24/7-Support und kann bei Mitarbeitenden Ressourcen für andere Tätigkeiten freisetzen.
• Wissensmanagement: RAG kann an verschiedenen Stellen das Wissensmanagement in Unternehmen unterstützen, indem es den Mitarbeitenden einen schnellen Zugriff auf relevante Informationen ermöglicht. Auch der Wissenstransfer (z.B. zwischen Abteilungen oder bei Personalwechsel) kann so erleichtert werden.
• Vertriebsunterstützung: RAG kann im Vertrieb eingesetzt werden, indem es dem Vertriebsteam einen einfachen Zugriff auf relevante Informationen und Daten (z.B. Produkt- oder Kundeninformationen) ermöglicht. Das kann zu einer individuelleren und optimierten Kundenbetreuung führen und verbessert die Servicequalität.
• Contenterstellung: Auch bei der Erstellung von Inhalten wie Blogbeiträgen, Fachartikeln oder Produktbeschreibungen kann RAG hilfreich sein. Insbesondere die Möglichkeit der Definition und Einbindung von ausgewählten Wissensquellen macht RAG dabei sehr wertvoll.
• Einarbeitung von Mitarbeiter:innen: Neue Mitarbeiter:innen können leichter eingearbeitet werden, da sie für sich relevante Informationen einfacher finden können, ohne dass weitere Personen involviert sind. Zu den notwendigen Informationen gehören z.B. allgemeine Sicherheitsbestimmungen, detailliertes Wissen über Leistungen oder Compliance-Richtlinien.
• Ressourcenplanung: Basierend auf vorhandenen Erfahrungswerten aus der Vergangenheit kann RAG bei der Verbrauchs- oder Einsatzplanung (z. B. Material- oder Personalplanung) unterstützen. Das ermöglicht eine schnelle Analyse der notwendigen Daten und kann zu Effizienzvorteilen und möglichen Kostenersparnissen führen.

Fazit

Wenn sich Unternehmen mit der Einführung von generativer KI und insbesondere von LLMs beschäftigen, sollte RAG als wichtige Komponente berücksichtigt werden. Ein Einsatz bietet sich insbesondere dort an, wo aktuelle Informationen benötigt werden oder spezifisches Fachwissen erforderlich ist. Trotz der Vorteile und zahlreichen Anwendungsfelder von RAG hat der Beitrag aber auch deutlich gemacht, dass es bei der Auswahl des Use Cases entscheidend ist, eine Anwendung mit einer guten Datenbasis zu wählen. Nur so kann das volle Potenzial von RAG ausgeschöpft werden und die KI-Anwendung erfolgreich sein. Auch hier gilt: Ohne Daten keine KI.