RAG für Unternehmensdokumente: Chatbots, die nur Ihre Daten kennen

Ein RAG-System beantwortet Fragen nicht aus dem Gedächtnis eines Modells, sondern aus Ihren Dokumenten – und belegt jede Antwort mit der Fundstelle. In einem Projekt mit 2.400 Seiten technischer Dokumentation sank die Zeit bis zu einer brauchbaren Antwort von durchschnittlich elf Minuten Suche auf unter eine. Entscheidend war nicht das Modell, sondern die Zerlegung der Dokumente.

##Wie funktioniert RAG technisch?

Drei Schritte hintereinander. Erstens werden die Dokumente in Abschnitte zerlegt und als Zahlenvektoren gespeichert. Zweitens wird die Frage ebenfalls in einen Vektor umgewandelt und die ähnlichsten Abschnitte werden gesucht. Drittens formuliert das Modell aus diesen Abschnitten eine Antwort. Das Modell selbst bleibt unverändert – es erhält nur den passenden Ausschnitt als Grundlage.

##Warum ist die Zerlegung wichtiger als das Modell?

Weil ein Abschnitt, der zwei Themen enthält, bei beiden nur halb passt. Zu große Abschnitte verwässern den Vektor, zu kleine verlieren den Zusammenhang – eine Tabelle ohne ihre Überschrift ist wertlos. Bewährt haben sich 200 bis 500 Wörter pro Abschnitt mit einer Überlappung von etwa 15 Prozent, damit ein Satz an der Grenze nicht auseinandergerissen wird.

##Was gehört in die Wissensbasis?

• ›Handbücher und technische Dokumentation
• ›Interne Richtlinien und Prozessbeschreibungen
• ›Produktdaten mit klaren Bezeichnungen
• ›Häufige Fragen mit den tatsächlich gegebenen Antworten

##Wie bleibt die Antwort belegbar?

Indem jede Antwort die Quelle mitliefert: Dokument, Abschnitt und Fundstelle. Das ist kein Beiwerk, sondern die Grundlage dafür, dass Mitarbeiter dem System trauen. Ein System, das eine selbstsichere Antwort ohne Beleg gibt, wird nach dem ersten Fehler nicht mehr benutzt. Der Beleg muss anklickbar sein und auf die tatsächlich verwendete Stelle zeigen.

##Was passiert bei einer Frage ohne Antwort?

Sie muss als unbeantwortet zurückkommen. Ohne diese Regel erfindet das Modell eine plausible Antwort aus dem nächstähnlichen Abschnitt – und das ist der gefährlichste Fehler des ganzen Verfahrens. Die Rückmeldung gehört messbar gemacht: Wie hoch ist der Anteil der Fragen, für die kein Abschnitt über der Ähnlichkeitsschwelle lag? Ein Wert über 20 Prozent zeigt eine Lücke in der Wissensbasis.

##Wie hält man die Wissensbasis aktuell?

Durch Automatisierung, nicht durch Disziplin. Wird die Wissensbasis von Hand gepflegt, ist sie nach drei Monaten veraltet. Besser ist eine Anbindung an die Quelle – Dateiablage, Wiki oder Warenwirtschaft –, die geänderte Dokumente erkennt und die Vektoren neu berechnet. Wichtig ist dabei ein Zeitstempel pro Abschnitt, damit erkennbar bleibt, wie aktuell eine Antwort ist.

##Welche Kosten entstehen?

Einmalig die Aufbereitung der Dokumente und der Aufbau der Vektordatenbank, laufend die Berechnung bei jeder Änderung und die Modellkosten pro Anfrage. Bei 2.400 Seiten und wenigen Änderungen pro Woche liegt der laufende Aufwand im niedrigen zweistelligen Eurobereich pro Monat. Deutlich teurer ist die Pflege der Dokumente selbst – sie ist die eigentliche Daueraufgabe.

##Wann lohnt sich RAG nicht?

Wenn die Wissensbasis klein und stabil ist. Bei zwanzig Seiten genügt eine gute Suche, und ein Modell bringt nur das Risiko erfundener Antworten mit. Ebenso, wenn die Dokumente nicht digital und strukturiert vorliegen: Ein System auf Basis schlechter Scans liefert schlechte Antworten mit überzeugendem Ton. Prüfen Sie zuerst die Qualität der Quelle, dann das Verfahren.

##Suchen statt raten

RAG verschiebt die Aufgabe vom Erinnern zum Finden – und Finden lässt sich prüfen. Wer Abschnitte sauber schneidet, Belege mitliefert und Fragen ohne Fundstelle als offen zurückmeldet, bekommt ein System, dem Mitarbeiter nach dem ersten Fehler nicht den Rücken kehren. Beginnen Sie mit einer Dokumentengruppe und messen Sie die Trefferquote, bevor Sie weitere anbinden.