Ihre Unternehmensdaten und KI: Warum RAG 2026 anders aussieht als 2023

«Die KI soll mit unserem Wissen arbeiten» – der wohl häufigste KI-Wunsch in Organisationen. Wie das 2026 gut gelingt, warum die RAG-Pipeline von 2023 nicht mehr der Massstab ist, und welche Lösungsstufe Ihr Vorhaben wirklich braucht.

ChatGPT und Co. beeindrucken – bis man ihnen eine Frage zum eigenen Unternehmen stellt. Was gilt gemäss unserem Reglement? Was steht im Vertrag mit diesem Lieferanten? Wie haben wir dieses Problem letztes Mal gelöst? Hier endet das Weltwissen des Modells, und hier beginnt der Teil, der über den tatsächlichen Nutzen von KI in Ihrer Organisation entscheidet: die Verbindung der KI mit den eigenen Daten.

Der Fachbegriff dafür ist RAG – Retrieval-Augmented Generation. Die Grundidee ist einfach: Bevor die KI antwortet, sucht ein System die relevanten Passagen aus Ihren Dokumenten heraus und gibt sie dem Modell als Kontext mit. Die KI antwortet dann nicht aus dem Gedächtnis, sondern mit Ihren Unterlagen vor der Nase – und kann ihre Aussagen belegen.

So weit, so bekannt. Nur: Um RAG hat sich seit 2023 ein Halbwissen festgesetzt, das viele Projekte in die falsche Richtung schickt. Zeit für ein Update.

Oft reicht die einfachste Lösung: Dokumente einfach mitgeben

Die wichtigste Entwicklung der letzten Jahre ist unspektakulär: Moderne Modelle verarbeiten riesige Kontextfenster – hunderte Seiten in einer einzigen Anfrage. Für viele Anwendungsfälle braucht es deshalb gar kein Retrieval-System: Wer einer KI die zwanzig relevanten Dokumente direkt mitgibt (als Anhang, als Projektwissen, als hinterlegtes Wissen eines Assistenten), bekommt oft bessere Antworten als mit einer schlecht gebauten RAG-Pipeline.

Zwei Einschränkungen gehören zur ehrlichen Rechnung. Erstens die Aufmerksamkeit: Modelle nutzen sehr lange Kontexte ungleichmässig – was in der Mitte steht, geht eher unter als Anfang und Ende; die Forschung nennt das «Lost in the Middle».² Zweitens die Kosten: Wer bei jeder Anfrage hunderte Seiten mitschickt, zahlt jedes Mal dafür. Dagegen hilft Caching – die gängigen Anbieter halten einmal mitgegebene Kontexte für Folgeanfragen vor, was Kosten und Antwortzeiten drastisch senkt.

Als Faustregel: Bis zu einer überschaubaren, stabilen Wissensbasis – sagen wir, das Qualitätshandbuch, die Produktdokumentation, ein Vertragsdossier – ist «mitgeben statt suchen» die schnellste und robusteste Lösung. Interessant wird RAG dort, wo das nicht mehr reicht.

RAG 2.0: Was sich seit der 2023er-Pipeline geändert hat

Das klassische Rezept von 2023 kennen viele: Dokumente in Stücke schneiden («Chunks»), in Zahlenvektoren übersetzen («Embeddings»), in einer Vektordatenbank ablegen, bei jeder Frage die ähnlichsten Stücke heraussuchen. Das funktioniert – aber mässig. Aus dem Zusammenhang gerissene Textstücke verlieren ihre Bedeutung: Steht in einem Chunk «die Kündigungsfrist beträgt drei Monate», weiss das System nicht mehr, aus welchem Vertrag, für welche Rolle, mit welchen Ausnahmen.

Ein modernes RAG-System – nennen wir es RAG 2.0 – unterscheidet sich an vier Stellen:

• Kontext statt nackter Chunks: Jedes Textstück wird vor dem Ablegen mit seinem Zusammenhang angereichert – aus welchem Dokument es stammt, worum es dort geht. Anthropic hat gezeigt, dass allein dieses «Contextual Retrieval» die Quote fehlgeschlagener Suchen um 49 Prozent senkt, kombiniert mit Reranking um 67 Prozent.¹
• Hybride Suche: Vektorsuche findet Bedeutung, übersieht aber Exaktes – Artikelnummern, Namen, Paragrafen. Deshalb kombinieren gute Systeme sie mit klassischer Stichwortsuche und lassen ein Reranking-Modell die Treffer neu ordnen, bevor sie zur KI gelangen.
• Caching auf allen Ebenen: Wiederkehrende Kontexte, häufige Fragen, aufbereitete Dokumente – was schon einmal berechnet wurde, wird nicht doppelt bezahlt.
• Agentisches Retrieval: Die grösste Verschiebung. Statt einmal zu suchen und zu hoffen, arbeitet ein KI-Agent mehrstufig: Er formuliert Suchanfragen um, holt fehlende Informationen nach, prüft, ob die gefundenen Quellen die Frage wirklich beantworten – und sagt sonst ehrlich, dass sie es nicht tun.

Die Vektordatenbank ist damit nicht verschwunden – aber sie ist vom Herzstück zu einem Baustein unter mehreren geworden. Wer heute ein «RAG-Projekt» plant und dabei nur an Chunks und Embeddings denkt, baut den Stand von vor drei Jahren.

Datenschutz: die Schweizer Sicht

Sobald eigene Daten im Spiel sind, ist Datenschutz keine Fussnote mehr. Für die Schweiz gilt: Das revidierte Datenschutzgesetz ist auf KI-gestützte Datenbearbeitung direkt anwendbar – es braucht kein separates KI-Gesetz, damit die Regeln gelten.³ Praktisch heisst das für RAG-Vorhaben vor allem dreierlei: Klären Sie, wo die Daten verarbeitet werden (Schweiz/EU, Vertragslage mit dem Anbieter). Übernehmen Sie bestehende Zugriffsrechte ins System – ein RAG, das jedem Mitarbeitenden HR-Dossiers zusammenfasst, ist kein Fortschritt, sondern ein Vorfall. Und halten Sie besonders schützenswerte Personendaten von allgemeinen Wissensdatenbanken getrennt.

Welche Stufe braucht Ihr Vorhaben?

Aus alledem ergibt sich eine einfache Entscheidungstreppe:

1. Dateien mitgeben – für Einzelpersonen und kleine, stabile Dokumentsets. Sofort verfügbar, in jedem guten KI-Tool eingebaut. Hier sollten Sie heute anfangen.
2. Fertige Wissens-Assistenten – für Teams: Assistenten mit hinterlegtem Wissen, Notebook-Werkzeuge, Office-Integrationen, die auf Ihre Ablage zugreifen. Kein eigenes System, aber schon gemeinsames Wissen.
3. Eigenes RAG-System – wenn viele Quellen, laufende Aktualisierung, Berechtigungen und Nachvollziehbarkeit zusammenkommen. Erst hier lohnen sich Vektordatenbank, hybride Suche und agentisches Retrieval – und erst hier braucht es die Kompetenzen, die man auf den Stufen davor aufgebaut hat.

Der häufigste Fehler ist, auf Stufe drei zu starten, weil sie am beeindruckendsten klingt. Der zuverlässige Weg ist umgekehrt: Mit Stufe eins diese Woche beginnen – ein reales Dokumentenset, zehn echte Fragen, und dann kritisch prüfen, ob die Antworten belegt sind. Was Sie dabei über Ihre Daten lernen (Struktur, Qualität, Lücken), ist die beste Vorbereitung auf jede spätere Ausbaustufe.

Im CAS AI Hands-On ist die Integration eigener Daten in RAG-Systemen bewusst die oberste Stufe des Kurses: Sie bauen dort ein funktionierendes RAG-System – nachdem Sie auf den Stufen davor gelernt haben, was es dafür braucht.