Neue Studie zeigt: Große Sprachmodelle übernehmen falsche Informationen aus dem Kontext, selbst wenn sie explizit als falsch gekennzeichnet werden. Was das für den Unternehmenseinsatz bedeutet.
Sprachmodelle wie ChatGPT oder Claude gelten als mächtige Werkzeuge für die Informationsverarbeitung im Unternehmen. Eine neue Studie zeigt jedoch ein fundamentales Problem: Selbst wenn falsche Aussagen im Kontext explizit als falsch markiert werden, übernehmen die Modelle diese Informationen und geben sie als wahr aus. Für RAG-Systeme und KI-gestützte Entscheidungsprozesse ist das ein kritisches Risiko.
Forscher haben führende Sprachmodelle einem systematischen Test unterzogen: Sie fügten falsche Aussagen in den Kontext ein und kennzeichneten diese explizit als Falschinformation. Beispiel: „Die folgende Aussage ist falsch: Paris ist die Hauptstadt von Deutschland." Trotz dieser klaren Warnung übernahmen die Modelle in vielen Fällen die falsche Information und antworteten auf Folgefragen entsprechend.
Das Problem tritt unabhängig von der Modellgröße oder dem Anbieter auf. Sowohl GPT-4, Claude als auch Gemini zeigten dieses Verhalten. Die Fehlerquote lag je nach Testaufbau zwischen 15 und 40 Prozent — ein Wert, der für geschäftskritische Anwendungen nicht akzeptabel ist.
Besonders kritisch: Je komplexer der Kontext und je mehr Informationen im Prompt enthalten sind, desto höher die Wahrscheinlichkeit, dass falsche Aussagen trotz Warnung übernommen werden. Genau diese Situation tritt in RAG-Systemen regelmäßig auf, wenn Dokumente automatisch in den Kontext geladen werden.
Viele Unternehmen setzen mittlerweile auf KI-gestützte Dokumentenanalyse, automatisierte Kundenberatung oder interne Wissenssysteme. All diese Anwendungen basieren auf der Annahme, dass das Modell zwischen korrekten und falschen Informationen unterscheiden kann — zumindest wenn diese explizit markiert sind.
Die Studienergebnisse zeigen: Diese Annahme ist falsch. Ein RAG-System, das veraltete oder fehlerhafte Dokumente aus der Wissensdatenbank lädt, wird diese Fehler mit hoher Wahrscheinlichkeit an den Nutzer weitergeben — selbst wenn die Dokumente als „veraltet" oder „nicht mehr gültig" markiert sind.
Konkrete Szenarien aus der Praxis bei ATLAS Consulting: Ein Versicherungsmakler nutzt ein KI-System zur Tarifberatung. Alte Tarifbedingungen sind im System als „historisch" gekennzeichnet, werden aber vom Modell trotzdem als aktuelle Grundlage verwendet. Oder: Ein Speditionsunternehmen lässt Angebote von der KI erstellen, die auf veralteten Preislisten basieren, obwohl diese als „ungültig seit 2025" markiert sind.
Das Phänomen hat seine Wurzeln in der Architektur von Sprachmodellen. Diese sind auf statistische Muster im Training optimiert, nicht auf logisches Schließen. Eine explizite Negation („Diese Aussage ist falsch") wird vom Modell zwar verarbeitet, hat aber oft weniger Gewicht als die wiederholte Präsenz der Information selbst.
Hinzu kommt: Lange Kontexte mit vielen eingebetteten Dokumenten führen dazu, dass Warnhinweise oder Meta-Informationen in der Aufmerksamkeitsverteilung des Modells untergehen. Was am Anfang des Prompts steht („Ignoriere alle als falsch markierten Aussagen"), wird bei der Antwortgenerierung oft nicht mehr berücksichtigt, wenn die Frage sich auf Details bezieht, die tief im Kontext vergraben sind.
Explizite Warnungen im Prompt schützen nicht zuverlässig vor der Übernahme falscher Informationen — ein kritisches Risiko für alle RAG-Systeme.
Statt veraltete oder fehlerhafte Dokumente mit Warnhinweisen zu versehen, sollten diese vollständig aus dem RAG-Index entfernt werden. Was nicht im Kontext landet, kann auch nicht falsch interpretiert werden. Das erfordert einen strikten Lifecycle-Prozess für Wissensdokumente: Gültige Dokumente werden indiziert, alles andere wird archiviert, aber nicht mehr für die KI zugänglich gemacht.
Wenn die KI Informationen liefert, die geschäftskritisch sind — Preise, rechtliche Vorgaben, technische Spezifikationen — sollte eine zweite Validierungsschicht eingebaut werden. Das kann ein regelbasiertes System sein, das die KI-Antwort gegen eine strukturierte Datenbank prüft, oder ein Vier-Augen-Prinzip mit menschlicher Kontrolle.
Je weniger Dokumente im Kontext landen, desto geringer die Fehlerwahrscheinlichkeit. Statt pauschal alle potenziell relevanten Treffer zu laden, sollte der Retrieval-Prozess so präzise wie möglich arbeiten. Metadaten-Filter (Datum, Status, Kategorie) helfen, die Treffermenge auf aktuelle und geprüfte Quellen zu begrenzen.
Nach dem initialen Retrieval sollte ein Re-Ranking-Schritt eingefügt werden, der Dokumente nach Aktualität und Gültigkeitsstatus sortiert. Ein Modell wie Claude bekommt dann zuerst die aktuellsten Dokumente präsentiert — und veraltete Informationen landen gar nicht erst im Aufmerksamkeitsfenster.
Wichtig für bestehende Systeme Wenn Sie bereits ein RAG-System im Einsatz haben, sollten Sie einen Audit durchführen: Welche Dokumente landen im Index? Gibt es Mechanismen, die veraltete Inhalte automatisch entfernen? Wie wird die Aktualität der Wissensbasis sichergestellt? In unseren Tests bei ATLAS Consulting haben wir festgestellt, dass rund 30 Prozent der produktiven RAG-Systeme im Mittelstand keine aktive Datenbereinigung haben — und damit genau dieses Risiko tragen.
| Ansatz | Komplexität | Fehlerreduktion | Für wen geeignet |
|---|---|---|---|
| Aktive Datenbereinigung | Mittel | Hoch (80–90 %) | Alle Unternehmen mit RAG-Systemen |
| Doppelte Validierung | Niedrig | Sehr hoch (95+ %) | Kritische Anwendungen (Recht, Finanzen, Medizin) |
| Kontext-Minimierung | Hoch | Mittel (60–70 %) | Technisch versierte Teams mit eigenem Retrieval-Tuning |
| Re-Ranking nach Aktualität | Mittel | Mittel (50–65 %) | Systeme mit hoher Dokumenten-Fluktuation |
| Explizite Prompt-Warnungen | Niedrig | Gering (10–20 %) | Nicht empfohlen — nur als ergänzende Maßnahme |
Die Erkenntnis, dass Sprachmodelle explizite Warnungen vor Falschinformationen ignorieren können, ist ein wichtiger Realitätscheck für alle, die KI-Systeme im Unternehmen einsetzen. Die Technologie ist mächtig, aber nicht fehlerfrei — und sie benötigt bewusst gestaltete Sicherheitsnetze.
Für den Mittelstand bedeutet das: RAG-Systeme sind weiterhin eine sinnvolle Investition, müssen aber mit klaren Datenmanagement-Prozessen kombiniert werden. Wer veraltete Dokumente einfach mit einem Warnhinweis versieht und hofft, dass das Modell diese ignoriert, baut auf Sand. Wer dagegen aktiv bereinigt, validiert und den Kontext gezielt steuert, kann die Fehlerquote auf ein akzeptables Minimum senken. In unseren Projekten bei ATLAS Consulting liegt die Kombination aus aktiver Datenbereinigung und doppelter Validierung bei einer Fehlerrate unter 5 Prozent — ein Wert, mit dem sich auch kritische Anwendungen betreiben lassen.
ATLAS Consulting begleitet Sie vom ersten Use-Case bis zur produktiven Integration — ohne Hype, ohne Blackbox, mit klaren Zahlen.