KI-Wissensassistent für Firmendokumente

1Einleitung

Die spannendste KI-Frage in vielen Firmen ist nicht „Welches Modell ist das beste?“, sondern: Warum findet hier niemand in unter zwei Minuten die richtige Version einer Arbeitsanweisung?

Genau da trennt sich Marketing von Praxis. Auf Folien klingt ein interner KI-Assistent immer nach Produktivitätssprung. Im Alltag hängen solche Projekte aber viel öfter an Dubletten, kaputten Berechtigungen und halbgaren SharePoint-Strukturen als an der KI selbst.

In meiner Arbeit mit Unternehmen in Aachen und der Städteregion sehe ich das ständig. Ehrlich gesagt halte ich große KI-Rollouts am Anfang oft für überschätzt. Wenn dein Firmenwissen chaotisch ist, macht KI daraus kein Gold – sondern schnelleres Chaos .

Wenn du Firmendokumente mit KI durchsuchen willst, brauchst du zuerst Struktur, dann Governance und erst danach das passende Tool .

2Warum der Engpass nicht das KI-Modell ist

Ein interner KI-Wissensassistent scheitert selten daran, dass GPT, Gemini oder Copilot „zu schwach“ wären. Viel öfter scheitert er daran, dass relevantes Wissen in SharePoint, Netzlaufwerken, PDFs, E-Mails und Word-Dateien verteilt liegt – ohne klare Zuständigkeit und ohne saubere Freigaben.

Hier kommt RAG ins Spiel. Retrieval-Augmented Generation bedeutet vereinfacht: Das Modell antwortet nicht nur aus allgemeinem Trainingswissen, sondern zieht passende Inhalte aus freigegebenen Dokumenten heran. Genau dadurch werden Antworten belastbarer und mit Quellen nachvollziehbar.

Microsoft beschreibt in der TechCommunity, dass RAG nicht nur mit Texten funktioniert, sondern auch mit PDFs, Bildern, Datenbanken und Web-APIs. Technisch ist also viel drin. Organisatorisch löst das aber erst mal gar nichts.

Gerade bei Betrieben rund um Aachen steckt wichtiges Know-how oft in Service-PDFs, Projektordnern, alten Angebotsvorlagen und Mail-Verläufen. Ein Maschinenbauer gewinnt am Anfang meistens mehr mit 200 sauber gepflegten Wartungsdokumenten als mit einem Assistenten, der „alles“ kann, aber nichts verlässlich.

3KI-Wissensassistent für SharePoint: Copilot, Gemini Notebook oder RAG?

Die eigentliche Frage lautet nicht, welches Tool „am modernsten“ ist. Die Frage lautet: Willst du breite Produktivität in Microsoft 365, eine kuratierte Dokumentensammlung oder einen fachlich spitzen Assistenten?

Für Microsoft 365 Copilot gibt es zwei Punkte, die man sauber belegen sollte. Erstens der Preis: Microsoft nennt auf der offiziellen Microsoft-365-Copilot-Seite 30 US-Dollar pro Nutzer und Monat bei jährlicher Abrechnung. Zweitens die Berechtigungen: Microsoft beschreibt in seiner Produktdokumentation und auf derselben Produktseite, dass Copilot auf deinem bestehenden Microsoft-365-Zugriffsmodell aufsetzt. Kurz gesagt: Nutzer sehen nur Inhalte, auf die sie ohnehin Zugriff haben .

Das ist ein echter Vorteil, wenn dein Wissen ohnehin in Outlook, Teams, Word, Excel und SharePoint lebt. Aber man sollte sich nichts vormachen: Copilot ist ein breiter Produktivitätsassistent. Wenn du sehr spezielle Fachfragen aus technischen Dokumenten, Tickets, Datenbanken und Netzlaufwerken beantworten willst, reicht „breit integriert“ nicht immer aus.

Bei Google ist die Lage nur dann sauber beschrieben, wenn man direkt auf die Anbieter-Seite schaut. Auf der offiziellen Gemini-Notebook-Plans-Seite steht wörtlich: „NotebookLM is now Gemini Notebook as of July 2026.“ Stand meines Artikels: 22.09.2026. Auf derselben Seite nennt Google für die Basisnutzung außerdem bis zu 50 Quellen pro Notebook und bis zu 500.000 Wörter pro Quelle. Das ist ordentlich – aber eben vor allem dann nützlich, wenn du kuratierte Wissensmappen aufbauen willst.

Der Haken bei Gemini Notebook ist aus meiner Sicht nicht die Qualität, sondern der Betriebsmodus. In vielen Setups werden Quellen manuell hochgeladen oder bewusst zusammengestellt. Das kann gut sein, wenn du Kontrolle willst. Es ist aber etwas ganz anderes als eine tiefere Anbindung an vorhandene Unternehmensquellen.

Ein eigener RAG-Assistent lohnt sich vor allem dann, wenn du mehrere Systeme zusammenziehen musst: SharePoint, Fileserver, Ticketsystem, Datenbank, API. Das ist anfangs aufwendiger, gibt dir dafür aber deutlich mehr Steuerung bei Quellenlogik, Fachlichkeit und Governance.

Wenn du das Thema grundsätzlich strategisch einordnen willst, passt dazu auch mein Beitrag zur KI-Automatisierung. Ein Wissensassistent ist nämlich selten ein Einzelprojekt, sondern oft der Einstieg in saubere digitale Prozesse.

4DSGVO: Was vor dem Upload wirklich geklärt sein muss

Der größte Fehler ist immer noch derselbe: vertrauliche oder personenbezogene Daten „mal eben zum Test“ in irgendein KI-Tool werfen. Genau so beginnen später die unangenehmen Gespräche mit Datenschutz, Geschäftsführung oder Betriebsrat.

Wichtig ist die juristische Trennung zwischen Consumer- und Unternehmensangeboten. Bei Consumer-Diensten gelten oft andere Nutzungs- und Datenschutzbedingungen, andere Vertragswerke und teilweise auch andere Funktionsumfänge. Für echte Firmendokumente ist das keine Spitzfindigkeit, sondern die halbe Entscheidung.

Bei Google solltest du deshalb nicht einfach „Gemini Notebook“ sagen, sondern sauber zwischen persönlichem Google-Konto und Google-Workspace-Nutzung unterscheiden. Auf der offiziellen Google-Workspace-Seite zu NotebookLM beschreibt Google NotebookLM als Workspace-Service für Unternehmen. In den zugehörigen Unternehmenszusagen rund um Google Workspace Privacy und die Data Processing Amendment Terms sind genau die Punkte relevant, die im Alltag zählen: Auftragsverarbeitung, Sicherheitsmaßnahmen, Admin-Kontrolle und vertraglicher Rahmen.

Für Microsoft gilt dasselbe Prinzip. Wer Microsoft 365 Copilot im Unternehmenskontext nutzt, bewegt sich innerhalb der Microsoft-365-Unternehmenswelt. Für Datenschutz, Compliance und Zusagen zu Kundendaten sind dann die Microsoft-Seiten zu Copilot für Unternehmen und den Microsoft Product Terms wichtiger als Blogposts oder Forendiskussionen.

Die Kurzfassung ist simpel: Consumer-Tools testest du mit unkritischen Inhalten. Unternehmenswissen gehört in ein Setup mit Vertrag, Admin-Steuerung, dokumentierter Datenverarbeitung und klarer Verantwortlichkeit.

1. 1
   AV-Vertrag/DPA prüfen

   Ohne vertraglichen Rahmen für Auftragsverarbeitung sollte kein Tool an echte Firmendokumente. Gerade Consumer-Dienste fallen hier schnell raus.
2. 2
   Produktvariante klären

   Prüfe zuerst, ob du eine Personal-/Consumer- oder eine Workspace-/Enterprise-Version nutzt. Der Unterschied ist juristisch und organisatorisch erheblich.
3. 3
   Training und Nutzung der Daten dokumentieren

   Halte schriftlich fest, ob Eingaben, Quellen und Antworten für Modelltraining verwendet werden oder nicht. Nur Anbieter-Dokumentation zählt, nicht Hörensagen.
4. 4
   Speicher- und Verarbeitungsregion bewerten

   EU-Datenresidenz, internationale Transfers und technische Schutzmaßnahmen müssen zum eigenen Datenschutzkonzept passen.
5. 5
   Berechtigungen und Logs testen

   Du musst nachvollziehen können, wer auf welche Inhalte zugreifen konnte und ob bestehende Rechte korrekt respektiert werden.
6. 6
   Lösch- und Updateprozess festlegen

   Definiere, wie Testdaten, veraltete Dokumente und entfernte Quellen aus dem System verschwinden oder neu indexiert werden.

5Wann lohnt sich RAG statt Copilot-Rollout?

Das ist die wirtschaftliche Kernfrage – und die wird erstaunlich selten offen gerechnet.

Nehmen wir ein realistisches Muster: Du hast 20 Fachnutzer im Service, Support oder Qualitätsmanagement, die sehr präzise Antworten aus technischen Dokumenten brauchen. Gleichzeitig hättest du 150 Mitarbeitende, die theoretisch von Microsoft 365 Copilot profitieren könnten.

Microsoft setzt für Copilot offiziell 30 US-Dollar pro Nutzer und Monat an. Rechnen wir nur mit dieser offiziellen Preisangabe und ohne Wechselkursakrobatik, landen 150 Lizenzen bei 4.500 US-Dollar pro Monat beziehungsweise 54.000 US-Dollar pro Jahr.

Ein RAG- oder Integrations-Pilot liegt laut Groenewold IT Solutions bei 12.813 bis 22.422 € zzgl. MwSt. Ein produktiver Rollout mit mehreren Funktionen und Anbindungen wird dort mit 48.272 bis 84.476 € zzgl. MwSt. beschrieben.

Heißt praktisch: Wenn nur 20 Spezialisten einen wirklich guten Wissensassistenten brauchen, kann ein gezielter RAG-Pilot wirtschaftlich vernünftiger sein als ein breiter Copilot-Rollout für 150 Leute. Wenn du dagegen willst, dass viele Mitarbeitende täglich in Outlook, Teams, Word und Excel produktiver werden, dann spielt Copilot seine Breite aus .

Aus meiner Sicht ist der Denkfehler oft folgender: Unternehmen kaufen Breite, obwohl sie eigentlich Tiefe brauchen. Für Spezialwissen ist ein kleiner, sauberer RAG-Assistent oft die bessere erste Investition. Für allgemeine Office-Produktivität eher nicht.

6Was ein interner KI-Wissensassistent real kostet

Die Preisspanne ist brutal. Alles andere zu behaupten, ist Marketing.

Laut GAIM Solutions kosten einfache No-Code-Chatbots 2026 grob 0 bis 500 € pro Monat. Individuelle LLM- oder RAG-Chatbots liegen bei 15.000 bis 60.000 € einmalig. Enterprise-weite KI-Assistenten starten eher bei 100.000 € und können über 250.000 € gehen.

Diese Größenordnung deckt sich ganz gut mit den praktischeren Korridoren von Groenewold: 12.813 bis 22.422 € für einen Pilot, 48.272 bis 84.476 € für einen produktiven Rollout. Solche Zahlen sind für die Planung viel brauchbarer als das übliche „kommt drauf an“.

Unter dem Strich kommen noch Betriebskosten dazu: API-Verbrauch, Hosting, Monitoring, Pflege, Anpassungen und interne Zeit. GAIM nennt hier typischerweise 10 bis 25 % der Anfangsinvestition pro Jahr. Genau dieser Block wird in vielen Projekten anfangs unterschätzt .

7Praxisfahrplan: Vom Dokumentenchaos zum Pilot

Du musst das Thema nicht perfekt lösen. Aber sauber genug, damit aus dem Test ein belastbarer Pilot wird.

Für viele Unternehmen in Aachen, Eschweiler, Würselen oder der restlichen Städteregion sind die Ausgangslagen ähnlich: SharePoint-Strukturen, Netzlaufwerke, PDF-Dokumentation, Angebotsvorlagen und E-Mail-Verläufe. Deshalb würde ich pragmatisch starten.

1. 1
   Use Case festziehen

   Wähle ein Problem mit echtem Nutzen, zum Beispiel schnellere Suche nach Wartungsanleitungen oder Produktdatenblättern.
2. 2
   Dokumentbestand begrenzen

   Starte nur mit einem klar freigegebenen Satz an Dokumenten, etwa einem Service-Bereich statt dem ganzen Unternehmen.
3. 3
   Rechte prüfen

   Kontrolliere vor der Indexierung, wer welche Dokumente wirklich sehen darf – besonders bei Kunden-, Vertrags- und Personaldaten.
4. 4
   Quellen bereinigen

   Entferne Dubletten, veraltete Versionen und offensichtlichen Müll. Sonst trainierst du den Assistenten auf Unsicherheit.
5. 5
   Messkriterien definieren

   Miss Suchzeit, Antwortqualität mit Quellen, Fehlantworten und Akzeptanz der Mitarbeitenden.
6. 6
   Go/No-Go entscheiden

   Nach dem Test bewusst entscheiden: ausbauen, nachschärfen oder stoppen.

Ein gutes regionales Beispiel wäre ein Maschinenbauer, der zuerst nur Service- und Wartungsdokumentation indexiert. Nicht Einkauf, nicht HR, nicht alle Postfächer. Nur den Bereich, in dem Techniker und Innendienst heute real Zeit verlieren. So wird aus KI ein Werkzeug statt eine PowerPoint-Idee .

8Was bleibt

Der Markt verkauft dir gern das Modell als Hauptsache. Ich halte das für die falsche Reihenfolge.

Der eigentliche Wettbewerbsvorteil liegt nicht in der „schlauesten KI“, sondern im sauber erschlossenen Firmenwissen. Wer seine Dokumente nicht im Griff hat, bekommt mit KI keine Magie, sondern nur schnellere Verwirrung.

2026 ist für viele Unternehmen deshalb nicht das Jahr des maximalen Rollouts, sondern das Jahr der nüchternen Auswahl. Welcher Use Case spart sofort Zeit? Welche Dokumente sind belastbar? Welche Rechte sind sauber? Und welches Setup passt wirklich zu Budget, Datenschutz und Arbeitsalltag?

Wenn du mich fragst: erst kleiner, sauberer Pilot. Dann messen. Dann skalieren. Alles andere klingt oft moderner, ist im Alltag aber nur teurer.