KI im Unternehmen einführen: In 7 Schritten zur Umsetzung

Kurz und knapp:

• Nach einem Bericht zur Bitkom-Studie 2026 nutzen 41 % der deutschen Unternehmen KI. Ein Drittel meldet unerwartet hohe Kosten.
• Laut Maximal-Digital-Studie 2025 haben 43 % der mittelständischen Unternehmen keine konkrete KI-Strategie.
• Die Schritte: 1. Bestandsaufnahme, 2. Ziele und Verantwortung, 3. Use Cases, 4. Daten und Datenschutz, 5. Pilot, 6. Menschen befähigen, 7. Skalieren und steuern.

Was bedeutet es, KI im Unternehmen einzuführen?

Mehr als Tools kaufen

KI-Einführung ist die strukturierte Integration von KI in Prozesse, Aufgaben und Arbeitsabläufe. Das Wort „strukturiert“ trägt die Last. Drei Lizenzen für ein Chat-Tool, die irgendwer im Vertrieb ausprobiert, sind noch keine Einführung. Das ist ein Experiment ohne Aufsicht.

Eine Einführung beantwortet fünf Fragen: Wofür setzen wir KI ein? Wer entscheidet? Welche Daten dürfen hinein? Woran messen wir Erfolg? Wie sorgen wir dafür, dass die Leute damit umgehen können?

Wo deutsche Unternehmen heute stehen

Die Zahlen sind uneinheitlich, und das sollten Sie wissen. Der Bericht zur Bitkom-Studie nennt einen Anstieg der KI-Nutzung von 17 auf 41 %. Eine andere Quelle spricht von 36 %, nach zuvor 20 %. Beide zeigen dieselbe Richtung: KI ist in der Breite angekommen. Wer nichts tut, steht nicht still, sondern fällt zurück.

Der Engpass liegt selten bei der Technik. Er liegt bei Entscheidung und Umsetzung.

Die 7 Schritte im Überblick

Schritt 1: Bestandsaufnahme, inklusive Schatten-KI

Fangen Sie nicht mit einem Wunschzettel an, sondern mit der Realität. In den meisten Firmen nutzen Mitarbeitende längst KI-Tools, oft privat und ohne Wissen der IT. Das nennt man Schatten-KI. Viele Ratgeber erwähnen sie nur am Rand, etwa der Workday-Blog zum Change Management. Ich würde sie an den Anfang stellen, denn sie zeigt Ihnen zwei Dinge gleichzeitig: wo der Nutzen liegt und wo das Risiko.

So gehen Sie vor:

1. Fragen Sie in einer kurzen, anonymen Umfrage: Welche KI-Tools nutzt du, wofür, mit welchen Daten?
2. Machen Sie klar, dass es um Überblick geht, nicht um Strafen. Sonst bekommen Sie keine ehrlichen Antworten.
3. Halten Sie die Ergebnisse in einer einfachen Tabelle fest: Tool, Team, Zweck, Datenart.

Diese Tabelle ist später Ihr KI-Inventar (mehr dazu im Abschnitt zum rechtlichen Rahmen). Sie werden überrascht sein, wie viel schon läuft.

Schritt 2: Ziele, Business Case und Verantwortlichkeiten festlegen

Hier trennt sich „wir sollten auch was mit KI machen“ von Strategie. Strategie heißt in der Praxis: Jemand entscheidet, wofür es Geld und Zeit gibt, und wofür nicht.

Klären Sie vier Punkte schriftlich:

• Ziel: Wählen Sie zwei bis drei konkrete Ziele, etwa Bearbeitungszeit im Support senken oder Angebote schneller erstellen. „Innovativer werden“ zählt nicht.
• Kennzahl: Woran sehen Sie, dass das Ziel erreicht ist? Legen Sie den Ausgangswert fest, bevor Sie anfangen.
• Verantwortung: Eine Person trägt das Thema, mit Mandat aus der Geschäftsleitung. Ein Gremium ohne Namen trägt nichts.
• Budget: Planen Sie Lizenzen, Schulungszeit und Aufwand für Anbindung und Betrieb ein. Ein Drittel der Unternehmen meldet laut Bitkom-Bericht unerwartet hohe Kosten. Ein Puffer ist kein Pessimismus.

In der Praxis: Im Vorstand scheitert KI selten an Unwillen, sondern an Überforderung. Alle spüren Druck, niemand kann ihn in eine Entscheidung übersetzen. Ein halber Tag, in dem die Führungsrunde selbst mit den Tools arbeitet und danach die Ziele festzurrt, bringt meist mehr als drei Monate Marktrecherche.

Schritt 3: Use Cases finden und priorisieren

Sammeln Sie Ideen dort, wo die Arbeit passiert. Fragen Sie die Teams: Welche Aufgabe ist repetitiv, textlastig und nervt? Das sind meist die besten Kandidaten, etwa Protokolle, Erstentwürfe, Recherche, Zusammenfassungen oder das Sortieren von Anfragen.

Bewerten Sie jede Idee auf zwei Achsen: Nutzen (Zeit, Qualität, Umsatz) und Aufwand (Daten, Anbindung, Risiko, Änderung im Ablauf). Beginnen Sie mit hohem Nutzen bei geringem Aufwand.

Altsysteme sind eine häufige Sorge. Meine Empfehlung: Starten Sie dort, wo keine Anbindung nötig ist, und lernen Sie erst, bevor Sie in Schnittstellen investieren. Auch KI-Agenten, die selbstständig Aufgaben abarbeiten, sind ein Thema für Runde zwei, wie etwa TIQ Solutions für den Einstieg beschreibt.

Schritt 4: Daten, Sicherheit und Datenschutz klären

Vor dem Pilot brauchen Sie keine perfekte Dateninfrastruktur, aber klare Spielregeln. Drei Fragen genügen für den Anfang:

1. Welche Daten dürfen in welche Tools? Teilen Sie sie in Ampelstufen ein: grün (öffentlich), gelb (intern), rot (personenbezogen, vertraulich, Geschäftsgeheimnisse).
2. Welche Anbieter sind freigegeben, mit welchem Vertrag? Prüfen Sie Auftragsverarbeitung und Speicherort mit Ihrem Datenschutzbeauftragten.
3. Wer prüft Ergebnisse, bevor sie nach außen gehen?

Datenqualität wird oft als Hürde genannt, etwa in Leitfäden wie dem von Hilker Consulting. Sie ist wichtig, wenn KI auf Ihre eigenen Datenbestände zugreifen soll. Für den ersten Pilot mit Textaufgaben ist sie selten der Flaschenhals.

Schritt 5: Pilotprojekt mit messbaren KPIs starten

Ein Pilot ist ein kleines, zeitlich begrenztes Projekt mit Ja/Nein-Antwort am Ende. Kein Dauerzustand.

Definieren Sie vorher:

• Umfang: ein Team, ein Anwendungsfall, 6 bis 8 Wochen.
• Kennzahlen: zum Beispiel Zeit pro Vorgang, Qualität nach Stichprobe, Nutzung pro Woche, Zufriedenheit der Anwender.
• Ausgangswert: Messen Sie den Ist-Zustand vorher. Ohne ihn ist jeder Erfolg Gefühlssache.
• Entscheidungsregel: Legen Sie vorab fest, ab welchem Ergebnis skaliert, nachgebessert oder gestoppt wird. Zum Beispiel: „Wenn die Bearbeitungszeit um mindestens 20 % sinkt und die Qualität gleich bleibt, rollen wir aus.“ Die Zahl ist ein Beispiel, setzen Sie Ihre eigene.

Diese Go/no-go-Regel fehlt in vielen Leitfäden. Sie schützt vor dem klassischen Fehler, einen mittelmäßigen Piloten aus Prestigegründen weiterlaufen zu lassen.

Schritt 6: Mitarbeitende befähigen und Akzeptanz schaffen

Technik einzuführen ist der leichte Teil. Menschen mitzunehmen ist die Arbeit. Drei Hebel wirken zusammen.

Führung geht voran. Wenn die Geschäftsführung KI predigt, aber selbst nie ein Tool geöffnet hat, merkt das jeder. Zeigen Sie offen, wofür Sie KI nutzen, auch wo sie danebenlag. Das nimmt Angst und setzt Maßstäbe.

Champions in den Teams. Benennen Sie pro Bereich ein, zwei neugierige Kolleginnen oder Kollegen als Ansprechpartner. Sie geben Tipps weiter, sammeln Fragen und melden zurück, was nicht klappt. Das wirkt besser als jede Rundmail.

Training, das mehr kann als Prompts. KI-Kompetenz heißt nicht nur, ein Tool zu bedienen. Sie umfasst:

• Grenzen verstehen: KI klingt sicher, auch wenn sie falsch liegt (Halluzinationen).
• Ergebnisse prüfen, bevor sie weitergegeben werden.
• Datenschutz: Was darf rein, was nicht.
• Wissen, wann KI die falsche Wahl ist.

Sprechen Sie auch die Sorge um Arbeitsplätze direkt an. Wer sie wegwischt, bekommt stille Verweigerung. Sagen Sie klar, wofür KI gedacht ist und wofür nicht.

In der Praxis: Die besten Trainings sind kurz, an echten Aufgaben ausgerichtet und wiederholen sich. Ein Tag Vortrag im Jahr verpufft. Eine Stunde pro Woche mit eigenen Beispielen bleibt hängen.

Schritt 7: Skalieren, steuern, messen

Hat der Pilot die Regel erfüllt, übertragen Sie ihn auf weitere Teams. Dabei hilft eine kleine Routine:

• Monatlich: Nutzung und Kennzahlen prüfen, Kosten gegen Nutzen stellen.
• Quartalsweise: Use-Case-Liste aktualisieren, neue Ideen bewerten, Schwache stoppen.
• Jährlich: Richtlinie und Schulungen überarbeiten, denn Tools und Regeln ändern sich schnell.

Behandeln Sie KI als Fähigkeit, die wächst, nicht als Projekt mit Abschlussdatum.

Der Moment, in dem es mehr als ein Pilot wird

Spätestens nach Schritt 5 merken viele: Das ist keine IT-Aufgabe nebenbei. Es geht um Führung, Regeln, Schulung und Kultur zugleich. Genau hier hilft ein externer Blick, etwa in Form eines Workshops für die Führungsrunde oder eines Sparringspartners für Strategie und Training. Die sieben Schritte funktionieren aber auch ohne ihn.

Wenn Ihre Führungsrunde die Schritte nicht allein angehen will, klären Sie im Gespräch, welche Unterstützung passt. Keynote oder Beratung anfragen.

Rechtlicher Rahmen: EU AI Act und KI-Kompetenz (Art. 4)

Was gilt seit wann?

Artikel 4 des EU AI Act verlangt KI-Kompetenz im Unternehmen und gilt seit dem 2. Februar 2025. Er gilt unabhängig von der Risikoklasse der eingesetzten Systeme, und laut certailex gibt es keine Ausnahme für kleine und mittlere Unternehmen.

Oft wird behauptet, jeder Mitarbeitende müsse ein bestimmtes Niveau nachweisen. Das stimmt so nicht. Unternehmen müssen belegen können, dass sie angemessene Maßnahmen ergriffen haben, nicht dass jede Person ein festes Kompetenzniveau erreicht hat. Nach Darstellung der Zukunftsdenker KI Akademie hat die EU-Kommission klargestellt, dass kein konkretes, messbares Niveau vorgeschrieben ist und keine Pflicht besteht, einzelne Beschäftigte formal zu prüfen.

Seit dem 27. Juli 2026 ist Art. 4 durch den Digital Omnibus (Verordnung (EU) 2026/1744) neu gefasst: Unternehmen müssen Maßnahmen ergreifen, die die KI-Kompetenz ihrer Beschäftigten fördern. Ein bestimmtes Kompetenzniveau müssen sie nicht garantieren. Ein eigenes Bußgeld für Art. 4 gibt es nicht, wohl aber Haftungsfragen, wenn fehlende Kompetenz zu einem Schaden führt. Mein Rat: Nehmen Sie die Lockerung nicht als Ausrede. Schulung brauchen Sie ohnehin, wenn KI im Alltag etwas bringen soll.

Zur Lage: Laut Bitkom-Bericht brauchen 69 % Hilfe bei der Umsetzung des AI Act, aber nur 24 % haben sich bisher damit beschäftigt. Wer jetzt anfängt, ist also nicht spät dran, aber auch nicht vorne.

Dieser Artikel ist keine Rechtsberatung. Klären Sie Einzelfragen mit Ihrer Rechtsabteilung oder einer Kanzlei.

KI-Richtlinie und KI-Inventar: Mindestdokumentation

Mit wenig Aufwand sind Sie gut aufgestellt, wenn Sie Folgendes haben:

1. KI-Inventar: die Tabelle aus Schritt 1, laufend gepflegt.
2. KI-Richtlinie: zwei bis drei Seiten mit erlaubten Tools, Datenampel, Prüfpflicht und Ansprechpartner.
3. Schulungsnachweis: Wer wurde wann zu welchem Thema geschult? Das genügt als Beleg für angemessene Maßnahmen.

Typische Fehler und Kosten

KI wie ein klassisches IT-Projekt behandeln

Ein ERP-System führen Sie einmal ein und betreiben es dann. KI verändert sich im Monatstakt, und ihr Nutzen hängt davon ab, ob Menschen sie klug einsetzen. Wer nur Software ausrollt und Schulung, Regeln und Führung vergisst, bekommt teure Lizenzen mit geringer Nutzung.

Ein zweiter Fehler: Hype folgen. Jede Woche taucht ein neues Tool auf. Bleiben Sie bei Ihren Zielen und prüfen Sie Neues nur gegen sie.

Unerwartete Kosten und fehlende Strategie

Ein Drittel der Unternehmen meldet laut Bitkom-Bericht unerwartet hohe Kosten. Typische Treiber sind Schulungszeit, Anbindung an bestehende Systeme, Prüfaufwand und Lizenzen, die niemand nutzt. Rechnen Sie das von Anfang an ein.

Gern zitiert wird auch, 80 % aller KI-Projekte scheiterten. Für diese Zahl gibt es keine belastbare Quelle. Belegt ist dagegen, dass 43 % der Mittelständler keine konkrete Strategie haben. Das erklärt Scheitern plausibler als jede Prozentzahl.

Realistischer Zeitplan: 30/60/90 Tage

Wie lange es dauert, hängt von Größe und Ausgangslage ab. Ein Rahmen für den Start, den Sie anpassen sollten:

Tage 1 bis 30: Grundlagen - Umfrage und KI-Inventar (Schritt 1) - Ziele, Verantwortliche, Budget (Schritt 2) - Erste Datenampel und freigegebene Tools (Schritt 4)

Tage 31 bis 60: Pilot - Use Cases bewerten, einen auswählen (Schritt 3) - Pilot mit Ausgangswerten starten (Schritt 5) - Champions benennen, erste Kurztrainings (Schritt 6)

Tage 61 bis 90: Auswerten und entscheiden - Pilot gegen die Regel prüfen - Richtlinie finalisieren, Schulungsnachweis anlegen - Entscheidung: skalieren, nachbessern oder stoppen (Schritt 7)

Nach 90 Tagen haben Sie keine fertige KI-Organisation, aber eine belastbare Entscheidungsgrundlage. Das ist mehr, als die meisten haben.

Checkliste zum Mitnehmen

• [ ] Umfrage zur tatsächlichen KI-Nutzung durchgeführt
• [ ] KI-Inventar angelegt
• [ ] Zwei bis drei Ziele mit Kennzahlen und Ausgangswerten festgelegt
• [ ] Verantwortliche Person mit Mandat benannt
• [ ] Budget inklusive Puffer für Schulung und Betrieb geplant
• [ ] Use Cases nach Nutzen und Aufwand bewertet
• [ ] Datenampel und freigegebene Tools definiert
• [ ] Datenschutzbeauftragten eingebunden
• [ ] Pilot mit Zeitrahmen und Go/no-go-Regel gestartet
• [ ] Führung nutzt KI sichtbar selbst
• [ ] Champions in den Teams benannt
• [ ] Schulung inklusive Grenzen, Prüfen und Datenschutz umgesetzt
• [ ] KI-Richtlinie und Schulungsnachweis dokumentiert
• [ ] Monatliches und quartalsweises Controlling eingerichtet

Weitere Perspektiven finden Sie unter anderem bei Haufe Akademie und im KI-Rundschau-Leitfaden für KMU.

Wer die Schritte mit der Führungsrunde oder dem ganzen Team angehen möchte, findet bei mir Keynotes, Workshops und Strategieberatung ohne Hype: Keynote oder Beratung anfragen.

Häufige Fragen

Wie fange ich an, KI im Unternehmen einzuführen?

Starten Sie mit einer Bestandsaufnahme: Welche KI-Tools nutzen Ihre Mitarbeitenden heute schon, wofür und mit welchen Daten? Legen Sie danach zwei bis drei Ziele und eine verantwortliche Person fest. Erst dann wählen Sie einen ersten Anwendungsfall für einen Pilot aus.

Wie lange dauert die Einführung von KI?

Das hängt von Größe, Ausgangslage und Umfang ab. Ein sinnvoller Startrahmen sind 90 Tage für Grundlagen, Pilot und Entscheidung. Die Verankerung im ganzen Unternehmen dauert deutlich länger, denn Training und Gewohnheiten wachsen nur schrittweise.

Sind KI-Schulungen Pflicht?

Ja. Artikel 4 des EU AI Act gilt seit dem 2. Februar 2025. Seit dem 27. Juli 2026 verlangt er in der Fassung des Digital Omnibus, dass Sie die KI-Kompetenz Ihrer Beschäftigten fördern. Ein bestimmtes Niveau müssen Sie nicht garantieren. Dokumentieren Sie Ihre Schulungen trotzdem.

Wie erhöhe ich die Akzeptanz bei Mitarbeitenden?

Gehen Sie als Führung sichtbar voran und nutzen Sie KI selbst. Benennen Sie Champions in den Teams und bieten Sie kurze, praxisnahe Trainings an echten Aufgaben an. Sprechen Sie Sorgen um Arbeitsplätze offen an und erklären Sie, wofür KI gedacht ist.

Brauche ich zuerst eine KI-Strategie oder erst einen Piloten?

Beides, aber in klein. Eine kurze Strategie mit Zielen, Verantwortung und Budget reicht als Start, sie muss keine 50 Seiten haben. Der Pilot liefert dann die Erfahrung, mit der Sie die Strategie schärfen.