Zum Hauptinhalt springen
Roland Markowski analysiert KI-KPIs und ROI-Metriken

Strategische KI-Roadmap

Die 4-Stufen-Roadmap verhindert die typischen Fehler: Sie starten passend zu Ihrer Ausgangslage, setzen klare Ziele pro Stufe und skalieren schrittweise.

Die 4 Stufen der KI-Roadmap

Stufe 1

GenAI

KI-Systeme, die eigenständig neue Inhalte erzeugen – Texte, Bilder, Code – und kreativ und produktiv arbeiten können.

Stufe 1

GenAI

Steigerung der Produktivität in Wissensarbeit von Marketing bis Konkurrenzanalyse.

Stufe 2

Embedded AI

KI-Funktionen direkt in bestehender Business-Software integriert – die KI arbeitet mit Ihren Unternehmensdaten.

Stufe 2

Embedded AI

Mehr Effizienz und Produktivität für den einzelnen Mitarbeiter in Standardlösungen.

Stufe 3

Business AI

KI-Systeme, die Geschäftsprozesse end-to-end (halb-)automatisieren – mit Human-in-the-Loop bei kritischen Entscheidungen.

Stufe 3

Business AI

Senkung der Kosten und Verbesserung der Performance in Kernprozessen.

Stufe 4

Agentic AI

(Halb-)autonom agierende KI-Agenten mit strikten Guardrails und Human-in-the-Loop – mehrere spezialisierte Agenten arbeiten wie ein autonomes Team.

Stufe 4

Agentic AI

Weitere Effizienzgewinne durch Multi-Step-Automatisierung.

Die richtige Auswahl der KI-Plattform

Worauf es ankommt – auf einen Blick

DSGVO

Europäische Anbieter erfüllen diese von Anfang an – keine Zusatzmaßnahmen nötig.

CLOUD Act (US)

US-Behörden können Zugriff auf Daten verlangen – auch bei EU-Speicherung.

EU AI Act

Die meisten KI-Anwendungen fallen unter minimales/begrenztes Risiko mit geringen Pflichten.

China (DeepSeek, Baidu)

Staatliche Kooperationspflichten, kein DSGVO-Angemessenheitsbeschluss.

US-Modelle ≠ US-Datenhaltung

Viele Plattformen nutzen GPT-4, Claude oder Gemini über europäische Infrastruktur (Azure Frankfurt, AWS EU) – das ist DSGVO-konform. Das CLOUD-Act-Restrisiko ist für normale Geschäftsdaten vernachlässigbar. Nur für hochregulierte Branchen empfehlen wir EU-native Alternativen.

Welche Fragen haben Mittelständler zur KI-Einführung?

Die häufigsten Fragen aus unserer Beratungspraxis – mit konkreten Antworten für Ihre KI-Strategie.

Welchen ROI kann ich von KI im Mittelstand realistisch erwarten?
Der ROI hängt stark von der KI-Stufe und dem Einsatzbereich ab. GenAI (Stufe 1) liefert typischerweise 5–15 % Produktivitätssteigerung bei Textarbeit – mit minimalem Investment. Embedded AI (Stufe 2) in CRM und ERP kann 15–30 % Effizienzgewinne bringen. Business AI (Stufe 3) mit dedizierten Lösungen erreicht oft 20–40 % Kostensenkung in spezifischen Prozessen. Wichtig: Starten Sie mit Quick-Wins in Stufe 1-2, um Erfahrung zu sammeln, bevor Sie größere Investitionen tätigen.
Was bedeutet das 4-Stufen-Modell (GenAI, Embedded AI, Business AI, Agentic AI)?
Das Modell beschreibt den typischen KI-Reifeprozess im Mittelstand: Stufe 1 (GenAI) nutzt Tools wie ChatGPT für sofortige Produktivitätsgewinne. Stufe 2 (Embedded AI) integriert KI in bestehende Software wie Microsoft 365 Copilot. Stufe 3 (Business AI) setzt dedizierte KI-Lösungen für spezifische Geschäftsprozesse ein. Stufe 4 (Agentic AI) ermöglicht autonome KI-Systeme mit eigenständiger Entscheidungsfähigkeit. Die meisten Mittelständler starten bei Stufe 1-2 und entwickeln sich schrittweise weiter.
Wie stelle ich EU AI Act-Compliance sicher?
Der EU AI Act klassifiziert KI-Systeme nach Risikostufen. Für den Mittelstand relevant: Die meisten GenAI- und Embedded-AI-Anwendungen fallen unter minimales oder begrenztes Risiko mit überschaubaren Pflichten (Transparenz). Hochrisiko-Systeme (z.B. HR-Entscheidungen, Kreditbewertung) erfordern umfassende Dokumentation und Risikomanagement. Unsere Empfehlung: Nutzen Sie EU-basierte Anbieter für DSGVO-Konformität und prüfen Sie bei jedem Projekt die Risikokategorie.
Warum sind US- und China-KI-Anbieter für den Mittelstand problematisch?
US-Anbieter unterliegen dem CLOUD Act – US-Behörden können Zugriff auf Daten verlangen, selbst wenn diese in der EU gespeichert sind. Nach Schrems II ist der Datentransfer rechtlich unsicher.Chinesische Anbieter wie DeepSeek oder Baidu unterliegen staatlichen Kooperationspflichten und haben keinen DSGVO-Angemessenheitsbeschluss. Für sensible Geschäftsdaten empfehlen wir daher EU-native Alternativen wie Aleph Alpha, Mistral AI oder europäische Plattformen mit garantiertem EU-Hosting.
Wie lange dauert eine typische KI-Einführung im Mittelstand?
GenAI (Stufe 1): 1-3 Monate für erste produktive Nutzung. Embedded AI (Stufe 2): 3-9 Monate für Integration in bestehende Systeme. Business AI (Stufe 3): 6-18 Monate für dedizierte Lösungen. Agentic AI (Stufe 4): 12-24+ Monate für autonome Systeme. Wichtig: Diese Stufen müssen nicht sequentiell durchlaufen werden – je nach Ausgangslage kann man auch parallel arbeiten oder Stufen überspringen.
Was kostet ein KI-Proof-of-Concept?
Ein PoC für GenAI-Anwendungen liegt typischerweise bei 5.000-15.000€. Embedded-AI-Piloten bewegen sich in der Regel zwischen 15.000-40.000€. Business-AI-PoCs mit dedizierten Lösungen beginnen typischerweise bei 30.000-80.000€. Entscheidend ist: Der PoC sollte einen klar definierten Business Case haben und innerhalb von 6-8 Wochen messbare Ergebnisse liefern. So minimieren Sie das Risiko und schaffen Entscheidungsgrundlagen für größere Investitionen.
Wie starte ich mit KI im Mittelstand, wenn ich noch ganz am Anfang stehe?
Der beste Einstieg ist ein GenAI-Pilot für Wissensarbeit – z.B. ChatGPT für Recherche, E-Mail-Entwürfe oder Dokumentenzusammenfassungen. Danach nutzen Sie Embedded-AI-Features in bereits vorhandener Software wie Microsoft 365 Copilot oder Salesforce Einstein. Erst im dritten Schritt lohnen sich dedizierte Business-AI- oder Agentic-AI-Lösungen. So sammeln Sie Erfahrung bei minimalem Risiko (typischerweise 5.000-15.000€ für den ersten Piloten).
Welche KI-Stufe ist für mein Unternehmen die richtige?
Die passende Stufe hängt von Unternehmensgröße und Datenreife ab:
  • Unter 100 Mitarbeiter, wenig strukturierte Daten → GenAI + Embedded AI (Stufe 1-2)
  • 100-500 Mitarbeiter, etablierte Prozesse → Business AI-Pilot für einen Kernprozess (Stufe 3)
  • Reife Dateninfrastruktur und IT-Kapazität → Agentic AI für End-to-End-Automation (Stufe 4)

Die meisten Mittelständler starten bei Stufe 1-2 und entwickeln sich organisch weiter.

Wie kann ich den ROI meiner KI-Projekte realistisch berechnen?

ROI = (Einsparungen + Mehrumsatz - Projektkosten) / Projektkosten × 100

  • Einsparungen: Eingesparte Arbeitsstunden × Stundensatz (z.B. 20h/Woche × 50€ × 52 Wochen = 52.000€/Jahr)
  • Mehrumsatz: Schnellere Bearbeitung oder höhere Abschlussquoten
  • Zeitraum: 12 Monate für Vergleichbarkeit

Beispiel: GenAI-Pilot (10.000€) mit 5h/Woche Zeitersparnis (13.000€/Jahr) → ROI von 30 % im ersten Jahr.

Warum ist jetzt der richtige Zeitpunkt für KI-Einführung im Mittelstand?

KI ist 2026 im deutschen Mittelstand vom Vorteil zum Wettbewerbsfaktor geworden. Unternehmen, die jetzt starten, gewinnen 12-18 Monate Vorsprung gegenüber Zögerern.

  • Technologie ausgereift: GenAI-Tools sind sofort einsetzbar
  • Kosten gesunken: Piloten bereits ab 5.000€ möglich
  • Rechtssicherheit: EU AI Act schafft klare Rahmenbedingungen

Fazit: Wer abwartet, riskiert, dass Wettbewerber Prozesse früher automatisieren und Kostenvorteile aufbauen.

Was bedeutet „Human-in-the-Loop"?

Human-in-the-Loop (HITL) bezeichnet ein KI-Design-Prinzip, bei dem Menschen an kritischen Stellen des Prozesses eingebunden bleiben – als Kontrollinstanz, zur Validierung oder für finale Entscheidungen.

  • Bei Embedded AI: Die KI macht Vorschläge, der Mitarbeiter entscheidet
  • Bei Business AI: Guardrails definieren, wann die KI autonom handelt und wann eskaliert wird (z.B. „Rechnung <5.000€ automatisch, >5.000€ zur Freigabe")

Wichtig: HITL ist bei Hochrisiko-Anwendungen laut EU AI Act sogar Pflicht – etwa bei Personalentscheidungen oder Kreditprüfungen.

Was bedeutet „Open-Weight" vs. „Closed-Weight" – und warum ist das für den Mittelstand relevant?

Bei Closed-Weight-Modellen (GPT-4, Claude) kontrolliert der US-Anbieter die Modellgewichte – Ihre Daten werden zu dessen Servern geschickt. Bei Open-Weight-Modellen (Llama, Mistral) sind die Weights frei verfügbar und können auf europäischer Infrastruktur betrieben werden. Ein einfaches Bild: Closed-Weight = Mietwohnung (Vermieter bestimmt die Regeln), Open-Weight = Eigenheim (Sie entscheiden, wer Zugang hat).

Für den Mittelstand bedeutet das: DSGVO + EU-Hosting allein reicht nicht, wenn das Modell selbst von einem US-Anbieter kontrolliert wird. Echte Datensouveränität erfordert die bewusste Wahl der Modellarchitektur.

Zum Souveränitäts-Guide mit Prüfpunkten →
Wie wähle ich die richtige EU-KI-Plattform für mein Unternehmen?

Drei Schritte zur richtigen Plattformwahl:

  • Anforderungen klären: Welche Compliance-Standards brauchen Sie (ISO 27001, TISAX, DORA)? Welche LLM-Modelle sollen verfügbar sein?
  • Souveränität bewerten: Reicht EU-Hosting mit US-Modellen, oder brauchen Sie Open-Weight auf eigener Infrastruktur?
  • Neutral evaluieren: Demo-Begleitung, PoC-Vereinbarungen und Vertragsverhandlungen – ohne Anbieter-Provisionen.
Welche KI-Schulungen gibt es für Führungskräfte?

Zwei Kompetenzfelder sind entscheidend für Führungskräfte im KI-Zeitalter:

  • KI-Strategie: Prompt Engineering, Tool-Auswahl, ROI-Messung, DACH-Anbieter im Überblick – das Werkzeug beherrschen
  • Future Skills: Urteilsfähigkeit, Kreativität, systemisches Denken – die menschlichen Kompetenzen stärken, die KI nicht ersetzen kann

Tipp: Wir kuratieren externe Schulungen aus dem DACH-Raum – aktuelle KI-Schulungen ansehen.

Kostenloses 30-Min Erstgespräch

In 30 Minuten klären wir gemeinsam, auf welcher KI-Reifestufe Ihr Unternehmen steht und welche nächsten Schritte sinnvoll sind.