Viel KI, wenig Plan: Die eigentliche Lücke im Mittelstand
57 Prozent der Unternehmen nutzen KI, aber kaum eines holt heraus, was möglich wäre. Warum eine KI-Strategie im Mittelstand fast immer eine Systemfrage ist und wo Du anfängst.
Moritz Grellner · Berater · 6 Min. Lesezeit
Erstmals setzt die Mehrheit der Unternehmen in Deutschland KI ein: 57 Prozent, meldet der Digitalverband Bitkom am 14. September 2026. Doch kein einziges Unternehmen, das KI nutzt, schöpft ihr Potenzial nach eigener Einschätzung vollständig aus. 59 Prozent schöpfen es überhaupt nicht aus. Die Lücke liegt selten im Werkzeug, sondern im Plan dahinter.
In diesem Beitrag zeigen wir Dir, warum eine KI-Strategie im Mittelstand fast immer eine Systemfrage ist. Und in welcher Reihenfolge Du vorgehen kannst.
KI ist angekommen, aber meist neben dem Prozess
Vor zwei Jahren nutzten laut Bitkom 20 Prozent der Unternehmen KI, vor einem Jahr 36 Prozent, heute 57 Prozent. Befragt wurden 603 Unternehmen ab 20 Beschäftigten. Bitkom spricht von einem Tempo, wie es bei keiner Technologie zuvor zu sehen war.
Im Alltag heißt KI-Einsatz oft: ein Chatfenster im Browser. Jemand lässt eine Mail formulieren oder ein Protokoll zusammenfassen. Das spart Minuten, aber am Ablauf ändert es nichts. Die Rechnung wird weiter abgetippt, die Excel-Liste neben dem ERP weiter gepflegt.
Das zeigt auch die Selbsteinschätzung. Nur 3 Prozent der KI-Anwender sagen, sie schöpfen das Potenzial eher stark aus. 28 Prozent nutzen es eher wenig, 59 Prozent überhaupt nicht.
Dieser Anteil ist laut Bitkom über alle Größen fast gleich, vom Betrieb mit 20 Beschäftigten bis zum Konzern. Es ist also keine Frage der Firmengröße.
Auf einen Blick
- 57 %
- der Unternehmen setzen KI ein (2024: 20 %)
- 59 %
- der KI-Anwender schöpfen das Potenzial überhaupt nicht aus, 0 % vollständig
- 21 %
- nennen Lizenzen als großen Kostenpunkt, 50 % die Aufbereitung von Daten
Quelle: Bitkom, Presseinformation vom 14.09.2026; Befragung von 603 Unternehmen ab 20 Beschäftigten
Ohne Plan entscheidet der Zufall, wo KI landet
Ein Drittel der Unternehmen, die KI einsetzen, tut das vor allem aus Sorge, sonst den Anschluss zu verlieren. Auch das steht in der Bitkom-Befragung. Der Impuls ist verständlich. Er führt aber oft dazu, dass erst das Werkzeug kommt und dann die Frage, wofür.
Die Folgen sind im Mittelstand gut zu erkennen. Drei Muster begegnen uns immer wieder:
Die Kosten laufen davon.54 Prozent der KI-Anwender nennen schwer kalkulierbare Kosten als Hemmnis. Wer ohne Ziel startet, kann auch keinen Nutzen gegenrechnen.
Schatten-KI entsteht.Gemeint sind KI-Dienste, die Mitarbeitende auf eigene Faust nutzen, oft mit privaten Konten. Firmendaten landen dann dort, wo niemand sie verwaltet. Datenschutz ist für 66 Prozent der Anwender das größte Hemmnis, 45 Prozent sorgen sich, dass Unternehmensdaten in falsche Hände gelangen.
Piloten bleiben Piloten.Ein Test funktioniert in der Vorführung. Weil er nicht mit dem ERP verbunden ist, kommt er nie im Tagesgeschäft an.
Keines dieser Muster ist ein Problem der KI selbst. Alle drei entstehen, weil niemand vorher festgelegt hat, wo KI arbeiten soll und mit welchen Daten.
Lizenzen sind der kleinste Posten
Viele vermuten die großen Kosten bei Software-Abos. Die Bitkom-Zahlen zeichnen ein anderes Bild.
Als großen Kostenpunkt nennen 51 Prozent der KI-Anwender Infrastruktur wie Cloud und Rechenleistung. 50 Prozent nennen die Aufbereitung von Daten, 41 Prozent die Integration in bestehende Systeme. Lizenzen sind nur für 21 Prozent ein großer Kostenpunkt.
„Wer nur eine Lizenz kauft, hat KI eingekauft, aber noch nichts verändert.“
Für Dich heißt das: Das Sprachmodell ist austauschbar. Die eigentliche Arbeit steckt in sauberen Daten und in den Verbindungen zwischen Deinen Systemen. Genau dort entscheidet sich, ob KI einen Ablauf verändert oder nur daneben steht.
Was Datenaufbereitung im Alltag bedeutet, kennt fast jeder Betrieb. Derselbe Lieferant steht zweimal im System, mit leicht anderer Schreibweise. Artikelnummern im Shop weichen von denen im ERP ab.
Preise werden in einer Excel-Liste gepflegt, die nur eine Kollegin wirklich versteht. Eine KI, die auf solche Daten zugreift, liefert Ergebnisse, denen niemand traut.
Die Eingangsrechnung zeigt das Problem im Kleinen
Ein Beispiel liegt in fast jedem Posteingang. Laut einer Studie von IW Consult vom 4. November 2025 kommt im Mittelstand nur jede fünfte Eingangsrechnung als E-Rechnung an. 26 Prozent sind Papier, 55 Prozent digitale, aber nicht direkt verarbeitbare Formate wie PDF.
Diese Rechnungen werden gelesen, abgetippt und geprüft. KI kann das Lesen übernehmen, und sie tut es zunehmend. Im Controlling und Rechnungswesen ist der KI-Einsatz laut Bitkom binnen eines Jahres von 17 auf 25 Prozent gestiegen.
Doch die ausgelesenen Daten müssen weiter: in den Kreditor im ERP, zum Abgleich mit Bestellung und Wareneingang, in die Freigabe. Fehlt diese Verbindung, liest die KI die Rechnung, und ein Mensch tippt das Ergebnis trotzdem ins ERP. Warum die strukturierte E-Rechnung hier ohnehin den Takt vorgibt, beschreiben wir im Beitrag zur E-Rechnungspflicht ab 2027.
Eine KI-Strategie ist im Mittelstand eine Systemfrage
Wer über KI im eigenen Betrieb entscheidet, sollte drei Fragen beantworten können. Wo liegen Deine Daten? Welche Systeme sprechen miteinander und welche nicht? Und an welchen Stellen wird heute abgetippt oder kopiert?
Das wird noch wichtiger, wenn KI-Agenten ins Spiel kommen. Gemeint ist Software, die selbstständig Aufgaben erledigt, etwa Preise vergleicht oder Angebote einholt. Laut Bitkom setzen 11 Prozent der Unternehmen, die KI nutzen, planen oder diskutieren, solche Agenten schon ein, 29 Prozent planen es. Bitkom-Präsident Ralf Wintergerst nennt als Voraussetzung belastbare Daten, verknüpfte Systeme und feste Regeln dafür, was ein Agent tun darf.
Im Mittelstand sind diese Systeme selten neu. Da gibt es ein ERP wie Business Central, ein CRM, Microsoft 365, die Lohnbuchhaltung beim Steuerbüro und einige Excel-Listen, die alles zusammenhalten. Eine KI-Strategie beginnt deshalb nicht mit der Wahl eines Modells. Sie beginnt mit einem ehrlichen Blick auf diese Landschaft.
Auch für Unternehmen, die noch gar keine KI nutzen, liegt die Hürde dort. 85 Prozent von ihnen nennen laut Bitkom fehlendes technisches Wissen für die Einführung als Grund. Aus unserer Sicht ist dabei selten das Modell das Schwierige. Schwierig ist, es an die eigenen Daten und Abläufe anzubinden.
Erst die Landkarte, dann das Tempo
Ein tragfähiger Plan folgt einer einfachen Reihenfolge. Drei Schritte haben sich bewährt:
Aufnehmen.Zuerst entsteht eine Karte Deiner Systeme und Prozesse. Sie zeigt, welche Systeme es gibt, welche Daten wo liegen und wo Übergaben von Hand passieren. Das nennt man auch System Mapping.
Priorisieren.Aus der Karte ergeben sich Anwendungsfälle. Jeder bekommt eine grobe Schätzung für Aufwand, Budget und Nutzen. So siehst Du, welcher Schritt sich zuerst rechnet.
Umsetzen, wo die Daten schon sind.KI arbeitet am besten in den Systemen, die Dein Team ohnehin nutzt. Das sind meist ERP, CRM und Microsoft 365. Ein Systemwechsel ist dafür selten nötig.
Zur Umsetzung gehören auch klare Regeln: wer KI-Ergebnisse prüft, wer freigibt, welche Daten tabu sind. Und das Team muss mitkommen. Noch immer bietet laut Bitkom jedes vierte Unternehmen keinerlei KI-Schulung an.
Unser Grundsatz dafür ist einfach: Menschen denken. Systeme arbeiten. Die KI übernimmt das Lesen, Sortieren und Übertragen. Die Entscheidung bleibt bei Deinem Team.
Was Du jetzt tun kannst
Für den Anfang brauchst Du kein großes Projekt. Diese Schritte schaffst Du mit Bordmitteln:
Schreib auf, wo in Deinem Betrieb heute schon KI genutzt wird, auch inoffiziell.
Nimm einen Ablauf, der täglich Zeit kostet, etwa die Eingangsrechnung. Zeichne nach, durch welche Systeme er läuft.
Zähl die Stellen, an denen jemand abtippt, kopiert oder in Excel nachpflegt.
Leg fest, wer KI-Ergebnisse prüft und freigibt.
Entscheide erst danach über Werkzeuge und Lizenzen.
Was Abtippen und Medienbrüche in Deinem Betrieb ungefähr kosten, kannst Du vorab mit unserer Systemlandkarte abschätzen.
Unser Blick
Wir erleben selten, dass einem Unternehmen die richtige KI fehlt. Meist fehlt der Überblick, wo sie andocken soll. Deshalb beginnen wir nicht mit Werkzeugen, sondern mit Deinen Systemen und Abläufen.
Dafür gibt es das System-Audit. In einem ½ Tag Workshop nehmen wir gemeinsam auf, welche Systeme Du hast, wie Daten fließen und wo von Hand übertragen wird. Intern nennen wir das Discovery & System Mapping. Am Ende steht ein Fahrplan mit priorisierten Anwendungsfällen, Budget und ROI.
Das System-Audit kostet 2.999 Euro. Wir verbinden Deine Systeme, statt sie zu ersetzen. So wird aus viel KI ein Plan, der im Tagesgeschäft ankommt.
Nächster Schritt
Erst die Landkarte, dann die KI
Im System-Audit schauen wir in einem ½ Tag Workshop auf Deine Systeme und Abläufe. Danach hast Du einen Fahrplan mit Budget und ROI.
