Automatisierung: Risiken im Prozess

Die digitale Transformation der Wirtschaft ist seit Jahren ein bestimmendes Thema. In Deutschland wird sie oft verbunden mit den Stichworten „Digitalisierung“ oder „Industrie 4.0“. Neben Themen wie Cloud Computing und Big Data steht dabei für viele Unternehmen die Automatisierung von Prozessen im Vordergrund. Ziel ist es, mehr Schritte an Maschinen zu übertragen, um Aufgaben schneller, günstiger und fehlerärmer durchzuführen.

Die Diskussion der Risiken dreht sich häufig um Fragen des Datenschutzes und der Anfälligkeit für Hacker. Jedoch gibt es ein weiteres Feld, das Ihr Unternehmen mit der gleichen Gründlichkeit betrachten sollte. Die Rede ist von der Interaktion des menschlichen Mitarbeiters, oft „human in the loop“ genannt, mit der Maschine. Dieser ist dafür verantwortlich, den automatisierten Prozess zu überwachen und bei Bedarf einzugreifen.

Der „human in the loop“ ist mit dem Piloten eines Flugzeugs vergleichbar. Im Regelbetrieb führt der Autopilot alle wichtigen Funktionen aus. Erst wenn eine kritische Situation auftritt, wird der Pilot informiert, um die Kontrolle zu übernehmen. Genauso wenig, wie man ein Flugzeug ohne Piloten starten lässt, sollten Sie Ihre Prozesse sich selbst überlassen. Um die Interaktion zwischen Mensch und Maschine so zu gestalten, dass der „human in the loop“ seine Überwachungsfunktion wahrnehmen kann, sollten Sie folgende Risiken beachten.

Risiko 1: Übermäßiges Vertrauen in die Automation

Gründe

Die Automatisierung eines Prozesses bringt in der Regel einigen Aufwand mit sich. Ihr Unternehmen muss Software und Hardware umstellen oder neu anschaffen. Sie müssen personelle Zuordnungen anpassen, Aufgabenbeschreibungen aktualisieren und Organigramme neu zeichnen. Die meisten Unternehmen ziehen zudem externe Spezialisten hinzu und binden die Geschäftsführung mit ein. Kurz gesagt: Es fallen erhebliche Aufwände und Kosten an und der Prozess wird durch diverse Köpfe „gefiltert“.

Ein menschlicher Bearbeiter entwickelt hierdurch leicht den Eindruck, dass der Prozess hochgradig fehlerfrei funktionieren wird. Psychologisch tritt ein Effekt ein, der besagt: „Wenn viele kluge Leute Geld und Zeit investiert haben, muss das Ergebnis zwangsläufig gut sein.“ Dieser Glaube wird verstärkt, wenn die Führung des Unternehmens die Vorteile der Automatisierung besonders betont, um ihre Mitarbeiter von dem Projekt zu überzeugen.

Im schlimmsten Fall ist das Ergebnis, dass der „human in the loop“ die Fehlerfreiheit der Automatisierung über- und sein eigenes Urteilsvermögen unterschätzt. Dies kann sich als fatal erweisen, falls im Prozess ein Fehler auftritt. Traut der Mensch der Maschine mehr als sich selbst, klassifiziert er eine beobachtete Abweichung eher als korrekte Operation. Dieser Effekt hängt stark von der Fehlerkultur im Unternehmen ab. Womöglich will der „human in the loop“ nicht als derjenige dastehen, der das teure „Lieblingsprojekt“ seines Vorgesetzten schlechtredet.

Ein zu hohes Vertrauen in die Automatisierung kann noch einen weiteren Effekt nach sich ziehen. Oft ist der „human in the loop“ jemand, der den Prozess zuvor manuell durchgeführt hat. Die Gewöhnung an die Maschine kann dazu führen, dass er relevante Kompetenzen verlernt. Dies schwächt seine Fähigkeit zur Erkennung und Korrektur von Fehlern. Zugleich braucht er im Fehlerfall länger, um einzugreifen.

Beispiel

Wenn ein kompetenter Bearbeiter wie der Pilot eines Prozesses ist, ist ein verunsicherter „human in the loop“ wie ein Hobbypilot, der als Passagier in einem Jet mitfliegt. Kommt es zu Turbulenzen, fragt er sich möglicherweise, ob die Piloten im Cockpit mit den richtigen Manövern reagieren. Jedoch redet er sich ein, dass der kommerzielle Airline-Pilot deutlich mehr Flugerfahrung und eine rigorose Ausbildung durchlaufen hat, sodass er „schon wissen wird, was er tut“.

Ein tragisches Beispiel aus der Wirklichkeit sind die Abstürze zweier Maschinen des Typs Boeing 737 Max, zu denen es 2018 und 2019 kam. Laut Untersuchungen nahmen hierbei die Autopiloten gefährliche Flugmanöver vor, ausgelöst durch falsche Sensormeldungen. Diese wurden von den Piloten nicht rechtzeitig identifiziert und korrigiert. Zu den Fehlerquellen zählten eine unklare Funktionsweise des Systems und eine unzureichende Schulung des Personals. Auch wird in der Luftfahrt regelmäßig diskutiert, ob Piloten durch eine immer weitergehende Abgabe von Kontrolle an den Autopiloten grundsätzliche Fähigkeiten verlernen.

Maßnahmen

Auch wenn die Versuchung besteht, die Vorteile der Automatisierung besonders zu betonen: Die Unternehmensführung sollte von Anfang an kommunizieren, dass der Prozess durch die Umstellung nicht „perfekt“ ablaufen wird. Vielmehr sollte betont werden, dass die Mitarbeiter, insbesondere der „human in the loop“, eine entscheidende Rolle spielen. Gerade in der Anfangszeit sollten Fehler systematisch gesammelt und ausgewertet werden. Bekannte Fehlerszenarien sollten die Grundlage für Schulungen und Übungen des Personals bilden.

Flankiert werden sollte dieser Ansatz durch eine konstruktive Fehlerkultur. Hierbei muss dem Mitarbeiter kommuniziert werden: Ziel ist es nicht, den Prozess vor Kritik zu schützen, sondern ihn ehrlich zu bewerten, um ihn zu verbessern. Das Melden von Fehlern sollte belohnt und nicht bedroht werden. Hierzu gehört auch die Mitteilung: Lieber einen Fehler anzeigen, der keiner ist, als einen Fehler aus Angst vor einer Fehldiagnose ignorieren.

Risiko 2: Übermäßiger Entwickler-Fokus

Gründe

Damit ein Mensch einen Prozess überwachen kann, muss die Schnittstelle Mensch/Maschine klar definiert sein. Der „human in the loop“ muss

wissen, was die Maschine tun soll,
ablesen können, was sie wirklich tut, hierdurch
Abweichungen vom Regelbetrieb erkennen können und
wissen, wie er in welchem Fall eingreifen muss.

All dies mag selbstverständlich erscheinen. Jedoch erschwert die Art der Einführung, die viele Unternehmen wählen, die Schaffung einer geeigneten Schnittstelle. Nehmen wir das Beispiel einer industriellen Fertigungsanlage. An der Automatisierung sind Menschen mit völlig verschiedenen Hintergründen beteiligt. Ein Kaufmann legt das Produktionsziel fest und ein Ingenieur definiert die technischen Spezifikationen. Ein externer Berater übernimmt das Projektmanagement und ein Programmierer erstellt die Bedienoberfläche für den „human in the loop“.

All dies kann dazu führen, dass die Einbindung des Bearbeiters nicht nach dessen Bedürfnissen, sondern nach der Denklogik anderer erfolgt. Was einem Programmierer intuitiv erscheint, erfordert vom Bearbeiter oft ein Umdenken. Im Regelbetrieb mag dies noch nicht zu Problemen führen. Spätestens im Fall eines Fehlers kann dieser Umstand jedoch wertvolle Zeit kosten. Im schlimmsten Fall führt er nicht nur zu späten, sondern zu falschen Entscheidungen. Die Gründe hierfür sind vielfältig. Ein Externer ist weniger vertraut mit dem Prozess als jemand, der ihn tagtäglich bearbeitet. Dazu kommt: Selbst wenn er die Schritte studiert hat, fehlt ihm die Erfahrung der Anwendung in der Praxis und der Wechselwirkung mit anderen Abläufen, die nicht direkt mit dem automatisierten Prozess zusammenhängen.

All diese Komplikationen können dazu führen, dass der „human in the loop“ im Fehlerfall Probleme hat, Art und Ursache des Fehlers zu diagnostizieren. Möglicherweise hat er sogar Schwierigkeiten, festzustellen, dass überhaupt ein Fehler vorliegt. Auch hierfür gibt es einige bekannte Beispiele.

Beispiele

Bis zum Zweiten Weltkrieg wurden Flugzeuge weitgehend von Ingenieuren entwickelt. Piloten, also die eigentlichen Benutzer, mussten lernen, mit der vorgegebenen Nutzeroberfläche umzugehen. Um die Maschine zu kontrollieren, mussten sie sich in die Gedankenwelt des Konstrukteurs versetzen. Erst nach diversen Unfällen, resultierend aus mangelndem Verständnis für die Bedienelemente, ging man dazu über, Flugzeuge verstärkt vom Nutzer ausgehend zu entwickeln.

Ein weiteres Beispiel für mangelhafte Mensch-Maschine-Interaktion findet sich im Reaktorunfall im Kernkraftwerk Three Mile Island im Jahr 1979. Dort kam es zu einer Kette von Fehlern, von denen jeder an sich handhabbar gewesen wäre. Jedoch wirkten diese in einer Weise zusammen, dass das Problem eskalierte. Ein Glied in der Kette bestand darin, dass die Kontrollleuchte einer Ventilanzeige von einem An-hänger verdeckt war. Das Personal im Kontrollraum konnte daher eine entscheidende Information für die Bedienung des Reaktors nicht ablesen. Auch bei einer der erwähnten Boeing-Maschinen fehlte Berichten zufolge eine optionale Warnleuchte. Diese hätte die Piloten auf das Manöver des Autopiloten hinweisen können.

Maßnahmen

Unternehmen sollten den „human in the loop“ von Anfang an mit einbeziehen. Dies dient dem Ziel, das Wissen von Experten mit der Praxiskenntnis und Erfahrung des Bearbeiters zu kombinieren. Gerade die Oberfläche zur Bedienung und Überwachung sollte in Abstimmung mit dem Nutzer gestaltet werden. Klar definierte Kennzahlen und gut lesbare Anzeigen sind ein Muss.

Hierbei kommt es oft zu Reibungen. Diese sind aus anderen Fällen des Change Management bekannt. Viele Mitarbeiter „hängen“ an vertrauten Routinen. Manche Berater sind zu fixiert darauf, die Funktionalität zu steigern. Hier liegt es an der Führung des Unternehmens, zu vermitteln und einen gesunden Kompromiss zu finden.

Risiko 3: Übermäßige Komplexität

Gründe

Viele Unternehmen folgen dem Rat, bei der Automatisierung mit Prozessen zu beginnen, die sich hierfür besonders eignen. Aus der Sicht der Einbindung eines „human in the loop“ sind Kriterien für die Eignung, dass sich der Ablauf

klar in eine Abfolge von Arbeitsschritten unterteilen lässt, die sich
ohne große Abweichung wiederholen, wobei
Ergebnisse eindeutig messbar sind und
wenige Ausnahmen auftreten.

Ein Beispiel hierfür ist eine Fertigungsstraße, in der ein Roboter die produzierten Teile misst. Er sortiert diejenigen aus, die nicht den Vorgaben entsprechen. Den Ausschuss versieht er mit einem Marker, der den Grund für die Aussortierung nennt. Der menschliche Bearbeiter kann problemlos nachvollziehen, wo der Roboter einen Fehler festgestellt hat, was der Grund war und wie er reagiert hat.

Grundsätzlich gilt: Je komplexer der Prozess, desto schwieriger die Überwachung durch den „human in the loop“. Beispiele für eine Erhöhung der Komplexität im vorliegenden Fall wären

mehr Roboter, die ein Mensch überwachen muss,
mehr Schritte, die der Roboter durchführt,
eine höhere Geschwindigkeit, mit der der Roboter agiert, und
mehr Autonomie des Roboters.

Letzteres kann der Fall sein, wenn der Roboter nicht nur Teile aussortiert, sondern die Fertigungsstraße selbstständig umstellt, sobald er einen Fehler misst. Das Problem ist leicht erkennbar. Selbst wenn die Schnittstelle zwischen Mensch und Maschine optimal gestaltet ist, kann der „human in the loop“ irgendwann nicht mehr mit dem Roboter „mithalten“. Seine Fähigkeit zur Verarbeitung von Daten und Signalen stößt an seine Grenzen.

Das Risiko liegt hierbei nicht im Regelbetrieb, sondern im Fehlerfall. Ist der Roboter zu schnell für den Menschen oder seine Entscheidung zu komplex, vergeht wertvolle Zeit, bis der „human in the loop“ korrigierend eingreifen kann. Selbst wenn kein sofortiger Schaden eintritt, gestaltet sich die Suche nach dem Fehler länger und damit teurer als bei einem einfachen Prozess.

Beispiele

Am Nachmittag des 6. Mai 2010 fiel der US-amerikanische Leitindex S&P 500 innerhalb von knapp über 5 Minuten um fast 6 Prozent. Fast zeitgleich sank der Dow-Jones-Industrial-Average um fast 10 Prozent. Trotz einer Erholung schlug sich der Kurssturz in der Folge auf die asiatischen Märkte durch, um auch diese kurzzeitig abstürzen zu lassen. Der Einbruch basierte nicht auf üblichen Marktsignalen, sondern gab Betrachtern Rätsel auf.

Eine spätere Untersuchung zeigte, dass die Ursache in einer Interaktion von Bots zu suchen war. Automatische Bots führen heute einen großen Teil des Aktienhandels durch. Sie verarbeiten in Mikrosekunden unzählige Informationen, um Entscheidungen über Kauf und Verkauf zu treffen, die wiederum als Signale für andere Bots dienen. Ein einzelner Fehler kann somit eine Kettenreaktion auslösen, bei der auch alle anderen Bots „blind“ ihren vorgegebenen Befehlen folgen und so den Markt in eine Krise stürzen. Bevor ein Mensch diese entdecken und eingreifen kann, ist der Schaden bereits angerichtet.

Die Knight Capital Group wurde über einen solchen Fehler im Jahr 2012 innerhalb von 45 Minuten fast insolvent. Da ein automatisch agierendes System nicht erkannte, dass eine Verkaufsorder bereits ausgeführt war, führte es diese immer wieder aus. Als es dem Betreiber gelang, den Bot anzuhalten, stand bereits ein Verlust von fast einer halben Milliarde Dollar in den Büchern.

Maßnahmen

Für die meisten Unternehmen stehen vor allem zwei Ziele im Fokus, wenn es um eine Automatisierung geht: mehr Effizienz und niedrigere Kosten. Diese treffen jedoch oft nur auf den Regelbetrieb zu. Es sollten daher auch die Risiken im Fehlerfall mit einbezogen werden. Nicht immer ist es sinnvoll, die Grenzen des möglichen Tempos auszureizen. Zentral ist, dass der „human in the loop“ mit seiner Aufgabe nicht überfordert ist. In manche Abläufe sollten Sie bewusst „slack“ einbauen. Hierbei handelt es ich um eine gewollte Reduzierung der Geschwindigkeit, eine Latenz, um dem Menschen Raum zum Eingreifen zu geben. Überhaupt gehört ein Mensch als „circuit breaker“ in jedem Prozess dazu. Dies gilt selbst für solche Abläufe, in denen kaum Fehler auftreten.

Fazit: Change Management bei der Automatisierung ernst nehmen

Die Automation von Prozessen bringt diverse Vorteile mit sich. Unternehmen können hierdurch ihre Kosten senken und ihre Effizienz steigern. Auch die Anzahl von Fehlern lässt sich reduzieren. Jedoch gibt es keinen Prozess, der perfekt abläuft. Darum sollten Unternehmen stets einen Überwacher als „human in the loop“ und „circuit breaker“ einsetzen. Damit er diese Aufgabe wahrnehmen kann, muss

er dafür sensibilisiert werden, dass Fehler auftreten können,
seine Kompetenz erhalten und gefördert werden,
die Kultur des Unternehmens erlauben, dass er Fehler melden kann,
der Überwacher in die Gestaltung der Benutzeroberfläche mit einbezogen werden und
die Komplexität des Prozesses so gestaltet sein, dass sie den „human in the loop“ nicht überfordert.

Ein gutes Change Management bindet all diese Aspekte mit ein. Jedoch liegt es an der Führung des Unternehmens, zwischen den Ideen von externen Experten und den Bedürfnissen des eigenen Personals zu vermitteln.