Intuicja podpowiada że im lepiej działa system, tym bezpieczniej jest go używać. W przypadku nadzoru nad automatyzacją jest odwrotnie — i to jest jedna z lepiej udokumentowanych obserwacji w badaniach nad czynnikiem ludzkim.
Czym jest stronniczość automatyzacji
Skłonność człowieka do przyjmowania rekomendacji systemu bez niezależnej weryfikacji, rosnąca wraz z wcześniejszą niezawodnością tego systemu. Operator przestaje sprawdzać, bo dotąd nie było czego sprawdzać.
Dwa objawy
Błąd zaniechania: operator nie zauważa problemu, bo system go nie zgłosił, a operator przestał szukać samodzielnie.
Błąd działania: operator wykonuje zalecenie systemu wbrew informacjom które ma z innych źródeł, bo ufa systemowi bardziej niż własnej obserwacji.
Mechanizm
Zaufanie do systemu jest budowane przez jego historię działania. Każde poprawne zachowanie podnosi domyślne założenie że kolejne też będzie poprawne. Po pewnym czasie weryfikacja przestaje być traktowana jako część procesu, a staje się formalnością.
Konsekwencja dla projektowania jest niewygodna: niezawodność systemu jest jednocześnie czynnikiem ryzyka. Im rzadziej agent się myli, tym słabszy nadzór nad nim sprawuje człowiek — i tym większe znaczenie ma ten jeden przypadek w którym się pomyli.
W kontekście agentów AI
Agent który przez miesiąc wykonuje zadania poprawnie uczy zespół że jego propozycji nie trzeba sprawdzać. Nadzór formalnie trwa, faktycznie zanika. To jest mechanizm leżący pod zeszklonym zatwierdzaniem i powód dla którego zabezpieczenia oparte na czujności człowieka degradują się w czasie, a zabezpieczenia infrastrukturalne nie.
Status
Pojęcie ustalone w literaturze o czynniku ludzkim, opisywane od dekad w kontekście lotnictwa, systemów wspomagania decyzji i automatyki przemysłowej — na długo przed agentami AI.