Zeszklone zatwierdzanie

Odruchowe akceptowanie próśb agenta o zgodę bez czytania ich treści. Okno pokazuje prawdę, człowiek i tak klika "akceptuj" — bo robił to dziś czterdzieści razy i za każdym razem było w porządku. Lekarstwem nie jest lepsze okno tylko mniejsza liczba okien.

W Polsce nazywane też:

zatwierdzanie odruchoweklikanie zgód bez czytaniazmęczenie zatwierdzaniempozorny nadzórteatr nadzoru

Kiedy agent może zrobić coś nieodwracalnego — zapisać plik, wysłać wiadomość, wykonać płatność — dokłada się punkt kontrolny: zanim to zrobi, pyta człowieka o zgodę. Wydaje się że to zamyka temat, bo na końcu każdej akcji stoi ktoś kto klika „tak” albo „nie”.

Zeszklone zatwierdzanie to sytuacja w której ten człowiek klika „tak” nie czytając o co został zapytany.

Nazwa pochodzi od zeszklonego wzroku który przechodzi przez ekran nie zatrzymując się na treści. Człowiek jest formalnie w pętli. Faktycznie już z niej wypadł.

Czym jest zeszklone zatwierdzanie

Odruchowe akceptowanie próśb agenta o zgodę bez przetworzenia ich treści — stan w którym punkt kontrolny formalnie działa, wszystkie informacje są wyświetlone poprawnie, a mimo to nie chroni, bo pojawia się zbyt często żeby cokolwiek znaczyć.

Dwa różne tryby awarii nadzoru

Awaria informacji: człowiek nie mógł podjąć dobrej decyzji, bo okno pokazało mu nieprawdę — etykietę zamiast celu, intencję zamiast skutku. To jest problem projektowy i ma rozwiązanie techniczne, opisane jako parytet informacji.

Awaria uwagi: człowiek mógł podjąć dobrą decyzję i jej nie podjął. Okno pokazywało wszystko co trzeba. Kliknął po ułamku sekundy, bo klikał dziś czterdzieści razy i za każdym razem było w porządku.

Pierwsza mówi „nie mógł wiedzieć”. Druga mówi „mógł, ale nie spojrzał”. Zeszklone zatwierdzanie jest tym drugim — i jest trudniejsze, bo nie naprawisz go żadną poprawką w oknie.

Dlaczego to nie jest wina człowieka

Deweloper który przez tydzień zatwierdził dwieście operacji, z czego sto dziewięćdziesiąt dziewięć było nieszkodliwych, wyciąga o dwusetnej wniosek że prawdopodobnie też jest nieszkodliwa. I ma rację — statystycznie.

To nie jest niedbalstwo tylko poprawne wnioskowanie z obserwacji. Człowiek nauczył się dokładnie tego czego system go uczył: że ten monit prawie nigdy nie oznacza problemu. Zeszklone zatwierdzanie jest wyuczoną odpowiedzią na sygnał o niskiej wartości informacyjnej, a nie brakiem dyscypliny.

Zgoda jako sygnał

Wartość monitu bierze się z jego rzadkości, nie z jego istnienia. Punkt kontrolny który odzywa się przy każdej operacji informuje dokładnie o tym samym co brak punktu kontrolnego — czyli o niczym.

Stąd wniosek przeczący branżowej intuicji: po przekroczeniu pewnej częstotliwości więcej nadzoru daje mniej ochrony. Dokładanie punktów kontrolnych podnosi liczbę monitów i jednocześnie obniża wartość każdego z nich. System jest wtedy bezpieczniejszy w audycie i mniej chroniony w rzeczywistości.

Osad po stronie człowieka

Okno kontekstowe agenta ma znaną właściwość: w miarę zapełniania jakość przetwarzania spada. Nadzorca ma tę samą właściwość — czterdzieste zatwierdzenie tego dnia jest przetwarzane płycej niż pierwsze, bo uwaga też ma budżet i też się wyczerpuje. Osad zbiera się po obu stronach pętli.

Przeciwdziałanie

Nie polega na lepszym oknie tylko na mniejszej liczbie okien. Progi zamiast pytań przy każdej akcji, budżety zamiast zgody jednostkowej, eskalacja według ryzyka a nie według typu operacji, zgoda zarezerwowana dla akcji nieodwracalnych. Liczba monitów jest parametrem bezpieczeństwa, nie tylko wygody.

Uwaga terminologiczna

Termin polski wprowadzony na webflux.pl/. W literaturze anglojęzycznej zjawisko nie ma jeszcze ustalonej nazwy — bywa opisywane jako fatigue exploitation w taksonomiach zagrożeń albo potocznie jako glazed-over approvals. Zjawiska pokrewne, stronniczość automatyzacji i zmęczenie alertami, są opisane w literaturze o czynniku ludzkim.

Powiązane pojęcia

Awaria kompetencjiTryb awarii nadzoru w którym okno zgody mówi prawdę, odzywa się rzadko i zostaje przeczytane uważnie, a człowiek i tak nie potrafi odpowiedzieć — bo odpowiedź wymaga wiedzy której nie ma i nie powinien mieć. Nie naprawia jej ani lepsze okno, ani rzadsze.Nieodwracalność operacjiWłaściwość operacji której skutku nie da się wycofać po tym, jak stał się widoczny na zewnątrz systemu. Podstawowe kryterium decydujące o tym, które działania agenta wymagają zgody człowieka, a które wystarczy zalogować z możliwością cofnięcia.Ślad audytowy agentaRejestr działań agenta prowadzony poza jego zasięgiem, pozwalający odtworzyć co zostało wykonane, na czyją autoryzację i na jakiej podstawie. Ślad prowadzony przez samego agenta nie jest śladem audytowym — jest jego autobiografią.Rozdzielenie obowiązkówZasada kontroli wewnętrznej rozdzielająca autoryzację, wykonanie i zapis operacji między różne podmioty. Przeniesiona na agentów oznacza, że kto konfiguruje agenta, kto z nim pracuje i co prowadzi ślad audytowy nie mogą być tym samym.Stronniczość automatyzacjiSkłonność człowieka do przyjmowania rekomendacji systemu bez niezależnej weryfikacji, rosnąca wraz z jego wcześniejszą niezawodnością. Im rzadziej agent się myli, tym słabszy nadzór nad nim sprawuje operator — niezawodność jest jednocześnie czynnikiem ryzyka.Przeciążenie zgodąPokazanie kilku zatwierdzeń naraz albo jednego zbiorczego zamiast serii — tak że nie sposób przejrzeć żadnego z osobna. Zgoda zbiorcza o całą sekwencję ukrywa tę jedną akcję która jest groźna.Parytet informacjiWłasność punktu kontrolnego w której człowiek widzi w momencie decyzji dokładnie to co wie agent. Okno zgody chroni dokładnie tyle ile prawdy pokazuje — jeśli agent zna skutek którego nie wyświetla, pętla nadzoru jest rozerwana mimo że formalnie istnieje.Obcięty kontekst zgodySkrócenie opisu operacji w oknie zatwierdzania tak że informacja istotna dla decyzji nie mieści się w widoku — formalnie dostępna, praktycznie niewidoczna. Naruszenie parytetu informacji przez układ interfejsu, bez kłamstwa w treści.Zmęczenie alertamiSpadek reakcji na powiadomienia wywołany ich nadmiarem — użytkownik odrzuca ostrzeżenia odruchowo, łącznie z trafnymi. Wniosek z badań klinicznych: problemem nie była jakość ostrzeżeń tylko ich liczba. Agent generuje ich w godzinę tyle co system szpitalny w dobę.Człowiek w pętliModel nadzoru nad agentami AI w którym człowiek zatwierdza kluczowe decyzje przed ich wykonaniem — równowaga między autonomią agenta a kontrolą użytkownika nad jego działaniami.