Parytet informacji

Własność punktu kontrolnego w której człowiek widzi w momencie decyzji dokładnie to co wie agent. Okno zgody chroni dokładnie tyle ile prawdy pokazuje — jeśli agent zna skutek którego nie wyświetla, pętla nadzoru jest rozerwana mimo że formalnie istnieje.

W Polsce nazywane też:

symetria informacjiokno zgody które nie kłamiepokazywanie skutku zamiast intencji

Punkt kontrolny w agencie wygląda na proste zabezpieczenie: zanim wykona nieodwracalną akcję, pokazuje okno i czeka na zgodę. Problem w tym że okno pokazuje tyle ile zaprogramowano żeby pokazywało — a domyślnie pokazuje mniej niż wie agent.

Parytet informacji to własność którą projektujesz zamiast zakładać.

Czym jest parytet informacji

Własność punktu kontrolnego w której człowiek widzi w momencie decyzji dokładnie to co wie agent — warunek konieczny żeby zgoda niosła jakąkolwiek ochronę, a nie tylko formalne potwierdzenie.

Jak parytet zostaje naruszony

Okno pokazuje intencję zamiast skutku: wyświetla o co poproszono zamiast tego co faktycznie się wydarzy. Intencja i skutek zwykle się pokrywają — i dlatego gdy się rozjadą, nikt tego nie wychwytuje.

Ścieżka nie jest rozwiązana przed wyświetleniem: pokazujesz etykietę zanim skanonikalizujesz cel, więc dowiązania symboliczne i odwołania względne prowadzą gdzie indziej niż sugeruje nazwa.

Zgoda jest zbiorcza: dziesięć operacji streszczonych jako jedna czynność ukrywa tę jedną która wysyła dane na zewnątrz.

Argumenty nie są pokazane: nazwa narzędzia bez adresata i treści, zapytanie do bazy bez pokazania że jest destrukcyjne.

Praktyczna zasada

W oknie zgody ma być rozwiązany konkretny skutek operacji, nie jej nazwa ani intencja. Rozwiązanie ścieżek, pełne argumenty i rozwinięte zapytania muszą nastąpić przed renderowaniem okna, nie po kliknięciu. Akcje wychodzące poza oczekiwany obszar mają wyglądać inaczej niż rutynowe. Sama akcja wykonuje się dopiero po zgodzie — inaczej okno nie jest bramą tylko przyciskiem cofania.

Warunek konieczny, ale niewystarczający

Zachowany parytet informacji nie gwarantuje że nadzór działa. Człowiek który widzi wszystko co trzeba, ale ogląda to samo okno czterdziesty raz tego dnia, i tak zatwierdzi bez czytania. To jest osobny tryb awarii, opisany jako zeszklone zatwierdzanie. Parytet odpowiada za to żeby informacja była dostępna. Częstotliwość odpowiada za to żeby ktoś na nią spojrzał.

Uwaga terminologiczna

Termin wprowadzony na webflux.pl/ przy okazji analizy podatności GhostApproval. Opisuje własność którą literatura o bezpieczeństwie agentów zakłada milcząco, ale rzadko nazywa wprost.

Powiązane pojęcia

Awaria kompetencjiTryb awarii nadzoru w którym okno zgody mówi prawdę, odzywa się rzadko i zostaje przeczytane uważnie, a człowiek i tak nie potrafi odpowiedzieć — bo odpowiedź wymaga wiedzy której nie ma i nie powinien mieć. Nie naprawia jej ani lepsze okno, ani rzadsze.Ślad audytowy agentaRejestr działań agenta prowadzony poza jego zasięgiem, pozwalający odtworzyć co zostało wykonane, na czyją autoryzację i na jakiej podstawie. Ślad prowadzony przez samego agenta nie jest śladem audytowym — jest jego autobiografią.Obcięty kontekst zgodySkrócenie opisu operacji w oknie zatwierdzania tak że informacja istotna dla decyzji nie mieści się w widoku — formalnie dostępna, praktycznie niewidoczna. Naruszenie parytetu informacji przez układ interfejsu, bez kłamstwa w treści.Przeciążenie zgodąPokazanie kilku zatwierdzeń naraz albo jednego zbiorczego zamiast serii — tak że nie sposób przejrzeć żadnego z osobna. Zgoda zbiorcza o całą sekwencję ukrywa tę jedną akcję która jest groźna.Zeszklone zatwierdzanieOdruchowe akceptowanie próśb agenta o zgodę bez czytania ich treści. Okno pokazuje prawdę, człowiek i tak klika "akceptuj" — bo robił to dziś czterdzieści razy i za każdym razem było w porządku. Lekarstwem nie jest lepsze okno tylko mniejsza liczba okien.Wstrzyknięcie uprawnieńAtak w którym złośliwe instrukcje wstrzyknięte w treść przetwarzaną przez agenta nakłaniają go do żądania lub samodzielnego przyznania sobie dodatkowych uprawnień wykraczających poza te zdefiniowane przez operatora. Kombinacja indirect prompt injection z privilege escalation — bardziej destrukcyjna niż zwykły prompt injection bo atakuje same granice działania agenta.Wstrzyknięcie instrukcjiAtak na system agentowy polegający na wstrzyknięciu złośliwych instrukcji w treść którą agent przetwarza — maile, dokumenty, strony internetowe — tak że agent wykonuje działania inne niż zamierzył użytkownik. Fundamentalna klasa zagrożeń wynikająca z tego że modele językowe nie odróżniają inherentnie "treści do przeczytania" od "instrukcji do wykonania".Człowiek w pętliModel nadzoru nad agentami AI w którym człowiek zatwierdza kluczowe decyzje przed ich wykonaniem — równowaga między autonomią agenta a kontrolą użytkownika nad jego działaniami.