skutek uboczny

Trwała zmiana stanu poza agentem — wysłany mail, zapis w bazie, płatność, usunięcie danych. Podział narzędzi na odczytujące i wywołujące skutki uboczne jest podstawą wszystkich zabezpieczeń pętli, bo model tego rozróżnienia nie widzi. Występuje w trzech stopniach: odwracalny, odwracalny kosztownie i nieodwracalny.

W Polsce nazywane też:

efekt ubocznyoperacja zapisunarzędzie modyfikującedziałanie w świecie

Podział narzędzi na te, które czytają, i te, które zmieniają świat, jest najważniejszym podziałem w całej architekturze agenta. Wszystkie zabezpieczenia zaczynają się od niego.

Czym jest skutek uboczny

Skutek uboczny to trwała zmiana stanu poza agentem: wysłany mail, zapis w bazie, obciążenie karty, utworzone zamówienie, usunięty plik, opublikowana treść. Narzędzie odczytujące zwraca informację i nie zostawia śladu. Narzędzie ze skutkiem ubocznym zostawia ślad, który istnieje niezależnie od tego, czy przebieg agenta się powiódł.

Dlaczego rozdzielenie jest konieczne

Model nie odróżnia jednego od drugiego — dla niego oba są prośbą o wywołanie funkcji, złożoną z nazwy i argumentów. Rozróżnienie musi istnieć w pętli i pociąga za sobą inne traktowanie: inne uprawnienia, inną walidację, inne reguły ponawiania, inne wymagania wobec zgody użytkownika i inne podejście do zrównoleglania.

Trzy stopnie

Odwracalny: zapis, który da się cofnąć, na przykład zmiana statusu w wewnętrznym systemie.

Odwracalny kosztownie: operacja, którą technicznie da się wycofać, ale która zdążyła wywołać skutki u innych — na przykład opublikowana i zauważona treść.

Nieodwracalny: wysłany mail, wykonany przelew, trwale usunięte dane. Tu jedynym zabezpieczeniem jest niedopuszczenie do wykonania.

Praktyka

Narzędzia warto oznaczać w kodzie w sposób jawny — deklarowanie, czy narzędzie ma skutki uboczne i jakiego stopnia, pozwala pętli podejmować decyzje automatycznie, zamiast polegać na tym, że ktoś pamiętał o dodatkowym sprawdzeniu przy każdym nowym narzędziu.

Powiązane pojęcia

idempotencjaWłaściwość operacji, której wielokrotne wykonanie z tymi samymi argumentami daje ten sam skutek co jednokrotne. Przy agentach kluczowa, bo powtórzenie jest regułą — wynika z ponowień, zapętlenia, równoległych wywołań i wznowień. Realizowana kluczem idempotencji, sprawdzeniem stanu przed działaniem lub rozdzieleniem przygotowania od zatwierdzenia.walidacja argumentówSprawdzenie argumentów zaproponowanych przez model przed wykonaniem narzędzia: format, istnienie wskazanego zasobu oraz uprawnienia i limity. Odbywa się w pętli, poza modelem, i jest jedynym punktem, w którym da się zatrzymać wywołanie przed skutkiem. Prompt tego nie zastąpi, bo instrukcja podlega perswazji, a kod nie.Nieodwracalność operacjiWłaściwość operacji której skutku nie da się wycofać po tym, jak stał się widoczny na zewnątrz systemu. Podstawowe kryterium decydujące o tym, które działania agenta wymagają zgody człowieka, a które wystarczy zalogować z możliwością cofnięcia.Uprawnienia agentaZestaw zdefiniowanych możliwości i ograniczeń agenta AI na danej stronie — co może zrobić (czytać, kupować, rezerwować) a czego nie może bez dodatkowej autoryzacji użytkownika.Człowiek w pętliModel nadzoru nad agentami AI w którym człowiek zatwierdza kluczowe decyzje przed ich wykonaniem — równowaga między autonomią agenta a kontrolą użytkownika nad jego działaniami.