walidacja argumentów

Sprawdzenie argumentów zaproponowanych przez model przed wykonaniem narzędzia: format, istnienie wskazanego zasobu oraz uprawnienia i limity. Odbywa się w pętli, poza modelem, i jest jedynym punktem, w którym da się zatrzymać wywołanie przed skutkiem. Prompt tego nie zastąpi, bo instrukcja podlega perswazji, a kod nie.

W Polsce nazywane też:

sprawdzenie argumentówkontrola wywołaniawalidacja wywołania narzędzia

Prośba o wywołanie narzędzia to tekst wygenerowany przez model. Nie jest poleceniem — jest danymi wejściowymi. Walidacja argumentów to miejsce, w którym pętla traktuje je zgodnie z tym, czym naprawdę są.

Czym jest walidacja argumentów

Sprawdzenie, przed wykonaniem, czy argumenty zaproponowane przez model są poprawne, dopuszczalne i mieszczą się w granicach uprawnień. Odbywa się w całości w pętli, poza modelem, i jest jedynym punktem, w którym da się zatrzymać wywołanie, zanim wywoła skutek.

Trzy poziomy sprawdzenia

Format: czy typy się zgadzają, czy wymagane pola są obecne, czy wartości mają dopuszczalny kształt. To wyłapuje halucynację strukturalną — zmyślone pole, nieistniejący parametr, wartość w złym formacie.

Istnienie: czy wskazany zasób naprawdę istnieje. Numer zamówienia wygenerowany przez model wygląda tak samo wiarygodnie jak prawdziwy — sprawdzenie w źródle prawdy jest najskuteczniejszym pojedynczym zabezpieczeniem przed halucynacją.

Uprawnienia i granice: czy ten agent, w tym kontekście, ma prawo wykonać tę operację na tym zasobie, i czy mieści się ona w limitach — kwotowych, ilościowych, czasowych.

Dlaczego prompt tego nie zastąpi

Instrukcja w prompcie przesuwa rozkład prawdopodobieństwa, ale niczego nie gwarantuje. Model może zignorować zasadę, może ją źle zrozumieć, może zostać do jej złamania nakłoniony treścią pobraną z zewnątrz. Walidacja w kodzie nie podlega perswazji.

Co zrobić z odrzuconym wywołaniem

Najlepszą reakcją jest zwrócenie modelowi konkretnego komunikatu: co zostało odrzucone i dlaczego. Model potrafi wtedy poprawić argumenty albo wybrać inną drogę. Ciche odrzucenie prowadzi zwykle do zapętlenia, bo z perspektywy modelu nic się nie zmieniło.

zapętlenie agentaSytuacja, w której agent wykonuje kolejne obroty pętli bez zbliżania się do zakończenia zadania — powtarza to samo wywołanie, oscyluje między dwoma narzędziami albo minimalnie zmienia argumenty. Wynika z braku pamięci modelu między wywołaniami i z narzędzi zwracających pustkę bez wyjaśnienia.definicja narzędziaOpis narzędzia przekazywany modelowi: nazwa, opis słowny, schemat parametrów i pola wymagane. To jedyne, co model o narzędziu wie — więc opis jest promptem i decyduje o trafności wyboru. Trafia do kontekstu przy każdym obrocie pętli, więc jest też stałą pozycją w rachunku.skutek ubocznyTrwała zmiana stanu poza agentem — wysłany mail, zapis w bazie, płatność, usunięcie danych. Podział narzędzi na odczytujące i wywołujące skutki uboczne jest podstawą wszystkich zabezpieczeń pętli, bo model tego rozróżnienia nie widzi. Występuje w trzech stopniach: odwracalny, odwracalny kosztownie i nieodwracalny.Pośrednie wstrzyknięcie instrukcjiWariant prompt injection w którym złośliwe instrukcje są ukryte w zewnętrznych danych które agent przetwarza w ramach zadania — stronach, mailach, dokumentach, bazach danych — nie w bezpośredniej komunikacji z użytkownikiem. Szczególnie groźny bo agent nie może odróżnić złośliwej instrukcji od legitymowanej treści, a atak jest trudny do wykrycia.Uprawnienia agentaZestaw zdefiniowanych możliwości i ograniczeń agenta AI na danej stronie — co może zrobić (czytać, kupować, rezerwować) a czego nie może bez dodatkowej autoryzacji użytkownika.