Instrukcja w prompcie przesuwa prawdopodobieństwo. Bariera ochronna zatrzymuje. Różnica między jednym a drugim jest różnicą między nadzieją a zabezpieczeniem.
Czym są
Mechanizmy sprawdzające i blokujące, działające poza modelem — na wejściu, na wyjściu albo przed wykonaniem działania. Nie polegają na tym, że model zachowa się właściwie, tylko na tym, że kod sprawdzi, czy się zachował.
Trzy miejsca
Na wejściu: filtrowanie treści trafiającej do kontekstu, wykrywanie prób wstrzyknięcia instrukcji, ograniczanie tematyki.
Na wyjściu: sprawdzenie zgodności ze schematem, wykrycie danych wrażliwych, weryfikacja, czy odpowiedź opiera się na dostarczonym materiale.
Przed działaniem: walidacja argumentów wywołania, kontrola uprawnień, limity kwotowe i ilościowe. Ta warstwa jest najważniejsza, bo dotyczy jedynego miejsca, w którym coś realnie się dzieje.
Czego bariery nie są
Nie są instrukcją w prompcie. „Nie ujawniaj danych osobowych” umieszczone w prompcie systemowym nie jest barierą — jest życzeniem, które model może zignorować, źle zrozumieć albo dać się namówić na jego złamanie treścią pobraną z zewnątrz.
Nie są też jednorazowym zabezpieczeniem. Bariera oparta na modelu sama podlega tym samym ograniczeniom co model, który sprawdza.
Koszt i kompromis
Każda bariera to opóźnienie, a często dodatkowe wywołanie modelu. Zbyt ostre ustawienie blokuje przypadki poprawne i uczy użytkowników obchodzenia mechanizmu. Warto mierzyć nie tylko to, ile bariera zatrzymała, ale i ile zatrzymała niepotrzebnie.