Piszesz sześć słów. Do modelu idzie kilka tysięcy tokenów. Największą pojedynczą częścią tej różnicy jest instrukcja, której nigdy nie widziałeś.
Czym jest instrukcja systemowa produktu
Instrukcja systemowa produktu to blok tekstu dopisywany na początku kontekstu przez gotowe narzędzie czatowe: opis roli, jaką model ma przyjąć, zasady formatowania, ograniczenia tematyczne, sposób postępowania w sytuacjach spornych i zwykle opisy dostępnych narzędzi. Jest częścią produktu, nie modelu.
Czym różni się od promptu systemowego
Prompt systemowy piszesz sam, budując agenta — wiesz, co w nim jest, wersjonujesz go i możesz go zmienić. Instrukcja systemowa produktu jest napisana przez producenta, aktualizowana bez ogłoszeń i w większości produktów niepokazywana.
Mechanizm jest identyczny. Różni je wyłącznie to, kto ma nad nią kontrolę.
Co przez nią przypisujemy modelowi niesłusznie
Odmowa odpowiedzi, której ten sam model przez API by udzielił. Charakterystyczny styl i długość odpowiedzi. Nawyk dopytywania albo jego brak. Sposób formatowania. Decyzja o sięgnięciu po wyszukiwarkę.
Żadna z tych rzeczy nie jest własnością wag.
Jak to sprawdzić
Zadaj to samo pytanie w oknie czatu i przez API, bez własnej instrukcji systemowej. Różnica w odpowiedzi to z grubsza to, co dokłada produkt.
Dlaczego to nie jest ukrywanie
To jest produkt — to samo robi przeglądarka, wstawiając między wpisanie adresu a wyświetloną stronę cały stos, którego nikt nie pokazuje. Problem nie polega na istnieniu tej warstwy, tylko na tym, że większość użytkowników nie wie, że ona jest, i przypisuje modelowi cudze zachowania.
