Twój kod jest ten sam. Twój prompt jest ten sam. Twój golden set z zeszłego tygodnia przeszedł. A agent nagle gorzej radzi sobie z pewną klasą pytań. To silent regression.
Czym jest silent regression
Silent regression — cicha regresja — to niewidoczna degradacja jakości agenta spowodowana zmianą po stronie providera modelu, bez powiadomienia. Model pod spodem zostaje zaktualizowany, jego zachowanie subtelnie się zmienia, a system prompt, który działał z poprzednią wersją, zachowuje się inaczej z następną.
Dlaczego jest groźna
W przeciwieństwie do zwykłej regresji, cichej regresji nie wywołuje żadna Twoja zmiana. Nie ma jej w historii commitów, nie złapie jej ewaluacja przed deploymentem — bo niczego nie wdrażasz. Pojawia się sama, między jedną wersją modelu a drugą, i bez monitoringu produkcyjnego dowiadujesz się o niej z reklamacji, nie z dashboardu.
Jak ją łapać
Cichą regresję wykrywa się tylko przez observability po deploymencie — ciągły monitoring jakości na żywym ruchu. Wczesne sygnały to skok liczby kroków na zadanie albo latencji (model „myśli” inaczej), zanim jeszcze spadnie mierzony score. To główny powód, dla którego sama ewaluacja przed wdrożeniem nie wystarcza.