Wyszukiwanie wektorowe jest szybkie i przybliżone. Reranking bierze jego wynik i pyta dokładniej — a różnica w jakości bywa większa niż przy zmianie modelu embeddingowego.
Dlaczego dwa etapy
Model embeddingowy koduje pytanie i dokument osobno, a potem porównuje odległość wektorów. Jest szybki, bo wektory dokumentów da się policzyć raz i przechowywać. Płaci się za to precyzją: reprezentacja dokumentu powstała, zanim padło pytanie, więc nie może uwzględniać jego niuansów.
Reranker działa inaczej. Dostaje parę pytanie–dokument naraz i ocenia dopasowanie, widząc oba teksty jednocześnie. To znacznie dokładniejsze i znacznie wolniejsze — dlatego nie da się tego zrobić dla całej bazy.
Jak wygląda to w praktyce
Etap pierwszy pobiera z bazy kilkadziesiąt kandydatów metodą szybką. Etap drugi przepuszcza tę krótką listę przez reranker i zwraca kilka najlepszych. Do kontekstu modelu trafia dopiero wynik drugiego etapu.
Co to naprawia
Reranking radzi sobie z problemami, o które rozbija się samo wyszukiwanie wektorowe: rozróżnia zdanie od jego zaprzeczenia, wyłapuje niuanse, których uśredniona reprezentacja akapitu nie zachowała, i lepiej ocenia, czy dokument faktycznie odpowiada na pytanie, a nie tylko dotyczy tego samego tematu.
Koszt
Dodatkowe opóźnienie i dodatkowe wywołanie modelu na każde zapytanie. W zamian można pobierać mniej fragmentów do kontekstu, bo są trafniejsze — co przy agencie wykonującym wiele kroków bywa oszczędnością netto.