cache semantyczny

Pamięć podręczna, w której kluczem jest znaczenie zapytania, nie jego dokładna treść — podobne pytanie zwraca zapisaną odpowiedź bez wywołania modelu. To co innego niż cache promptu, który działa wewnątrz modelu. Główne ryzyko to zbyt luźny próg podobieństwa i wyciek odpowiedzi między kontekstami uprawnień.

W Polsce nazywane też:

pamięć podręczna znaczeniowabuforowanie odpowiedzi

Jeśli stu użytkowników zadaje to samo pytanie innymi słowami, model liczy stu odpowiedzi. Cache semantyczny próbuje policzyć jedną.

Czym jest

Pamięć podręczna, w której kluczem nie jest dokładna treść zapytania, lecz jego znaczenie. Pytanie jest zamieniane na wektor i porównywane z wektorami pytań już obsłużonych. Jeśli podobieństwo przekracza próg, zwracana jest zapisana odpowiedź, bez wywoływania modelu.

Czym różni się od cache promptu

To dwa zupełnie różne mechanizmy, często mylone. Cache promptu działa wewnątrz modelu i zmniejsza koszt przetworzenia powtarzalnego początku sekwencji — odpowiedź nadal jest generowana. Cache semantyczny działa przed modelem i sprawia, że odpowiedź nie jest generowana wcale.

Ryzyko, które trzeba rozumieć

Próg podobieństwa decyduje o wszystkim. Ustawiony zbyt luźno, zwraca odpowiedź na pytanie podobne, ale nie to samo — a użytkownik nie ma jak tego zauważyć, bo odpowiedź brzmi sensownie. To ten sam problem, który sprawia, że wyszukiwanie semantyczne myli zdanie z jego zaprzeczeniem.

Szczególnie niebezpieczne są pytania różniące się jednym szczegółem: liczbą, datą, nazwą wariantu produktu. W przestrzeni znaczeń leżą blisko siebie, a odpowiedzi mają zupełnie inne.

Kiedy stosować

Sprawdza się przy powtarzalnych pytaniach o rzeczy niezmienne — bazy wiedzy, dokumentacja, często zadawane pytania. Nie nadaje się tam, gdzie odpowiedź zależy od użytkownika, od stanu systemu albo od czasu.

Warto trzymać cache osobno dla każdego użytkownika lub kontekstu uprawnień, inaczej mechanizm staje się drogą wycieku danych między kontami.

Powiązane pojęcia

pamięć podręczna klucz-wartośćPamięć podręczna przechowująca pośrednie reprezentacje dotychczasowych tokenów, dzięki której generowanie kolejnego tokenu nie wymaga przeliczania całej sekwencji. Rośnie liniowo z długością kontekstu i liczbą sesji — to główny konsument pamięci przy inference. Podstawa mechanizmu cache promptu.Opóźnienie agentoweŁączny czas od zlecenia zadania agentowi do dostarczenia wyników — suma wywołań modelu, narzędzi, retrieval i orchestration overhead. Kluczowa metryka dla interaktywnych zastosowań wymagająca decyzji: równoległe wywołania, cachowanie, dobór modelu, sync vs async.Koszt tokenówKoszt operacji modelu językowego mierzony w tokenach — funkcja rozmiaru kontekstu, długości outputu i ceny modelu. Kluczowa metryka projektowa dla agentów w skali. Context window bloat jako główny winowajca wysokich kosztów. Model routing i prompt caching jako strategie optymalizacji.Osadzenie wektoroweNumeryczna reprezentacja tekstu w wielowymiarowej przestrzeni wektorowej, gdzie podobne znaczeniowo obiekty mają bliskie wektory — fundament wyszukiwania semantycznego i RAG. Termin obejmuje dwie różne rzeczy: wiersz macierzy embeddingów wskazywany numerem tokenu wewnątrz modelu językowego oraz wektor całego tekstu zwracany przez osobny model embeddingowy.Generowanie wspomagane wyszukiwaniemArchitektura systemu AI łącząca model językowy z zewnętrzną bazą wiedzy — model otrzymuje w czasie rzeczywistym fragmenty dokumentów odnalezione przez wyszukiwanie semantyczne i generuje odpowiedź na podstawie aktualnej, specyficznej dla kontekstu wiedzy zamiast polegać wyłącznie na danych treningowych.