Google crawluje twój serwis. Indeksuje treść. Wyświetla ją w wynikach wyszukiwania. Użytkownicy klikają, trafiają na twoją stronę. To jest umowa która leżała u podstaw SEO przez trzydzieści lat: oddajesz dostęp do treści, dostajesz ruch.
Perplexity crawluje twój serwis. Indeksuje treść. Wbudowuje ją w odpowiedź na pytanie użytkownika razem z dziesiątkami innych źródeł. Użytkownik dostaje odpowiedź. Nie klika w twój link. Na twoją stronę nie trafia. Ruch z Perplexity dla większości serwisów contentowych zbliża się do zera.
Ta umowa się zepsuła. I ekosystem szuka nowej.
Czym jest pay-per-crawl
Pay-per-crawl to model monetyzacji dostępu do treści dla agentów AI i crawlerów — właściciel serwisu definiuje cenę za dostęp do strony lub jej fragmentów, agent lub platforma AI płaci za każde crawlowanie lub zapytanie, treść jest licencjonowana a nie bezpłatnie pobierana. Alternatywa dla modelu „crawl za darmo, ruch w zamian” który przestał działać w erze AI Overviews i generatywnych odpowiedzi.
Jak to działa technicznie
Web Bot Auth i ANS tworzą infrastrukturę weryfikacji tożsamości agenta. Pay-per-crawl buduje na tej infrastrukturze warstwę rozliczeniową. Zweryfikowany agent który chce dostęp do treści za paywallem — nie paywall dla człowieka z formularzem subskrypcji, ale paywall dla maszyny z API — wysyła żądanie z potwierdzeniem że ma środki i autoryzację do zapłaty. Serwer odbiera płatność przez protokół micropayments (AP2, Skyfire, Visa TAP) i serwuje treść.
TollBit — startup który pozyskał 17 milionów dolarów w 2025 roku — buduje infrastrukturę pay-per-crawl jako usługę: właściciel serwisu podłącza TollBit, definiuje ceny, TollBit obsługuje negocjację i rozliczenia z agentami. Publisher nie musi implementować protokołów płatniczych samodzielnie.
Kto już stosuje
The New York Times w sierpniu 2025 ogłosił że testuje pay-per-crawl dla AI crawlerów przez TollBit. Condé Nast, Reuters i Associated Press poszły podobną drogą — nie blokując AI, ale żądając licencjonowania. Różnica między „zablokuj AI” a „wyceniaj dostęp dla AI” jest fundamentalna dla modelu biznesowego publishera.
Cloudflare ogłosiło narzędzia dla właścicieli stron do monitorowania i monetyzacji ruchu AI w lipcu 2025 — de facto endorsing pay-per-crawl jako kierunek dla całego ekosystemu.
Pay-per-crawl a małe serwisy
New York Times ma dział prawny który może wynegocjować umowę licencyjną z OpenAI. Właściciel bloga o WordPress nie ma. Dla małych serwisów pay-per-crawl musi być zautomatyzowany i zero-friction — stąd znaczenie TollBit i podobnych platform jako pośredników.
Ale jest pytanie które rynek jeszcze nie rozstrzygnął: ile jest warta jedna strona z artykułem dla agenta który wbuduje ją w odpowiedź dla setki użytkowników? Model cenowy pay-per-crawl jest wciąż w fazie eksperymentu. Stawki różnią się o rzędy wielkości między różnymi publisherami i platformami.
Relacja z robots.txt i Web Bot Auth
Pay-per-crawl nie zastępuje robots.txt — uzupełnia go. robots.txt mówi „nie wchodź”. Pay-per-crawl mówi „wejdź, ale zapłać”. Web Bot Auth zapewnia że agent który twierdzi że zapłaci, rzeczywiście jest tym za kogo się podaje i ma autoryzację do zapłaty.
Trzy mechanizmy razem tworzą kompletny system kontroli dostępu dla agentów: tożsamość (Web Bot Auth/ANS), uprawnienia (robots.txt/Content Signals), rozliczenie (pay-per-crawl/TollBit/AP2).