W 1994 Martijn Koster stworzył robots.txt — sposób żeby powiedzieć botom czego nie robić na stronie. Mechanizm oparty na zaufaniu: bot deklaruje kim jest w nagłówku user-agent, właściciel strony wierzy tej deklaracji i konfiguruje robots.txt odpowiednio. Przez trzydzieści lat to wystarczało dlatego że boty które nie respektowały robots.txt były wyjątkiem, nie regułą.
Potem kilka rzeczy wydarzyło się naraz. Perplexity podało agenta Comet jako zwykłą przeglądarkę Chrome żeby ominąć blokady. OpenAI usunęło ze swojej dokumentacji deklarację o respektowaniu robots.txt dla ruchu inicjowanego przez użytkowników — zajmując stanowisko że agent działający na polecenie człowieka jest jak przeglądarka, nie jak crawler. Duke University odkryło że znaczna część AI crawlerów w ogóle nie pobiera robots.txt przed crawlowaniem.
Zaufanie do deklaracji się skończyło. Cloudflare zaproponowało kryptografię.
Czym jest Web Bot Auth
Web Bot Auth to protokół weryfikacji tożsamości botów i agentów AI zaproponowany przez Cloudflare w maju 2025, przechodzący standaryzację w IETF — agent podpisuje swoje żądania HTTP kluczem prywatnym, serwer weryfikuje podpis używając publicznego klucza agenta. Podpis oparty jest na HTTP Message Signatures (RFC 9421) — istniejącym standardzie IETF, nie nowym wynalazku.
Jak to działa technicznie
Agent posiada parę kluczy: prywatny (tajny, tylko u agenta) i publiczny (dostępny publicznie pod przewidywalnym adresem). Przy każdym żądaniu HTTP agent podpisuje wybrane nagłówki prywatnym kluczem i dołącza podpis do żądania. Serwer — lub CDN jak Cloudflare, Akamai czy AWS WAF — pobiera publiczny klucz z opublikowanego adresu i weryfikuje podpis kryptograficznie.
Dla Google-Agent publiczny klucz jest dostępny pod https://agent.bot.goog. Każdy serwer może teraz zweryfikować czy żądanie rzeczywiście pochodzi od Google, nie od kogoś kto tylko podał się za Google w nagłówku user-agent.
Fałszowanie jest kryptograficznie niemożliwe — bez klucza prywatnego nie ma prawidłowego podpisu.
Kto adoptuje
Google eksperymentuje z Web Bot Auth dla Google-Agent — ogłoszono 20 marca 2026. Cloudflare, Akamai, AWS WAF i Vercel mają implementacje. Visa TAP i Mastercard Agent Pay używają Web Bot Auth jako fundamentu weryfikacji tożsamości przy transakcjach agentowych. IETF formalnie powołało WebBotAuth Working Group co-chaired przez Davida Schinaziemi i Rifaata Shekh-Yusefa — standardyzacja jest zaplanowana, nie spekulatywna.
Cloudflare CEO Matthew Prince w marcu 2026 przewidział że ruch botów przekroczy ruch ludzki do 2027. Ruch AI botów na sieci Cloudflare przekracza już 10 miliardów żądań tygodniowo.
Od „proszę” do „dowód”
robots.txt to „proszę nie wchodź”. Web Bot Auth to „udowodnij kim jesteś zanim wejdziesz”. To fundamentalna zmiana w logice kontroli dostępu.
Strona która dziś musi wybierać między blokowaniem wszystkich botów a wpuszczaniem wszystkich — będzie mogła powiedzieć „wpuść tylko tych którzy mogą kryptograficznie udowodnić tożsamość”. To jest fundament pod którym TollBit, Skyfire i podobne serwisy budują monetyzację dostępu do treści dla agentów.
Web Bot Auth a agent-readiness
Dla właściciela strony dziś: nie musisz nic wdrażać. Ale warto zacząć monitorować nagłówek Signature-Agent w logach serwera. Serwisy które to robią dziś będą gotowe gdy Web Bot Auth stanie się standardem CDN-ów — co według Cloudflare ma nastąpić w perspektywie 12 miesięcy od marca 2026.