Ruch maszynowy na stronie firmowej dzieli się dziś na trzy klasy o różnych celach: boty treningowe (zbierają treść do przyszłych wersji modeli), boty indeksująco-cytujące (budują bazy, z których AI odpowiada na bieżące pytania) i boty na żądanie (pobierają konkretną stronę, bo poprosił o to użytkownik w rozmowie). Zarządza się nimi trzema protokołami — robots.txt, IndexNow i llms.txt — z których każdy robi co innego, a mylenie ich ról to najczęstsze źródło samookaleczeń widoczności.
To druga gałąź huba AI Visibility. Poprzednia wyjaśniała, skąd AI czerpie wiedzę o firmach; ta schodzi piętro niżej — do bramek, przez które ta wiedza fizycznie przepływa. Bo zanim cokolwiek trafi do pamięci modelu albo do indeksu, jakiś bot musi wejść na stronę i ją pobrać. A czy wejdzie — o tym decyduje kilka wierszy konfiguracji, których większość właścicieli stron nigdy nie widziała na oczy.
Trzy klasy botów — i dlaczego to rozróżnienie jest najważniejsze na tej stronie
Klasa pierwsza: boty treningowe. GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (token kontrolujący użycie treści do trenowania Gemini) i podobne. Zbierają treść do zbiorów, na których będą uczone przyszłe wersje modeli. Efekt ich pracy zobaczysz — jeśli w ogóle — za wiele miesięcy, w „pamięci” nowej wersji AI, o której pisaliśmy w poprzedniej gałęzi. Zablokowanie ich to decyzja o treściach i wartościach (czy chcę karmić trening cudzych modeli), nie o bieżącej widoczności.
Klasa druga: boty indeksująco-cytujące. OAI-SearchBot (indeks wyszukiwania ChatGPT), Claude-SearchBot, PerplexityBot, no i klasycy: Googlebot i Bingbot, których indeksy — jak wiemy — karmią pół ekosystemu AI. To one decydują, czy Twoja strona może zostać znaleziona i zacytowana w odpowiedzi na dzisiejsze pytanie klienta. Zablokowanie ich to rezygnacja z bieżącej widoczności — zwykle nieświadoma.
Klasa trzecia: boty na żądanie. ChatGPT-User, Claude-User i odpowiedniki — uruchamiane, gdy konkretny użytkownik w rozmowie prosi o sprawdzenie konkretnej strony. Pojedyncze, doraźne odwiedziny. Zablokowanie ich oznacza, że asystent poproszony przez klienta o „sprawdź tę firmę” odpowie, że nie może — co bywa gorsze niż brak odpowiedzi.
Kluczowa konsekwencja: można — i często należy — traktować te klasy różnie. Decyzja „nie chcę karmić treningu” i decyzja „chcę być cytowany” są od siebie niezależne i wymagają osobnych wpisów w konfiguracji. Tymczasem gotowe szablony „blokady AI” krążące po internecie traktują wszystkie klasy jak jedną — i to jest mechanizm, którym firmy odcinają się od cytowań, próbując chronić treść. Pełną, praktyczną instrukcję z gotowym wzorem pliku i nazwami botów prowadzimy na blogu Studio iFOX — tu zostańmy przy mechanice.
Trzy protokoły — bramkarz, meldunek i wizytówka
robots.txt — bramkarz. Najstarszy protokół sieci, mówi botom, czego im nie wolno. Dwie rzeczy trzeba o nim rozumieć. Po pierwsze, działa per bot: każda klasa (a nawet każdy bot) może mieć własne reguły — i właśnie ta granularność pozwala rozdzielić trening od cytowań. Po drugie, to prośba, nie zamek: uczciwe boty go respektują, nieuczciwe nie muszą — więc chroni przed utratą widoczności (bo uczciwe boty naprawdę odejdą), ale nie chroni treści przed zdeterminowanym zbieraczem.
IndexNow — meldunek. Protokół odwrotny do bramkarza: zamiast czekać, aż crawler przyjdzie, strona sama melduje uczestniczącym wyszukiwarkom (Bing, Yandex, Seznam i inne) każdy nowy lub zmieniony adres. Dla widoczności w ekosystemie zbudowanym na indeksie Binga — czyli, jak się przekonaliśmy, sporej części narzędzi AI — to najtańsze pojedyncze usprawnienie: w WordPressie zwykle jeden przełącznik we wtyczce SEO.
llms.txt — wizytówka, bez mitologii. Plik-streszczenie strony dla modeli językowych: co to za firma, które podstrony są najważniejsze. Wokół niego narosła mitologia („wdrożysz i AI zacznie Cię polecać”), którą trzeba uczciwie przekłuć: Google zadeklarował wprost, że z niego nie korzysta, a analizy dużych prób domen nie wykazały związku między posiadaniem pliku a częstością cytowań. Realną, udokumentowaną wartość ma w dokumentacji technicznej (czytają go narzędzia deweloperskie); na stronie firmowej to tani element porządku i zakład o przyszłość standardu — nie dźwignia widoczności. Pełny rozbiór z instrukcją wdrożenia: na blogu Studio iFOX.
Zapamiętać warto proporcje: bramkarz jest krytyczny (źle ustawiony odcina wszystko), meldunek jest tani i realnie skuteczny, wizytówka jest opcjonalna. Odwrócona kolejność wysiłków — tygodnie na llms.txt przy dziurawym robots.txt — to wzorzec, który widujemy zbyt często, żeby go nie nazwać.
Czwarta bramka, o której nikt nie myśli: zapora
Jest jeszcze warstwa przed robots.txt, niewidoczna nawet dla wielu administratorów: zapory sieciowe, CDN-y i wtyczki bezpieczeństwa z regułami „anty-botowymi”. Część z nich domyślnie klasyfikuje ruch maszynowy jako zagrożenie — i blokuje boty cytujące na poziomie, do którego robots.txt w ogóle nie dochodzi. Objaw jest podstępny: konfiguracja wygląda poprawnie, plik wpuszcza właściwe boty, a strona i tak nie istnieje w indeksach — bo zapora odbija gości w progu, zanim zdążą przeczytać zaproszenie.
Diagnoza wymaga zajrzenia tam, gdzie widać prawdę, a nie deklaracje: do logów serwera. Jeśli bot, na którego czekasz, w ogóle nie pojawia się w logach — problem jest piętro wyżej niż robots.txt. Jeśli pojawia się i dostaje odpowiedzi z kodami błędów — znalazłeś swoją zaporę.
Dwie uczciwe komplikacje na koniec
Nazwy się zmieniają. Krajobraz botów przyrasta z każdym większym wdrożeniem funkcji AI — nowe nazwy, nowe rozdzielenia starych botów na klasy. Każdą konfigurację per nazwa trzeba więc traktować jak żywy dokument z terminem przeglądu, a przed zmianami sprawdzać aktualne dokumentacje dostawców, nie poradniki sprzed roku (w tym nasze — dlatego wersję z konkretnymi nazwami trzymamy na blogu studio, gdzie łatwiej ją aktualizować, a tu mechanikę, która się nie starzeje).
Deklaracja to nie dowód. Nazwa bota w logach to tekst, który może wpisać każdy. Uczciwi dostawcy publikują listy adresów IP swoich botów do weryfikacji; niezależne analizy ruchu wykazywały przypadki crawlerów omijających reguły przez zmianę identyfikacji. Wniosek praktyczny dwustronny: wpuszczając — kluczowe boty warto weryfikować po IP, nie tylko po nazwie; blokując — robots.txt traktować jako pierwszą linię, nie jedyną.
Co dalej
Bramki otwarte, meldunek działa, boty wchodzą i pobierają. Ale pobrać to nie znaczy zrozumieć, a zrozumieć to nie znaczy zacytować. Następna gałąź huba wchodzi w serce tematu: jak AI wybiera, kogo poleca — i dlaczego dwie strony o identycznej dostępności technicznej miewają skrajnie różną obecność w odpowiedziach.
