Dlaczego modele językowe polecają jedne firmy, a innych nie widzą?
Firma, która chce się pojawiać w odpowiedziach modeli językowych, zwykle zaczyna od treści. Wcześniej jest jednak pytanie techniczne: który robot ma dostęp do serwisu. Dostawcy prowadzą co najmniej trzy osobne roboty o rozłącznych zadaniach, a blokada jednego z nich daje inny skutek niż blokada drugiego.
Trzy roboty, trzy różne konsekwencje
Każdy z dużych dostawców rozdziela zbieranie treści na osobne procesy opisane w publicznej dokumentacji, choć każdy nazywa je inaczej.
Pierwszy typ zbiera materiał do trenowania modelu. GPTBot pobiera treści mogące posłużyć do trenowania bazowych modeli generatywnych OpenAI. U Anthropic odpowiada mu ClaudeBot, zbierający materiał, który, jak opisuje dokumentacja, może potencjalnie przyczynić się do trenowania. Google nie ma osobnego robota trenującego, ma za to nazwę Google-Extended, za pomocą której wydawca decyduje, czy pobrana przez Google treść zostanie do tego użyta.
Drugi typ buduje indeks pod wyszukiwanie wewnątrz produktu. OAI-SearchBot służy do szukania i odpowiada za pokazywanie stron w wynikach funkcji wyszukiwania ChatGPT. Claude-SearchBot przegląda sieć, żeby poprawić użytkownikom jakość wyników. PerplexityBot ma pokazywać strony w wynikach tej usługi i podawać do nich odnośniki, a dokumentacja zastrzega osobno, że nie służy do pobierania treści na potrzeby podstawowych modeli AI.
Trzeci typ wchodzi na stronę dopiero wtedy, gdy ktoś zada pytanie. OpenAI nazywa go ChatGPT-User i opisuje tak, że gdy użytkownik zadaje pytanie ChatGPT albo GPT-owi niestandardowemu, robot może wejść na stronę internetową. U Anthropic to Claude-User, u Perplexity Perplexity-User, który może odwiedzić stronę, żeby pomóc w udzieleniu trafnej odpowiedzi, i podać do tej strony odnośnik.
Co z tego wynika dla pliku robots.txt
Konsekwencja jest odwrotna, niż wynikałoby z samej nazwy robota. Zablokowanie robota trenującego nie usuwa serwisu z odpowiedzi, bo treść trafia do nich przez robota wyszukującego albo przez tego, który wchodzi na stronę w momencie zapytania. Zablokowanie robota wyszukującego usuwa serwis z odpowiedzi i zostawia model przy tym, co zapamiętał z treningu.
Od tego podziału jest wyjątek i dotyczy Google. Google-Extended nie steruje wyłącznie treningiem. Dokumentacja wylicza cztery zastosowania naraz: trenowanie przyszłych generacji modeli Gemini, które napędzają aplikacje Gemini oraz interfejs Vertex AI API for Gemini, a także osadzanie odpowiedzi w aplikacjach Gemini i w usłudze Grounding with Google Search na platformie Vertex AI, która opiera odpowiedź o wyniki Google. Osadzanie, po angielsku grounding, to opieranie generowanej odpowiedzi na konkretnym materiale. Zablokowanie Google-Extended odcina obie ścieżki naraz.
Dokumentacja mówi przy tym wprost, że Google-Extended nie wpływa na obecność strony w wyszukiwarce Google ani nie jest w niej sygnałem rankingowym. Decyzja o udostępnieniu treści modelom jest więc oddzielona od pozycji w klasycznej wyszukiwarce.
Ta sama strona wymienia jeszcze kilka nazw, które bywają mylone przy pisaniu reguł: GoogleOther, GoogleOther-Image, GoogleOther-Video oraz Google-CloudVertexBot. Reguła napisana na skróty, przez dopasowanie fragmentu nazwy, potrafi objąć więcej, niż autor zamierzał.
Praktyczny wniosek z tego podziału jest taki, że wydawca nie stoi przed wyborem zero-jedynkowym. Skoro trening, indeks wyszukiwania i pobranie strony w reakcji na pytanie mają w dokumentacji osobne nazwy, to da się je konfigurować niezależnie: zablokować robota trenującego, zostawiając otwarte te dwa, które odpowiadają za obecność w odpowiedziach. Wyjątkiem pozostaje Google, gdzie jedna nazwa steruje treningiem i osadzaniem naraz, więc tam wybór jest rzeczywiście binarny i trzeba go podjąć świadomie.
Jak to sprawdzić u siebie
Otwórz plik robots.txt i poszukaj nazw GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User oraz Google-Extended. Zdarza się, że ktoś kiedyś wkleił gotową listę blokad „przed AI” i zablokował przy okazji roboty odpowiadające za wyszukiwanie.
Drugie sprawdzenie zrobisz w logach serwera i powie ci więcej niż deklaracje, bo pokaże, które roboty faktycznie weszły. Identyfikatory są udokumentowane i zawierają nazwę robota wraz z numerem wersji, więc wystarczy filtrować według samej nazwy. Logi z ostatnich trzydziestu dni odpowiadają na pytanie, czy serwis jest w ogóle odwiedzany.
Dostawcy dokładają przy tym kolejne roboty do innych zadań. OpenAI opisuje osobno OAI-AdsBota, którego zadaniem jest sprawdzanie bezpieczeństwa stron zgłaszanych jako reklamy w ChatGPT. Lista nazw rośnie, więc reguły pisz pod konkretne nazwy z dokumentacji, a nie pod wzorce dopasowujące fragment.
Skąd biorą się cytowania
O tym, jak model wybiera konkretne źródło do konkretnego zdania, dostawcy nic nie piszą. Da się natomiast zmierzyć, co ostatecznie zostaje zacytowane.
Najszersze polskie dane pochodzą z badania Senuto na próbie 17,76 miliona fraz z polskiego Google, w wersji zaktualizowanej pod koniec listopada 2025. Odpowiedź generowana nad wynikami zawiera średnio 19,23 cytowania, a liczba różnych domen w jednej odpowiedzi wynosi 18,37, czyli kilkanaście serwisów naraz. Z tych cytowań 16,78 procent pochodzi ze stron z pierwszych trzech pozycji organicznych, a 49,28 procent z pierwszej dziesiątki. Spoza wyników organicznych pochodzi 5,34 procent.
Sama liczba domen w jednej odpowiedzi jest tu ciekawsza, niż wygląda. Skoro na 19,23 cytowania przypada 18,37 różnych domen, to znaczy, że model prawie nie wraca dwa razy do tego samego serwisu w obrębie jednej odpowiedzi, a każde miejsce na liście źródeł zajmuje ktoś inny. Konkurencja o cytowanie nie polega więc na wypchnięciu kogoś z pierwszej pozycji, tylko na znalezieniu się w kilkunastoosobowym składzie, który model za każdym razem kompletuje od nowa.
Pozycja w klasycznych wynikach nadal dobrze przewiduje cytowanie, bo połowa cytowań mieści się w pierwszej dziesiątce. Reszta pochodzi spoza niej, w tym wspomniane 5,34 procent spoza wyników organicznych w ogóle. Same bycie w pierwszej trójce niczego więc nie gwarantuje. Autorzy badania nie ujawniają przy tym, czy pomiar dotyczył użytkownika zalogowanego, a w Polsce te odpowiedzi widzą wyłącznie zalogowani pełnoletni, więc liczby opisują raczej rząd wielkości niż stan faktyczny dla przeciętnego internauty.
Treść, do której robot nie dojdzie
Część treści jest niewidoczna nie z powodu jakości, tylko z powodu sposobu podania. Robot pobierający stronę w momencie zapytania działa bez sesji użytkownika i bez czasu na renderowanie złożonej aplikacji.
W praktyce oznacza to, że treść za logowaniem albo za formularzem nie istnieje dla modelu. Podobnie treść doklejana do strony dopiero przez skrypt po jej wczytaniu bywa niewidoczna, zależnie od tego, czy dany robot wykonuje skrypty. Bezpieczne założenie jest jedno: to, co ma być cytowane, powinno być w kodzie strony bez żadnych warunków.
Jak sprawdzić, co model mówi o firmie
Odpowiedzi modeli nie da się sprawdzić tak jak pozycji w rankingu, bo są niestabilne i zależą od sformułowania pytania. Sensowny pomiar polega więc na powtarzalności.
Układa się stały zestaw pytań, jakie zadałby klient, zadaje się je kilku modelom w równych odstępach i notuje dwie rzeczy: czy marka w ogóle padła i jakie źródła model przywołał. Po kilku tygodniach widać, czy obecność jest stała, czy przypadkowa. Taki test promptowy prowadzi u siebie digitalk, a metoda jest na tyle prosta, że da się ją odtworzyć samodzielnie, bez żadnego narzędzia.
Ten pomiar psują najczęściej dwa błędy. Pierwszy to zmienianie pytań między turami, bo wtedy porównuje się dwie różne rzeczy i nie wiadomo, czy zmienił się model, czy zapytanie. Drugi to zadawanie pytań, w których nazwa firmy już pada, bo model potwierdzi wtedy niemal wszystko, a interesujące jest to, czy nazwa pojawi się w odpowiedzi na pytanie, w którym jej nie ma.
Notuj też same źródła, nie tylko obecność marki. Lista cytowanych domen zbierana przez kilka tygodni pokazuje, na czym model opiera odpowiedzi w danej kategorii.
Czego nie wiadomo
Nie wiadomo, jak model waży poszczególne sygnały przy wyborze źródła, ponieważ żaden dostawca tego nie publikuje. Nie ma też badania z ujawnioną próbą, które pokazywałoby, że wzmianki marki w cudzych serwisach zwiększają szansę na przywołanie jej w odpowiedzi. To teza powtarzana przez branżę, w tym przez agencje sprzedające taką usługę, i dopóki nie stoi za nią pomiar, trzeba ją traktować jako hipotezę.
Wiadomo natomiast, które roboty mają dostęp do serwisu, bo to jest zapisane w jednym pliku tekstowym na własnym serwerze.
