1. Strona główna
2. Dziennik
3. Widoczność w AI

Boty AI: sprawdź dostęp i znajdź blokady strony

• Jacek Ślesicki
• 25 października 2026
• ok. 18 min czytania

Jak sprawdzić, czy boty AI widzą Twoją stronę?

Dostęp botów AI sprawdzam przez robots.txt, odpowiedź HTTP, zawartość HTML i zweryfikowane logi odwiedzin. Rozdzielam przy tym GPTBot i OAI-SearchBot, ponieważ OpenAI przypisuje im inne funkcje. Sam status 200, opisany w RFC 9110 z 2022 roku, nie potwierdza otrzymania artykułu ani późniejszego cytowania strony w odpowiedzi.

Jeśli wolisz oddać to w ręce praktyka, zobacz ofertę: Widoczność w AI (GEO): ChatGPT, AI Overviews, Gemini.

To techniczny punkt wyjścia do tematu Widoczność w AI: ChatGPT, AI Overviews i Gemini. Zielony wynik testera może oznaczać tylko brak zakazu w jednym pliku. Nie odpowiada jeszcze na pytanie, co serwer faktycznie wysłał i komu.

Dostęp, wizyta i cytowanie: co właściwie potwierdzasz?

Najpierw ustal rodzaj dowodu: konfiguracja opisuje dostęp, zweryfikowany log potwierdza żądanie, a odsyłacz w odpowiedzi pokazuje cytowanie konkretnego źródła.

Brak cytowania nie dowodzi blokady technicznej. Podobnie obecność nazwy firmy w odpowiedzi nie potwierdza, że system właśnie pobrał jej witrynę. Informacja mogła pochodzić z innego źródła. Dlatego nie łączę tych zdarzeń w jeden wynik „AI widzi stronę”.

Proponuję następującą kolejność diagnostyki:

1. Adres artykułu wyznacza zakres testu; strona główna nie zastępuje sprawdzenia podstrony.
2. Robots.txt określa deklarowane zasady pobierania dla wybranego robota.
3. Odpowiedź HTTP pokazuje status, przekierowania oraz zawartość otrzymaną przez klienta.
4. Logi pozwalają szukać rzeczywistych żądań i ustalić ich pochodzenie.
5. Odpowiedź narzędzia AI pozwala osobno ocenić obecność odsyłacza do analizowanej strony.

Taki zapis ogranicza zgadywanie. Każdy etap kończy się konkretnym ustaleniem, zamiast obietnicą widoczności.

Test pojedynczej strony: jak dobrać próbkę?

Zacznij od publicznego artykułu, którego pełny adres i charakterystyczne zdanie możesz jednoznacznie wskazać w pobranej odpowiedzi.

Dobierz potem stronę kategorii i podstronę korzystającą z innego szablonu. Przykładowo poradnik może zawierać tekst od razu, podczas gdy katalog usług pokazuje opisy dopiero po uruchomieniu skryptu. To scenariusz diagnostyczny, nie wynik pomiaru konkretnego serwisu.

Rodzaje botów AI: którego robota chcesz sprawdzić?

Boty AI to programy pobierające zasoby dla systemów sztucznej inteligencji, różniące się funkcją, identyfikatorem i sposobem uruchomienia. Najpierw rozdzielam trening, wyszukiwanie oraz pobranie na żądanie użytkownika. Dokumentacja OpenAI opisuje osobno GPTBot, OAI-SearchBot i ChatGPT-User; pozwolenie jednemu nie oznacza identycznej decyzji wobec pozostałych.

GPTBot, OAI-SearchBot i ChatGPT-User: jakie mają zadania?

Najpierw wybierz funkcję: GPTBot dotyczy potencjalnego treningu modeli, OAI-SearchBot wyszukiwania, a ChatGPT-User określonych działań inicjowanych przez użytkownika.

Identyfikator	Zastosowanie według OpenAI	Znaczenie dla diagnozy
GPTBot	Pobieranie treści, które mogą służyć treningowi modeli.	Nie zastępuje testu robota wyszukiwania.
OAI-SearchBot	Wyszukiwanie stron na potrzeby funkcji search.	To właściwy identyfikator przy ocenie dostępu dla wyszukiwania ChatGPT.
ChatGPT-User	Wybrane pobrania związane z działaniem użytkownika.	Nie jest automatycznym crawlerem; reguły robots.txt mogą nie mieć zastosowania.

Źródło: OpenAI, Overview of OpenAI Crawlers, sprawdzone 18.10.2026. Szerszy opis rozwija temat GPTBot i jego zastosowanie.

Dostęp do funkcji: jak podjąć decyzję?

Zacznij od celu publikacji i zapisz osobną decyzję dla wyszukiwania, treningu oraz działań wykonywanych na żądanie użytkownika.

Nie trzeba przyjmować zasady „wszystko albo nic”. Przykład: właściciel publicznego poradnika może dopuścić robota wyszukiwania i jednocześnie odmówić pobierania przez GPTBot. Dokumentacja OpenAI przewiduje niezależność tych ustawień.

• Cel witryny określa, które zastosowania pobranych materiałów są pożądane.
• Nazwa robota powinna pochodzić z dokumentacji jego dostawcy.
• Data kontroli pozwala odróżnić bieżące zasady od starszej konfiguracji.
• Decyzja o dostępie powinna obejmować konkretną funkcję, a nie samo słowo „AI”.

OpenAI w publikacji Introducing ChatGPT search, 2024 opisuje wyszukiwanie z odsyłaczami do źródeł. To odrębny mechanizm od samego treningu modelu.

Robots.txt: jak sprawdzić reguły dla właściwego bota?

Reguły robots.txt sprawdzam dla właściwego hosta, identyfikatora robota i konkretnej ścieżki artykułu. RFC 9309, opublikowany przez IETF w 2022 roku, określa sposób interpretacji tego protokołu. Pozwolenie zapisane w pliku nie usuwa jednak uwierzytelniania ani blokady WAF i nie potwierdza wykonania żądania.

User-agent i ścieżki: jak odczytać właściwą grupę?

Otwórz plik /robots.txt analizowanego hosta, znajdź grupę odpowiadającą robotowi i porównaj jej reguły z pełną ścieżką artykułu.

User-agent wskazuje adresata reguł, a Allow i Disallow opisują dozwolone oraz wyłączone ścieżki. RFC 9309 przewiduje pierwszeństwo najdłuższego dopasowania; przy równoważnych regułach zaleca wybór Allow. Nie wystarczy więc znaleźć pierwszego Disallow i zakończyć analizę.

Przykład: w jednej właściwej grupie Disallow: /poradniki/ oraz Allow: /poradniki/publiczny/ dają różne wyniki dla artykułów w tych katalogach. Liczy się adres.

1. Host powinien odpowiadać badanemu adresowi, również w wariancie z www lub bez niego.
2. Sprawdź status HTTP i treść /robots.txt. Po pomyślnym pobraniu pliku stosuje się reguły możliwe do sparsowania; brak pasujących reguł oznacza brak ograniczeń wynikających z robots.txt. Odpowiedzi 4xx i 5xx należy interpretować zgodnie z RFC 9309.
3. Grupa robota powinna odpowiadać jego udokumentowanemu identyfikatorowi.
4. Ścieżka artykułu wymaga sprawdzenia wszystkich pasujących reguł.
5. Zmiana pliku wymaga ponownego pobrania wersji dostępnej publicznie.

Nie zakładaj, że zapis w panelu WordPressa albo plik w projekcie Astro jest już wersją serwowaną odwiedzającym. Sprawdź wynik wdrożenia na konkretnym hostingu. Rozwinięcie znajdziesz pod hasłem Robots.txt dla botów AI.

Disallow i noindex: czym różnią się od logowania?

Disallow dotyczy pobierania przez roboty respektujące protokół, noindex indeksowania przez obsługujący go system, a logowanie ogranicza dostęp do zasobu.

„The Robots Exclusion Protocol is not a substitute for valid content security measures.” IETF, RFC 9309, sekcja 3, 2022.

To znaczy, że robots.txt nie zastępuje zabezpieczeń. Źródło: RFC 9309. Poufnego dokumentu nie zabezpiecza samo wpisanie ścieżki do tego pliku.

Z kolei Google Search Central wyjaśnia, że Google musi pobrać stronę, aby odczytać noindex. Nie przenoś automatycznie tej dokumentacji na wszystkie systemy AI.

HTTP i zabezpieczenia: jak znaleźć blokadę pobierania?

Blokadę pobierania rozpoznaję przez pobranie odpowiedzi GET, kontrolę przekierowań i sprawdzenie treści zwróconej zamiast artykułu. RFC 9110 z 2022 roku opisuje znaczenie HTTP, ale sam status nie wystarcza do oceny zawartości. WordPress i Astro wymagają takiej samej kontroli publicznej odpowiedzi, niezależnie od sposobu zbudowania witryny.

GET i curl: jak zapisać odpowiedź strony?

Zacznij od żądania GET zapisującego nagłówki i treść w osobnych plikach, aby porównać wynik z artykułem widocznym w przeglądarce.

W Windows użyj polecenia poniżej, zastępując przykładowy adres własnym:

curl.exe -sS -L -D naglowki.txt -o strona.html "https://example.com/artykul/"

W macOS i Linux odpowiednikiem jest:

curl -sS -L -D naglowki.txt -o strona.html "https://example.com/artykul/"

Opcja -L śledzi przekierowania, -D zapisuje nagłówki, a -o treść odpowiedzi. Składnię opisuje dokumentacja curl. Polecenia tworzą lub nadpisują wskazane pliki w bieżącym katalogu.

„The 200 (OK) status code indicates that the request has succeeded.” IETF, RFC 9110, sekcja 15.3.1, 2022.

Źródło: RFC 9110. Sukces żądania nie rozstrzyga, czy odpowiedź zawiera oczekiwany tekst. HEAD nie zastępuje tej kontroli, ponieważ nie zwraca treści odpowiedzi.

WAF i User-agent: jak zawęzić przyczynę problemu?

Porównaj zwykłe pobranie z identycznym żądaniem zawierającym zmieniony User-agent, a następnie zestaw różnice ze zdarzeniami zabezpieczeń.

Test porównawczy może wyglądać tak: curl.exe -sS -L -A "OAI-SearchBot" -D bot-naglowki.txt -o bot-strona.html "https://example.com/artykul/". Na pozostałych systemach użyj curl.

To uproszczony test reakcji na nagłówek, nie odtworzenie pełnego klienta OpenAI. Nadal korzysta z Twojego adresu IP.

• Status 403 oznacza odmowę obsługi żądania i wymaga ustalenia, która warstwa ją wydała.
• Status 429 wskazuje ograniczenie liczby żądań, opisane w RFC 6585 z 2012 roku.
• Przekierowanie do logowania może zakończyć się poprawnym kodem, lecz niewłaściwą treścią.
• Challenge JavaScript wymaga sprawdzenia, czy klient potrafi przejść zastosowaną weryfikację.
• Pętla przekierowań wymaga ustalenia i usunięcia przyczyny, między innymi w konfiguracji przekierowań, SSL/TLS lub CDN, a nie zmiany tekstu artykułu.

Przykładowo przeglądarka z zapisaną sesją pokazuje poradnik, a curl otrzymuje formularz logowania. To dwa różne warunki dostępu. Koryguj konkretną regułę WAF po rozpoznaniu przyczyny; nie wyłączaj całej ochrony.

Logi serwera: jak potwierdzić rzeczywistą wizytę?

Wizytę potwierdzam przez zapis żądania i weryfikację pochodzenia zgodnie z dokumentacją dostawcy. Dla GPTBot i OAI-SearchBot dokumentacja OpenAI wskazuje publikowane listy adresów IP. Sam napis w User-agent pozostaje deklaracją klienta; dopiero zestawienie go z pochodzeniem i czasem żądania pozwala wiarygodniej ocenić zdarzenie.

Logi dostępu: jakie pola zebrać?

Zbierz czas ze strefą, adres zasobu, status, User-agent, źródłowy IP i liczbę przesłanych bajtów dla tego samego żądania.

Poproś administratora o ograniczony wycinek dotyczący badanego adresu. Bez potrzeby nie eksportuj całego ruchu witryny. Do diagnozy potrzebujesz relacji między polami, nie danych wszystkich odwiedzających.

• Czas ze strefą pozwala zestawić wpis ze zdarzeniem w panelu zabezpieczeń.
• Ścieżka i host identyfikują zasób, którego dotyczyło żądanie.
• Status HTTP pokazuje wynik obsługi, ale nie pełne znaczenie odpowiedzi.
• User-agent dostarcza deklarowanej nazwy klienta do dalszej weryfikacji.
• Źródłowy IP umożliwia sprawdzenie pochodzenia według metody dostawcy.
• Liczba bajtów pomaga zauważyć różnicę między artykułem a krótkim komunikatem.

Przykład interpretacji: pobranie /robots.txt nie potwierdza pobrania /poradnik/. Podobnie duża liczba przesłanych bajtów nie dowodzi, że system zrozumiał tekst.

Adres IP i CDN: gdzie szukać potwierdzenia?

Najpierw ustal, czy log zawiera adres klienta, czy pośrednika, a następnie zastosuj oficjalną metodę weryfikacji właściwego robota.

Listy IP pobieraj przez odnośniki z dokumentacji dostawcy. Nie opieraj wyjątku bezpieczeństwa na nazwie robota ani zakresach skopiowanych ze starego poradnika.

CDN może obsłużyć żądanie z pamięci podręcznej bez pobrania strony z serwera źródłowego. Dokumentacja Cloudflare Cache opisuje między innymi odpowiedź HIT. Brak nowego wpisu na origin nie wyklucza wtedy wizyty na brzegu CDN.

Sprawdź również retencję i zakres rejestrowania. Jeżeli logi obejmują tylko wybrany okres albo próbkę ruchu, wniosek brzmi „nie znaleziono wizyty w dostępnych danych”. Przed udostępnieniem fragmentu usuń identyfikatory sesji i dane odwiedzających; pełny IP wykorzystaj do weryfikacji wewnętrznej.

HTML, JavaScript i llms.txt: czy bot otrzymuje treść?

Treść sprawdzam w odpowiedzi HTML, a możliwości renderowania JavaScript ustalam osobno dla konkretnego klienta. Ani WordPress, ani Astro nie zwalnia z kontroli wdrożenia. Llms.txt pozostaje propozycją pomocniczego formatu opisaną przez Jeremy’ego Howarda, a jego obecność nie potwierdza, że dany system pobrał artykuł.

Surowy HTML: jak porównać go z widokiem przeglądarki?

Wyszukaj charakterystyczne zdanie artykułu w zapisanym pliku HTML, a następnie sprawdź jego obecność w odpowiedzi dokumentu w narzędziach przeglądarki.

Panel Elements pokazuje strukturę po ewentualnych zmianach skryptów. Do porównania początkowej odpowiedzi użyj zakładki Network i odpowiedzi głównego dokumentu. Przykład: widoczny opis usługi występuje dopiero w odpowiedzi dodatkowego API, a początkowy HTML zawiera pusty kontener.

Nie wynika z tego, że żaden bot nie odczyta opisu. Wynika, że odczyt wymaga dodatkowego mechanizmu, którego obsługę trzeba potwierdzić. Rozwinięcie: JavaScript a odczyt treści przez boty AI.

Llms.txt i ponowny test: jak zamknąć diagnostykę?

Najpierw usuń potwierdzoną przeszkodę w pobieraniu artykułu, a dopiero potem oceniaj przydatność llms.txt dla konkretnego odbiorcy.

Propozycja llms.txt, opublikowana w 2024 roku i zaktualizowana 10.08.2026, opisuje informacje pomocne agentom korzystającym z witryny. Nie ustanawia obowiązku cytowania. Więcej: Llms.txt: przeznaczenie i ograniczenia.

Po zmianie zachowaj krótki raport:

• Adres testu powinien pozostać identyczny przed poprawką i po niej.
• Konfiguracja zmienionej reguły powinna mieć zapisaną poprzednią wersję.
• Odpowiedź GET powinna zawierać sprawdzony fragment właściwego artykułu.
• Logi powinny oddzielać własne testy od ruchu zewnętrznych klientów.

Pomocna jest tabela, która wymusza zapis ograniczeń każdego dowodu:

Warstwa	Test i dowód	Ograniczenie	Poprawka i ponowny test
Robots.txt	Dopasowanie reguł do ścieżki.	Nie dowodzi wizyty.	Korekta reguły i ponowne pobranie pliku.
HTTP	GET, nagłówki i zapis HTML.	Dotyczy warunków testu.	Korekta blokady i powtórzenie żądania.
Logi	Żądanie ze zweryfikowanym pochodzeniem.	Nie dowodzi cytowania.	Kontrola dalszych żądań po zmianie.
Treść	Obecność tekstu w odpowiedzi.	Nie gwarantuje wykorzystania.	Korekta szablonu i ponowne porównanie.

Jeżeli chcesz ustalić, która warstwa blokuje Twoją stronę, napisz do mnie przez formularz kontaktowy. Zacznijmy od adresu i dowodów, nie od obietnicy cytowania.

Najczęściej zadawane pytania

Jak działają boty AI?

Boty AI pobierają zasoby dla przypisanych im zadań, takich jak wyszukiwanie informacji, przygotowanie danych lub obsługa polecenia użytkownika. Samo pobranie strony nie oznacza, że model wykorzysta ją w odpowiedzi.

Czym się różni bot od AI?

Bot to program automatyzujący działania, a AI oznacza technologię wykonywania określonych zadań, między innymi analizy i generowania treści. Nie każdy bot korzysta z AI i nie każdy model samodzielnie odwiedza witryny.

Czy User-agent potwierdza tożsamość bota?

Nie, User-agent jest nagłówkiem możliwym do zmiany, dlatego nie stanowi samodzielnego dowodu pochodzenia żądania ani podstawy wyjątku bezpieczeństwa. Potrzebna jest dodatkowa weryfikacja zgodna z dokumentacją dostawcy.

Czy dostęp dla GPTBot gwarantuje obecność w ChatGPT?

Nie, dostęp dla GPTBot nie gwarantuje cytowania w ChatGPT, ponieważ jego funkcja różni się od funkcji robota wyszukiwania. Również usunięcie blokady właściwego crawlera nie jest obietnicą obecności w odpowiedzi.

Czy status 200 oznacza poprawny odczyt artykułu?

Nie, status 200 sygnalizuje sukces żądania, lecz nie potwierdza, że zwrócona odpowiedź zawiera oczekiwany artykuł i jego pełną treść. Otwórz zapisany HTML i wyszukaj charakterystyczny fragment tekstu.

Czy llms.txt zastępuje robots.txt?

Nie, llms.txt opisuje materiały pomocne agentom, natomiast robots.txt określa reguły pobierania dla klientów respektujących ten protokół; pliki pełnią odmienne funkcje. Żaden z nich nie zastępuje zabezpieczenia poufnych zasobów.

Źródła i literatura

Podstawą opisu są standardy IETF, dokumentacja OpenAI oraz dokumentacja narzędzi, a nie wynik pojedynczego testera. Informacje sprawdzono 18.10.2026. RFC 9309 i RFC 9110 pochodzą z 2022 roku; dokumentację aktualizowaną na bieżąco należy odróżniać od publikacji opisującej stan produktu w dniu premiery.

Standardy i dokumentacja techniczna

Poniższe dokumenty określają znaczenie protokołów, funkcje robotów oraz składnię opisanych testów.

1. IETF, RFC 9309: Robots Exclusion Protocol, 2022 definiuje reguły robots.txt.
2. IETF, RFC 9110: HTTP Semantics, 2022 opisuje metody i statusy HTTP.
3. IETF, RFC 6585, 2012 definiuje między innymi status 429.
4. OpenAI, Overview of OpenAI Crawlers opisuje roboty i udostępnia odnośniki do list IP.
5. curl, dokumentacja poleceń wyjaśnia opcje pobierania i zapisywania odpowiedzi.

Wyszukiwanie, indeksowanie i formaty pomocnicze

Materiały uzupełniające pomagają odróżnić dostęp techniczny od indeksowania, obsługi pamięci podręcznej i sposobu prezentowania źródeł.

1. OpenAI, Introducing ChatGPT search, 2024 przedstawia wyszukiwanie z odsyłaczami do źródeł.
2. Jeremy Howard, The /llms.txt file, 2024, aktualizacja 2026 opisuje proponowany format.
3. Google Search Central, noindex wyjaśnia blokowanie indeksowania w Google.
4. Cloudflare, Cache responses opisuje odpowiedzi pamięci podręcznej CDN.