Jak sprawdzić, czy boty AI mają dostęp do Twojej strony?

To, czy boty AI mają dostęp i odwiedzają Twoją stronę, sprawdzisz za pomocą następujących sposobów:

• analizy pliku robots.txt,
• analizy logów serwera,
• narzędzi monitorujących aktywność botów, np. Microsoft Clarity,
• sprawdzenia ustawień Cloudflare, WAF lub innych zabezpieczeń.

Poniżej omawiam te sposoby bardziej szczegółowo.

Sprawdź plik robots.txt

Plik robots.txt zawiera instrukcje dla robotów, które określają, do jakich części strony mogą uzyskać dostęp, a które powinny omijać.

Jeżeli nie ma w nim żadnej reguły blokującej konkretnego bota AI ani ogólnego zakazu dla wszystkich robotów, to z punktu widzenia robots.txt, boty AI mają dostęp do Twojej strony.

Plik znajdziesz najczęściej pod adresem:

twojadomena.pl/robots.txt

Wyszukaj w nim nazwy botów związanych z narzędziami AI, np.:

• GPTBot,
• OAI-SearchBot,
• ClaudeBot,
• Claude-SearchBot,
• PerplexityBot.

Jeżeli danego bota nie ma w pliku, sprawdź jeszcze reguły dotyczące wszystkich robotów, oznaczone jako:

User-agent: *

Taki zapis oznacza, że GPTBot ma zablokowany dostęp do całej witryny:

User-agent: GPTBot

Disallow: /

Pamiętaj jednak, że robots.txt pokazuje jedynie, jakie zasady dostępu deklaruje właściciel strony dla crawlerów, które respektują ten plik. Nie dowiesz się z niego, czy bot rzeczywiście odwiedza witrynę ani czy nie jest blokowany przez inne zabezpieczenia.

Przeanalizuj logi serwera

Jeżeli chcesz sprawdzić, czy boty AI rzeczywiście odwiedzają Twoją stronę, zajrzyj do logów serwera.

Logi zapisują informacje o żądaniach wysyłanych do witryny, czyli np.:

• odwiedzony adres URL,
• datę i godzinę wizyty,
• adres IP,
• kod odpowiedzi serwera,
• User-Agent.

To właśnie po User-Agencie możesz rozpoznać konkretnego bota.

W logach wyszukaj np.:

• GPTBot,
• OAI-SearchBot,
• ClaudeBot,
• Claude-SearchBot,
• PerplexityBot.

Jeżeli znajdziesz taki wpis, oznacza to, że bot próbował pobrać konkretny zasób z Twojej strony.

Zwróć przy tym uwagę na kod odpowiedzi HTTP. Mogą to być np.:

• 200 – strona została poprawnie udostępniona,
• 301 lub 302 – bot został przekierowany,
• 403 – dostęp został zablokowany,
• 404 – zasób nie istnieje,
• 429 – serwer ograniczył liczbę żądań.

Dzięki temu możesz odróżnić wizytę bota od sytuacji, w której próbował wejść na stronę, ale nie uzyskał do niej dostępu.

Jeżeli zależy Ci na dokładnej weryfikacji, sprawdź również adres IP i porównaj go z zakresami publikowanymi przez operatora danego crawlera albo skorzystaj z mechanizmów rozpoznawania zweryfikowanych botów dostępnych np. w Cloudflare.

Sprawdź aktywność botów w Microsoft Clarity

Jeżeli korzystasz z Microsoft Clarity, możesz sprawdzić aktywność crawlerów także w sekcji AI Visibility → Bot Activity.

W panelu zobaczysz m.in.:

• które boty odwiedzają witrynę,
• jaki udział w ruchu generują boty AI,
• ile żądań wysyłają,
• które adresy URL są przez nie najczęściej pobierane.

W przeciwieństwie do standardowej analityki dane o aktywności botów nie opierają się na kodzie JavaScript uruchamianym w przeglądarce. Clarity wykorzystuje w tym przypadku dane o żądaniach przekazywane przez obsługiwane źródło ruchu, np. CDN.

Żeby zobaczyć te informacje, musisz więc mieć skonfigurowaną odpowiednią integrację. Microsoft Clarity obsługuje m.in. Cloudflare, Fastly, Amazon CloudFront, Akamai i Azure Front Door.

Pamiętaj też, że sama wizyta crawlera nie oznacza jeszcze, że Twoja strona została wykorzystana lub zacytowana w odpowiedzi generowanej przez AI. Pokazuje jedynie, że dany system wysłał do niej żądanie.

Sprawdź, czy botów nie blokują dodatkowe zabezpieczenia

Może zdarzyć się tak, że bot nie jest blokowany w pliku robots.txt, a mimo to nie ma dostępu do strony.

Przyczyną mogą być dodatkowe zabezpieczenia, np.:

• Cloudflare,
• firewall,
• WAF,
• zabezpieczenia hostingu,
• wtyczki bezpieczeństwa w WordPressie.

Jeżeli korzystasz z któregoś z takich rozwiązań, sprawdź historię zdarzeń i wyszukaj żądania pochodzące od botów AI. Szczególnie zwróć uwagę na sytuacje, w których otrzymują one kod 403 albo 429.

Jeżeli korzystasz z Cloudflare, sprawdź również AI Crawl Control. Narzędzie pozwala analizować ruch crawlerów AI i sprawdzać m.in., które boty odwiedzają stronę, jakie zasoby pobierają, a także czy ich żądania są przepuszczane lub blokowane.

FAQ

Czy ruch botów AI zobaczysz w Google Analytics?

Nie.

Crawlery nie zachowują się jak zwykli użytkownicy i nie uruchamiają kodu JavaScript odpowiedzialnego za zbieranie danych w GA4. Bot może więc pobrać zawartość strony i pojawić się w logach serwera, ale jednocześnie nie zostawić po sobie śladu w Google Analytics.

GA4 wykorzystasz za to do sprawdzania ruchu użytkowników przychodzących z narzędzi AI, np. z ChatGPT czy Perplexity. To jednak inna informacja niż dane o wizytach samych botów.

Czy bot AI może odwiedzać stronę mimo blokady w robots.txt?

Technicznie tak. Plik robots.txt nie jest zabezpieczeniem serwera, tylko zbiorem instrukcji dla robotów. Crawlery w teorii powinny je respektować, ale sam plik nie uniemożliwia fizycznego wysłania żądania do strony.

Czy brak bota w logach oznacza, że nie ma dostępu do strony?

Nie. Oznacza tylko, że w analizowanym okresie nie odnaleziono jego wizyt. Bot może mieć dostęp do strony, ale jeszcze jej nie odwiedzić.

Czy warto blokować boty AI?

To zależy od Twojego celu. Jeżeli nie chcesz, aby Twoje treści były wykorzystywane do rozwoju modeli, możesz blokować crawlery związane z tym zastosowaniem. Jeżeli natomiast zależy Ci na widoczności w wyszukiwaniu i odpowiedziach generowanych przez AI, blokowanie botów odpowiedzialnych za pobieranie aktualnych treści może działać na Twoją niekorzyść.

Czy llms.txt wpływa na dostęp botów AI?

Nie. Plik llms.txt może porządkować informacje przeznaczone dla systemów AI, ale nie zastępuje robots.txt i nie służy do blokowania lub odblokowywania crawlerów.