Co się zmieniło od 2024
Stary wpis opisywał przełącznik „AI Scrapers and Crawlers” w zakładce Security. On nadal tam jest, ale to już nie jest cała historia.
- Marzec 2025, AI Labyrinth. Zamiast tylko blokować, Cloudflare zaczął wpuszczać nieuczciwe boty do labiryntu wygenerowanych stron, które wyglądają jak prawdziwe, ale nie prowadzą do niczego. Bot marnuje zasoby, a przy okazji zdradza, że ignoruje zasady.
- Lipiec 2025, blokada domyślna. Każda nowa domena dodana do Cloudflare ma boty AI zablokowane od pierwszej minuty, bez pytania. Trzeba świadomie je wpuścić, a nie świadomie wyrzucić. To odwrócenie logiki, na które wydawcy czekali od dwóch lat.
- Pay Per Crawl. W tym samym czasie ruszyła możliwość pobierania opłat za crawl. Bot dostaje odpowiedź 402 Payment Required, a jeśli ma umowę, płaci i wchodzi. Na razie dla większych wydawców, ale kierunek jest jasny: treść przestaje być darmowa dla maszyn.
- Wrzesień 2025, sygnały w robots.txt. Cloudflare zaproponował, żeby w robots.txt dopisywać, na co się zgadzasz: wyszukiwanie tak, odpowiedzi AI nie, trening nie. Zarządzany robots.txt dokłada to automatycznie.
Efekt jest taki, że w 2026 pytanie nie brzmi już „jak zablokować boty AI”, tylko „które wpuścić i na jakich warunkach”.
Trzy poziomy obrony
Poziom 1: robots.txt. To prośba. Uczciwe boty jej słuchają: GPTBot od OpenAI, ClaudeBot od Anthropic, Google-Extended, CCBot. Nieuczciwe ignorują. Nadal warto to mieć, bo to jedyny sposób, żeby powiedzieć Google: indeksuj mnie w wyszukiwarce, ale nie trenuj na mnie Gemini. Robi to osobny token Google-Extended, a nie blokada Googlebota.
Poziom 2: sygnały treści. Rozszerzenie robots.txt, w którym deklarujesz osobno zgodę na wyszukiwanie, na odpowiedzi AI (tzw. AI Overviews i podobne) i na trening modeli. Prawnie to nadal prośba, ale podpisana, więc łatwiej potem dochodzić swego.
Poziom 3: zapora. Tu dopiero coś naprawdę blokujesz. Cloudflare rozpoznaje boty po podpisach, zachowaniu i tzw. bot score. Bot, który udaje przeglądarkę, i tak zwykle dostaje niski wynik i wpada w regułę. To jedyny poziom, który działa na tych, którzy nie pytają o zgodę.
Jak to włączyć, krok po kroku
- W panelu Cloudflare wejdź w swoją domenę, potem Security i Bots. Jeśli domena jest nowa, blokada AI już tam świeci na zielono. Jeśli stara, włącz „Block AI Scrapers and Crawlers”.
- W tym samym miejscu włącz zarządzany robots.txt. Cloudflare sam dopisze dyrektywy dla znanych botów AI i sygnały treści. Jeśli masz własny robots.txt, zostanie dołączony, nie nadpisany.
- Przejrzyj listę zweryfikowanych botów i zdecyduj, które wpuszczasz. Ja zwykle zostawiam OAI-SearchBot i Claude-SearchBot (to boty wyszukiwania, dzięki którym ChatGPT i Claude mogą cytować twoją stronę z linkiem), a blokuję GPTBot i ClaudeBot (trening).
- W Security, Analytics sprawdź po tygodniu, kto odbija się od reguł. Zdziwisz się, ile tego jest.
Kogo blokować, a kogo nie
Tu się ludzie najczęściej potykają. Każda duża firma AI ma dziś kilka botów o różnym przeznaczeniu:
- Boty treningowe (GPTBot, ClaudeBot, Google-Extended, Bytespider od TikToka, Meta-ExternalAgent). Zbierają treść, żeby trenować modele. Jeśli nie masz z nimi umowy, nie masz z tego nic. Blokuję.
- Boty wyszukiwania AI (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Indeksują stronę, żeby asystent mógł ją zacytować z linkiem. To dziś coraz ważniejsze źródło ruchu, bo ludzie zamiast wpisywać w Google, pytają ChatGPT. Wpuszczam, chyba że klient ma powód.
- Boty na żądanie użytkownika (ChatGPT-User, Claude-User). Działają, gdy ktoś wkleja twój link do czatu i prosi o streszczenie. Blokowanie ich to jak blokowanie czytelnika. Wpuszczam.
- Googlebot i Bingbot. Nigdy nie blokuj. Zniknięcie z wyszukiwarki to nie jest ochrona treści, to samobójstwo.
Co ustawiam klientom i dlaczego nie wszystkim to samo
Sklep internetowy: wpuszczam boty wyszukiwania AI, bo chcę, żeby asystent polecił produkt z linkiem do koszyka. Blokuję trening, bo opisy produktów to praca copywritera, za którą ktoś zapłacił.
Portal z treściami, jak serwis finansowy: blokuję prawie wszystko poza Google i Bingiem, a wydawca rozważa Pay Per Crawl. Treść jest tam produktem.
Strona firmowa usługodawcy: wpuszczam więcej, bo chcę, żeby model wiedział, że firma istnieje, co robi i gdzie. Taka strona ma być znaleziona, nie chroniona.
Tabela z udziałem poszczególnych botów z 2024 roku, którą miał stary wpis (Bytespider 40 procent, GPTBot 35 procent), jest już nieaktualna i ją usunąłem. Dziś lista jest dłuższa, a proporcje zmieniają się co kwartał. Aktualne dane publikuje Cloudflare Radar.
Jeśli masz stronę pod moją opieką, te ustawienia przeglądam przy okazji kwartalnego przeglądu. Jeśli nie, to dobry moment, żeby zajrzeć do panelu.