Cloudflare wprowadza blokadę botów AI jednym kliknięciem: Twoja treść, Twoje zasady!
W erze sztucznej inteligencji, gdzie dane są na wagę złota, Cloudflare staje na straży praw twórców internetowych. Firma właśnie wprowadziła rewolucyjne rozwiązanie – przycisk „łatwej blokady” wszystkich botów AI. Co więcej, funkcja ta jest dostępna dla wszystkich klientów, nawet tych korzystających z darmowego planu!
Dlaczego to takie ważne?
Wraz z rosnącą popularnością generatywnej AI, zapotrzebowanie na treści do trenowania modeli i prowadzenia inferencji wystrzeliło w kosmos. Niestety, nie wszystkie firmy AI grają fair. Podczas gdy niektóre uczciwie identyfikują swoje boty web scraping, inne próbują działać po cichu. Oto kilka głośnych przykładów:
- Google podobno zapłacił 60 milionów dolarów rocznie za licencję na treści generowane przez użytkowników Reddita.
- Scarlett Johansson oskarżyła OpenAI o wykorzystanie jej głosu do nowego asystenta osobistego bez jej zgody.
- Perplexity został niedawno oskarżony o podszywanie się pod legalnych użytkowników w celu zeskrobywania treści ze stron internetowych.
Oryginalne treści nigdy nie były tak cenne jak teraz!
Cloudflare odpowiada na potrzeby klientów
W zeszłym roku Cloudflare wprowadziło możliwość łatwego blokowania „grzecznych” botów AI – tych, które przestrzegają robots.txt i nie używają nielicencjonowanych treści do trenowania swoich modeli. Mimo to, klienci Cloudflare masowo decydowali się na ich blokowanie.
Teraz firma poszła o krok dalej. Nowa funkcja „jednego kliknięcia” do blokowania wszystkich botów AI jest już dostępna dla wszystkich klientów, włącznie z tymi na darmowym planie. Aby ją włączyć, wystarczy przejść do sekcji Security > Bots w panelu Cloudflare i kliknąć przełącznik oznaczony jako „AI Scrapers and Crawlers”.
Kto kradnie nasze dane?
Cloudflare przeprowadziło dokładną analizę ruchu w swojej sieci, aby zidentyfikować najpopularniejsze boty AI. Oto co odkryli:
- Bytespider (ByteDance/TikTok) – lider w liczbie zapytań i zasięgu.
- GPTBot (OpenAI) – drugi pod względem liczby odwiedzanych stron i częstotliwości blokowania.
- Amazonbot – używany do indeksowania treści dla Alexy.
- ClaudeBot – trenujący chatbota Claude.
Co ciekawe, mimo że Bytespider i GPTBot są najbardziej agresywne, wiele stron internetowych nie blokuje ich explicite w plikach robots.txt.
| AI Bot | Share of Websites Accessed |
|---|---|
| Bytespider | 40.40% |
| GPTBot | 35.46% |
| ClaudeBot | 11.17% |
| ImagesiftBot | 8.75% |
| CCBot | 2.14% |
| ChatGPT-User | 1.84% |
| omgili | 0.10% |
| Diffbot | 0.08% |
| Claude-Web | 0.04% |
| PerplexityBot | 0.01% |
Jak bronić się przed nieuczciwymi botami?
Cloudflare zauważyło, że niektóre boty AI próbują ukryć swoją tożsamość, podszywając się pod zwykłe przeglądarki. Na szczęście, globalne modele uczenia maszynowego firmy są w stanie wykryć takie oszustwa. Każde żądanie otrzymuje „wynik bota”, a te poniżej 30 punktów są uznawane za podejrzane.
Co możesz zrobić?
- Włącz nową funkcję blokowania botów AI w panelu Cloudflare.
- Jeśli jesteś klientem Enterprise Bot Management, możesz zgłaszać podejrzane zachowania botów przez Bot Analytics.
- Cloudflare uruchomiło także narzędzie do raportowania, gdzie każdy klient może zgłosić bota AI zeskrobującego treści bez pozwolenia.
Cloudflare obiecuje, że będzie stale aktualizować swoje systemy, aby chronić twórców treści przed nieautoryzowanym wykorzystaniem ich pracy. W końcu to Ty powinieneś decydować, które modele AI mogą uczyć się na Twoich treściach!
Źródło, cloudflare