Cloudflare oraz OpenAI opublikowały wstępne wyniki programu pilotażowego, w którym wzięła udział grupa witryn stanowiąca około 1% sieci Cloudflare. Zgodnie z komunikatem obu firm, testowane rozwiązanie pozwoliło robotowi indeksującemu OpenAI odnaleźć i zaindeksować setki milionów nowych stron na potrzeby wyszukiwarki ChatGPT Search. Projekt zapowiedziany w lipcu opiera się na przekazywaniu sygnałów sieciowych bezpośrednio do bota wyszukiwarki.
Sygnały sieciowe przyspieszają wykrywanie treści i eliminują puste zapytania
Wyszukiwarka OpenAI wykorzystuje dane z infrastruktury Cloudflare, aby trafiać na podstrony pomijane przez tradycyjne mechanizmy oparte wyłącznie na profilu linków. Wśród przykładów autorzy wpisu wymieniają instrukcję obsługi konkretnej pralki, aktualne informacje o wymogach paszportowych i opłatach czy menu i godziny otwarcia restauracji. Treści tego typu mogą być wartościowe, nawet jeśli nie prowadzą do nich liczne odnośniki zewnętrzne.
Wśród przekazywanych parametrów znalazły się informacje o dacie ostatniej modyfikacji strony, faktycznych zmianach w treści oraz jakości generowanego ruchu. Mechanizm ten pozwala robotom unikać wielokrotnych prób pobierania nieistniejących plików, masowych przekierowań na stronę główną oraz zduplikowanych adresów. Firmy testują także oznaczanie pojedynczych zainfekowanych podstron, na przykład fałszywego formularza logowania umieszczonego przez napastnika na pojedynczej stronie autentycznej witryny, co umożliwia wykluczenie ze spisu konkretnej strony bez blokowania całej domeny. W komunikacie zaznaczono, że choć celem jest ograniczenie zbędnego obciążenia serwerów, w początkowej fazie odkrywania nowych zasobów intensywność skanowania może wzrosnąć.
Zasady indeksowania i uprawnienia dla robotów OpenAI
Przedstawiciele Cloudflare i OpenAI podkreślają, że sygnał sieciowy o istnieniu strony nie jest równoznaczny ze zgodą na jej pobranie. Wyszukiwarka nadal respektuje standardowe dyrektywy zawarte w pliku robots.txt. OpenAI rozdziela zadania indeksowania na dwa niezależne roboty:
OAI-SearchBotodpowiada wyłącznie za przeszukiwanie sieci na potrzeby wyników w ChatGPT Search,GPTBotzbiera dane wykorzystywane do trenowania modeli sztucznej inteligencji.
Zablokowanie GPTBot przy jednoczesnym dopuszczeniu OAI-SearchBot pozwala na wyświetlanie odnośników do serwisu w wynikach wyszukiwarki bez przekazywania treści do uczenia modeli. Witryny blokujące robota wyszukiwania nie trafią do indeksu, chociaż ChatGPT może nadal prezentować je jako odnośniki nawigacyjne. Użytkownicy korzystający z platformy Cloudflare mogą zarządzać tymi uprawnieniami za pomocą narzędzia AI Crawl Control dostępnego we wszystkich planach abonamentowych.
Samo zaindeksowanie podstrony nie gwarantuje jej cytowania w odpowiedziach generowanych przez sztuczną inteligencję, ponieważ OpenAI stosuje własne algorytmy oceny i rankingu. Monitorowanie ruchu przychodzącego z ChatGPT Search wymaga śledzenia parametrów UTM lub nagłówków odsyłających, w których wcześniej pojawiały się braki techniczne.