Optymalizacja witryny pod kątem sztucznej inteligencji ma niewielkie znaczenie, jeśli sztuczna inteligencja nie może jej znaleźć. Odpowiedź na czyjeś pytanie może już znajdować się na Twojej stronie internetowej, na przykład przewodnik instalacji, nad którego pisaniem spędziłeś tydzień, lub relacja z pierwszej ręki dotycząca korzystania z produktu, zawierająca szczegóły, które decydują o tym, czy ktoś go kupi. Ponieważ coraz więcej osób zwraca się o pomoc do sztucznej inteligencji, chcesz, aby te systemy znalazły Twoją pracę, przedstawiły ją dokładniej i skierowały zainteresowane osoby w Twoją stronę. Chcesz także mieć kontrolę nad tym, jak uzyskują dostęp do Twojej strony.
Więcej z internetu
Internet jest pełen konkretów. Ktoś naprawiający pralkę potrzebuje instrukcji dla swojego dokładnie określonego modelu. Ktoś ubiegający się o paszport potrzebuje aktualnych wymagań i opłat. Ktoś wybierający lokalną restaurację potrzebuje jej najnowszego menu i godzin otwarcia. Znalezienie odpowiedniej strony może decydować o różnicy pomiędzy błędną odpowiedzią a taką, która naprawdę pomaga. Te strony mogą być cenne, nawet jeśli niewiele innych witryn do nich linkuje.
W poprzedniej wersji internetu widoczność polegała na dotarciu na szczyt strony wyników wyszukiwania. Do odwiedzającego stronę człowieka należało wówczas określenie wartości informacji, zarezerwowanie stolika czy złożenie wniosku o paszport. Ponieważ ludzie w coraz większym stopniu polegają na sztucznej inteligencji w celu wyszukiwania informacji i wykonywania zadań, widoczność ma znaczenie w nowy sposób. Systemy sztucznej inteligencji muszą znaleźć odpowiednie źródła, zrozumieć, co jest przydatne, i połączyć ludzi z odpowiednimi informacjami, niezależnie od tego, czy odbywa się to za pośrednictwem odpowiedzi, cytatu, czy wizyty na samej stronie internetowej.
Sieć Cloudflare zapewnia sygnały, które mogą pomóc robotowi indeksującemu OpenAI odkryć więcej użytecznych stron w całym internecie, aby wyświetlić je użytkownikom ChatGPT. OpenAI niezależnie ocenia i pozycjonuje sposób, w jaki te strony się pojawiają, w oparciu o ich trafność i przydatność. Razem tworzy to pętlę sprzężenia zwrotnego, która może poprawić zarówno odkrywanie, jak i jakość informacji znajdowanych przez ludzi.
Ten wspólny projekt, w którym wzięła udział uczestnicząca kohorta obejmująca około jeden procent całej sieci Cloudflare, umożliwił OpenAI odkrycie i zindeksowanie setek milionów nowych stron internetowych, pomagając ludziom odkrywać bardziej przydatne treści i uzyskiwać odpowiedzi na więcej pytań za pośrednictwem ChatGPT. Dzięki odsyłaniu do odpowiednich źródeł, wyszukiwanie ChatGPT daje również ludziom możliwość przeglądania oryginalnych treści oraz odkrywania stron internetowych i wydawców, którzy za nimi stoją.
Ta praca uzupełnia te postępy, pomagając ChatGPT odkrywać bardziej użyteczne, aktualne informacje z całego internetu.
Od odkrywania do użytecznych odpowiedzi
Znalezienie adresu URL to dopiero początek. Musimy wiedzieć, czy prowadzi on do strony, do której ktoś może uzyskać dostęp, czy ta strona oferuje coś wyraźnego i w czym może komuś pomóc.
Dowiedzieliśmy się na przykład, jak łatwo ruch zautomatyzowany może sprawić, że nieistniejąca strona będzie wyglądać ciekawie. Boty wielokrotnie proszą o pliki, których nie ma. Niektóre witryny przekierowują prawie każdy adres na swoją stronę główną. Inne adresy prowadzą do kopii tej samej treści. Rozpoznanie tych wzorców daje nam sposób na ograniczenie zmarnowanej pracy, zanim robot pobierze stronę, i poprawę wydajności w sposób, który przynosi korzyści właścicielom witryn.
Testujemy również sygnały, które identyfikują i oznaczają potencjalnie szkodliwe strony, dodając kolejną warstwę informacji wspierającą bezpieczniejsze i bardziej niezawodne odkrywanie. Legalna witryna może mieć jedną naruszoną stronę, taką jak fałszywy formularz logowania podłożony przez atakującego. Oznaczenie tej jednej strony, a nie całej domeny, zapewnia bezpieczeństwo ludziom bez karania właściciela witryny. Wstępne wyniki sugerują, że te sygnały mogą pomóc w identyfikacji stron, które powinny być utrzymywane poza indeksem.
Ułatwianie odkrywania
Ponieważ coraz więcej osób korzysta ze sztucznej inteligencji do odkrywania informacji, właściciele stron internetowych mają nowe możliwości dotarcia do zainteresowanych odbiorców. Dla tych, którzy decydują się udostępnić swoje treści systemom sztucznej inteligencji, udoskonalenia te czynią odkrywanie prostszym i wydajniejszym.
Nadążanie za tym poprzez częstsze pobieranie każdej strony byłoby kosztowne dla każdego. Dla właściciela witryny robot indeksujący, który wielokrotnie pobiera niezmienioną stronę, zwiększa obciążenie bez przynoszenia jakichkolwiek korzyści.
Powyższe sygnały pozwalają nam tego uniknąć. Filtrowanie utrzymuje roboty indeksujące z dala od stron, które nie istnieją lub przekierowują gdzie indziej. Sygnały zmian mówią im, kiedy strona jest warta ponownej wizyty, a kiedy nie.
Trzeba zachować równowagę. Znajdowanie nowych stron może początkowo zwiększyć indeksowanie, gdy strony te są oceniane i indeksowane. Celem jest dalsze odkrywanie i pozostawianie aktualnym przy jednoczesnym ograniczeniu pracy, jaką to wymaga. Dla klientów Cloudflare oznacza to mniejsze niepotrzebne obciążenie. Dla OpenAI oznacza to, że więcej zasobów wyszukiwania jest przeznaczanych na informacje, które pomagają ludziom.
Sprawianie, by uczestnictwo miało sens
Kolejna faza będzie opierać się na tym, czego się nauczyliśmy: poprawie wyboru stron, przetestowaniu szybszych i bardziej niezawodnych sygnałów zmian oraz zmierzeniu tego, co dzieje się po odkryciu treści.
Nadal współpracujemy z OpenAI, aby zrozumieć, jak lepsze odkrywanie witryn może przekładać się na rzeczywiste wyniki biznesowe, i będziemy nadal dzielić się tym, czego dowiadujemy się po drodze.
Wybory właścicieli domen mają znaczenie przez cały czas. Sygnał dotyczący strony nie przyznaje zgody na uzyskanie do niej dostępu. Te badania wykorzystują metadane dotyczące internetu do wyszukiwania i odkrywania, zamiast udostępniać treść strony do trenowania modeli.
Możesz użyć narzędzia AI Crawl Control oferowanego przez Cloudflare, aby zrozumieć i zarządzać sposobem, w jaki systemy sztucznej inteligencji uzyskują dostęp do Twojej witryny internetowej.