Wyniki badania agencji Graphite nad widocznością marek w ChatGPT
Analiza opublikowana 16 października przez agencję Graphite objęła 3115 par pytań i encji, opartych na 57 pytaniach porównawczych zebranych w sierpniu od niezalogowanych użytkowników ChatGPT. Widoczność mierzono jako odsetek odpowiedzi wymieniających konkretną markę lub produkt.
W badaniu podzielono marki na grupy w zależności od tego, na jakiej części cytowanych stron się pojawiały. Dla marek obecnych na co najmniej 15% cytowanych stron, mediana widoczności przy włączonym wyszukiwaniu wynosiła zaledwie 11%, jeśli ChatGPT wymieniał je w mniej niż jednej czwartej odpowiedzi bez wyszukiwania. We wszystkich grupach marki częściej wymieniane bez funkcji wyszukiwania uzyskiwały wyższą widoczność także wtedy, gdy model korzystał z wyszukiwarki.
Zależność tę potwierdzono w dwóch dodatkowych testach. Pierwszy obejmował 100 zapytań wysłanych przez API z jednoznacznym włączeniem i wyłączeniem wyszukiwania. Drugi test przeprowadzono na próbie 200 zapytań śledzonych przez trzy tygodnie w narzędziu agencji. Graphite określa koncepcję wpływania na wiedzę zapisaną bezpośrednio w modelu jako optymalizację wiedzy parametrycznej (Parametric Knowledge Optimization, PKO).
Nazwy marek w zapytaniach pomocniczych i cytowaniach
Przeanalizowano również około 957 000 tak zwanych zapytań fan-out, czyli wyszukiwań wykonywanych przez ChatGPT w tle przed udzieleniem odpowiedzi. Dane te pochodziły z 22 953 zapytań porównawczych bez podanych nazw marek, zebranych od sierpnia do początku października.
Według klasyfikacji wykonanej przez model Claude Haiku 4.5 firmy Anthropic, 59,6% tych zapytań pomocniczych zawierało nazwę marki, a 22,7% używało operatora site:. Żadne z pierwotnych zapytań użytkowników nie zawierało nazwy marki. Agencja zauważa, że umieszczenie marki w zapytaniu pomocniczym zwiększa szansę na pobranie stron zawierających informacje o danej firmie. Zbieżne wnioski przedstawił Suganthan Mohanadasan, który w osobnym teście zauważył, że w 21 z 27 konwersacji na jednym koncie pierwsze zapytanie wyszukiwarki ChatGPT zawierało nazwy marek niewpisane przez użytkownika.
Wskaźnik odpowiedzi z cytowaniami w ChatGPT wzrósł z 56,6% w tygodniu rozpoczynającym się 3 sierpnia do 88,5% w tygodniu rozpoczynającym się 28 września. W przypadku modelu Gemini odsetek ten zmienił się w tym samym okresie z 79,0% do 81,2%. Graphite zaznacza, że obecność cytowania nie jest jednoznaczna z wykonaniem wyszukiwania, ponieważ ChatGPT potrafi dodawać linki w treści bez widocznych śladów przeszukiwania sieci. W odrębnym raporcie firma Ahrefs podała, że w sierpniu i wrześniu 14,4% z 66,6 miliona bezpłatnych odpowiedzi ChatGPT zawierało zapytania pomocnicze, przy czym badanie to obejmowało ogólne zapytania, a nie tylko zapytania porównawcze.
Rola danych treningowych i opóźnienie wdrożenia treści
Graphite przeanalizowało czas między zdeklarowaną datą odcięcia danych treningowych a datą wydania modelu. W przypadku modeli udostępnionych od lipca okres ten wynosił od około dwóch do pięciu miesięcy. Agencja określa ten czas jako minimalny okres potrzebny na wywarcie wpływu przez nowo opublikowane treści.
Dla Google robot Google-Extended w pliku robots.txt kontroluje wykorzystanie treści do trenowania przyszłych modeli Gemini oraz ugruntowywania (grounding) w aplikacjach Gemini i usłudze Grounding z Google Search w Vertex AI. Google podaje, że token ten nie wpływa na obecność witryny w tradycyjnych wynikach Google Search ani nie stanowi sygnału rankingowego w wyszukiwarce.
Metody badania widoczności marki w modelach językowych
Agencja Graphite proponuje badanie widoczności marki poprzez testowanie zapytań przez API po wyłączeniu funkcji wyszukiwania dla nowo wydanych modeli. Do uzyskania wyników wymagane jest zebranie co najmniej 50 odpowiedzi dla każdego zapytania. Drugim zalecanym krokiem jest weryfikacja dostępu robotów indeksujących do witryny, w tym sprawdzenie ewentualnych blokad wprowadzonych przez sieci CDN lub zapory sieciowe.
