Badacze przetestowali, czy wyniki wyszukiwania Google oraz Responses API od OpenAI mogą służyć jako zamiennik do sprawdzania cytowań generowanych przez ChatGPT. Analiza wykazała, że zamienniki częściej trafiają w te same serwisy niż w dokładne strony internetowe.
Wyniki testów API oraz wyszukiwania
W testach wykorzystano wersje modeli ChatGPT. Badacze przeanalizowali pytania z publicznej bazy danych Search Arena, obejmujące język angielski i chiński oraz cztery typy zapytań: rekomendacje, wyszukiwanie faktów, syntezę informacji i analizę.
Połączenie wyników wyszukiwania Google oraz API OpenAI pozwoliło odnaleźć średnio 28,3% stron cytowanych przez model GPT-5.3 Instant oraz 26,2% stron dla GPT-5.5 Instant. W przypadku całych domen skuteczność była wyższa i wyniosła odpowiednio 50,3% oraz 48,7%.
Sposób działania zapytań i zmienność wyników
W testach zaobserwowano, że ChatGPT modyfikuje oryginalną treść pytań przed wysłaniem ich do zewnętrznych dostawców. W wersjach GPT-5.3 Instant oraz GPT-5.5 Instant model nigdy nie użył dosłownego brzmienia pytania użytkownika. Dodatkowo zapytania wprowadzane w języku chińskim w większości przypadków były przetwarzane w języku angielskim.
Wyniki różniły się pomiędzy poszczególnymi uruchomieniami tego samego zapytania. Na przykład 44,5% unikalnych stron zwróconych dla danego pytania w testach GPT-5.5 Instant pojawiło się tylko w jednym z 20 uruchomień. Autorzy badania zalecają monitorowanie widoczności zarówno na poziomie pojedynczych podstron, jak i całych domen, wielokrotne uruchamianie tych samych promptów oraz uwzględnianie zmian modeli przy analizie danych.