W usłudze AI Gateway udostępniono nową opcję wyboru modelu określaną jako cloudflare/auto. Po skonfigurowaniu tego parametru klasyfikator działający na krawędzi sieci Cloudflare podejmuje decyzję o skierowaniu zapytania do konkretnego dostawcy i modelu indywidualnie dla każdego wywołania API.

Dwuetapowy mechanizm klasyfikacji zapytań

Proces trasowania zapytań przebiega w dwóch osobnych krokach:

Filtrowanie wstępne: AI Gateway tworzy pulę dostępnych modeli, odrzucając te, które nie obsługują wskazanego formatu zapytania. Na tym etapie uwzględniane są również dane uwierzytelniające, zasady dostępu, konfiguracja rozliczeń oraz limity wydatków.
Klasyfikacja i ocena: model wielozadaniowy uruchamiany w usłudze Workers AI na procesorach GPU Cloudflare przypisuje zapytanie do 14 kategorii zadań. Oznacza je w skali od 1 do 5 w czterech obszarach: złożoności, wieloznaczności, stawki zadania oraz zależności od wcześniejszego kontekstu.

Ostateczny wybór następuje na podstawie wzoru użyteczności, w którym oczekiwana jakość odpowiedzi jest pomniejszana o adaptacyjną karę kosztową. Przy trudniejszych zadaniach waga ceny maleje na rzecz wyższej skuteczności modelu. Udostępnione dane z testów wskazują na możliwość zyskania około dziesięciu punktów niezawodności przy wydatkach niższych o prawie dwie trzecie.

Ryzyko związane z krótkim oknem kontekstu

Klasyfikator analizuje wyłącznie najnowsze wypowiedzi w konwersacji, ograniczone do maksymalnie 8 KiB tekstu. W długich interakcjach z agentami AI może to prowadzić do błędnej oceny ryzyka. Jeśli użytkownik na początku sesji zdefiniuje operację krytyczną, a na końcu wyda jedynie krótkie polecenie wykonania, klasyfikator może przypisać niski poziom ryzyka i skierować zapytanie do tańszego, mniej precyzyjnego modelu.

Zmiana modelu w trakcie jednej konwersacji wiąże się także z dodatkowymi kosztami. Bez przekazania identyfikatora sesji kolejne zapytania trafiają do różnych modeli, co uniemożliwia ponowne wykorzystanie pamięci podręcznej promptów i wymusza ponowne generowanie tokenów wnioskowania po stawkach dla tokenów wyjściowych.

Przejrzystość decyzji i obsługa API

Odpowiedzi zwrotne z AI Gateway zawierają nagłówki diagnostyczne cf-aig-routed-model oraz cf-aig-routing-reason z wartościami takimi jak cost_optimal_within_pool lub pinned_by_turn, co pozwala zweryfikować motywy podjętej decyzji. Użytkownicy mogą ograniczyć pulę modeli za pomocą nagłówków cf-aig-allowed-models oraz cf-aig-allowed-providers.

Domyślna pula obejmuje między innymi Claude Opus 5, Sonnet 5, Fable 5, GPT-5.6 Luna, Sol i Terra oraz Grok 4.5. Modele Opus 5.5 i GPT-6 Sol są dostępne wyłącznie po ich jawnym wskazaniu w nagłówkach. Auto Router jest bezpłatny w okresie wersji beta, obsługuje interfejsy Chat Completions oraz Responses API, lecz nie zapewnia wsparcia dla WebSockets. Dodawanie nowych modeli do macierzy punktacji wymaga ręcznej aktualizacji wyników po przeprowadzeniu testów porównawczych.