Firma OpenAI udostępniła po raz pierwszy model Decisions API szerokiemu gronu użytkowników. Tym samym przedsiębiorstwo wchodzi na rynek szybkich i tańszych modeli wnioskowania, na którym wcześniej dużą pozycję zdobył startup TypeSafe ze swoim modelem Jev wartym 7,6 miliarda dolarów.
Modele decyzyjne działają jak super klasyfikatory, które na podstawie zestawu opcji potrafią błyskawicznie podejmować wybory i oferować ocenę pewności swojej decyzji. Programiści zauważyli, że tego typu rozwiązania mogą zastąpić klasyczne modele językowe w wielu procesach, działając szybciej i przy znacznie niższych kosztach.
Nikunj Handa, menedżer produktu odpowiedzialny za API w OpenAI, przekazał, że jego zespół wziął model ChatGPT Luna i przekonfigurował go w celu przyspieszenia wnioskowania oraz obniżenia kosztów. Czas odpowiedzi udało się skrócić z zakresu od jednej do trzech sekund do poziomu między 100 a 180 milisekund.
Ogłoszony podczas dnia dla deweloperów model stał się dostępny dla wszystkich klientów. W publicznej wersji dodano nowe modalności głosowe i wizualne oraz zoptymalizowano zasoby pod kątem opóźnień w różnych regionach świata. W początkowych testach klienci tacy jak Box, Datadog, Ramp czy Speak wykorzystali interfejs do zastąpienia dotychczasowych modeli, co pozwoliło między innymi skrócić czas między akcjami w aplikacjach językowych.
Na rynku funkcjonują także inne rozwiązania tego typu, w tym model D1 Ultra od firmy Liquid oraz Elephant-1 od Base Lab, które zajmują czołowe miejsca w rankingach takich jak AIM System One Index czy Artificial Analysis Decision Index. Przedsiębiorstwo Opper AI przygotowało specjalny benchmark JevMan, w którym modele decyzyjne grają w grę PacMan, testując zdolność do podejmowania szybkich decyzji w kilkusekundowych odstępach.
Przedstawiciele OpenAI wskazują, że przewaga ich modelu może leżeć w multimodalności oraz klasyfikacji obrazów, a dalsze zwiększanie prędkości działania może w przyszłości umożliwić obsługę pojedynczych klatek w materiałach wideo.
