Interfaze tworzy modele sztucznej inteligencji do zadań o charakterze deterministycznym, które sprawdzają się w medycynie, prawie czy finansach. System obsługuje między innymi optyczne rozpoznawanie znaków, wykrywanie obiektów oraz transkrypcję mowy. W przeciwieństwie do tradycyjnych modeli językowych, rozwiązania te zwracają konkretne wyniki wraz ze współczynnikiem pewności oraz współrzędnymi źródła na stronie, co ułatwia weryfikację poprawności danych.
Architektura backendu i piaskownica kodu
Cały system, obejmujący interfejs oraz backend obsługujący 50 milionów żądań miesięcznie, działa na platformie Vercel bez konieczności konfiguracji osobnej infrastruktury sieciowej czy zabezpieczeń. Wykorzystanie funkcji serverless w tej samej bazie kodu co frontend upraszcza wdrażanie. Gdy wymagane są obliczenia, model przekazuje kod do Vercel Sandbox, gdzie jest on uruchamiany w izolowanym środowisku. Zadania wymagające większych zasobów, takie jak web scraping przy użyciu Puppeteer, działają na serwerach Node.js dzięki zasobom Fluid compute.
Niezawodność routingu i obsługa cyklu życia
Firma korzysta z zewnętrznych dostawców hostujących modele o otwartych wagach do czyszczenia danych. Aby zabezpieczyć system przed przerwami w działaniu dostawców, platforma stosuje mechanizm AI Gateway. Narzędzie to automatycznie przekierowuje ruch do innego dostawcy w przypadku awarii lub przekroczenia limitu zapytań, a także pozwala testować i porównywać wydajność różnych wersji modeli. Z kolei system powiadomień e-mail oparty na Workflow SDK obsługuje długotrwałe procesy i automatyczne ponawianie prób po błędach. Wdrożenia nowych wersji modeli odbywają się za pomocą podglądu adresów URL, co przypisuje logi do konkretnych wersji kodu.
