Premiera silnika DeepInfer i architektura podziału zadań
Firma DeepSeek udostępniła oprogramowanie DeepInfer, które stanowi silnik wnioskowania wykorzystywany między innymi przez model V4.1 Flash. Publikacja obejmuje komponenty odpowiedzialne za warstwę przetwarzania interfejsu programistycznego oraz rozproszone wnioskowanie. Oprogramowanie obsługuje dekodowanie spekulatywne, zbalansowane odtwarzanie i ustrukturyzowane generowanie wyników na platformach NVIDIA oraz Huawei Ascend.
Architektura rozwiązania rozdziela kodowanie wizualne, wstępne przetwarzanie oraz właściwe generowanie odpowiedzi. Każdy z tych etapów może być skalowany niezależnie pod kątem występujących ograniczeń sprzętowych. Rekomendowane konfiguracje sprzętowe wykorzystują standardowe maszyny z ośmioma akceleratorami dla fazy wstępnej oraz superwęzły liczące od 64 do 128 urządzeń dla fazy generowania. Faza generowania stosuje szeroki podział ekspertów w celu dystrybucji obciążenia przy jednoczesnym zachowaniu dużych rozmiarów paczek danych.
Zarządzanie pamięcią podręczną i hierarchia przechowywania
Projekt systemu opiera się na trwałym przechowywaniu bloków pamięci podręcznej w oddzielnym klastrze dyskowym SSD. Zadeklarowany czas przechowywania danych wynosi trzy dni dla ruchu generowanego przez autonomiczne systemy oraz siedmiodniowy okres dla tradycyjnych rozmów z chatbotem. Dowolny węzeł wykonujący wstępne przetwarzanie może pobrać zapisany prefiks, co pozwala na niezależne skalowanie warstwy obliczeniowej oraz pamięci masowej.
Wysoki wskaźnik trafień w pamięć podręczną wejściową ma kluczowe znaczenie dla ogólnych statystyk przepustowości. Mechanizm ten pozwala uniknąć ponownego obliczania powtarzalnych instrukcji oraz zawartości repozytoriów przesyłanych przez systemy automatyzacji. Stan krótkotrwały związany z mechanizmem uwagi o zmiennym oknie jest utrzymywany w pamięci operacyjnej hosta, a brakujące elementy są odtwarzane na podstawie ostatniej porcji tokenów bez konieczności przebudowywania całej historii.
Ekonomia i wyniki wydajnościowe
Raport inżynieryjny przedstawia dane produkcyjne dotyczące obsługi 155 bilionów tokenów dziennie z jednego klastra. Według opublikowanych obliczeń przychód z jednego akceleratora w godzinach poza szczytem wynosi odpowiednią kwotę, co przy szacowanych kosztach eksploatacji przekłada się na wysoką rentowność operacyjną samego procesu wnioskowania. Podane wartości pochodzą z pomiarów pierwotnych i nie były przedmiotem niezależnego audytu zewnętrznego.
Niezależne zespoły podjęły próby reprodukcji wyników za pomocą innych silników o otwartym kodzie źródłowym. Przeprowadzone testy wykazały zbliżoną przepustowość dekodowania w dopasowanych konfiguracjach sprzętowych. Eksperci zwracają jednak uwagę, że ostateczna opłacalność oraz wydajność zależą od struktury zadań, rzeczywistych kosztów sprzętu oraz sposobu uwzględnienia dodatkowych wydatków infrastrukturalnych.
Wyniki modeli w zadaniach agentowych i cyberbezpieczeństwa
Niezależne testy platform oceniających klasyfikują model V4.1 Flash na wysokich pozycjach w zadaniach związanych z programowaniem oraz działaniem w środowiskach agentowych. Oprogramowanie osiąga dobre rezultaty pod względem wskaźnika skuteczności przy zachowaniu niższych kosztów jednostkowych w porównaniu do konkurencyjnych rozwiązań zamkniętych.
W symulowanych testach obejmujących zadania z zakresu cyberbezpieczeństwa na sieciach korporacyjnych model wykazał wysoką skuteczność działania. Komentatorzy zwracają jednak uwagę na różnice w zużyciu tokenów oraz efektywności czasowej w stosunku do innych wiodących systemów, co wskazuje na potrzebę dalszej optymalizacji zużycia zasobów obliczeniowych.
