Systemy CRM i AI w biznesie • 1 min czytania • Autor: Piotr Witwicki

System AKV od Tsinghua obniża koszt agentów AI przez zarządzanie pamięcią podręczną

Badacze z Tsinghua udostępnili oprogramowanie AKV bazujące na SGLang, które służy do inżynierii pamięci podręcznej dla agentów AI. System ten zarządza historią rozmów poprzez operacje na pamięci podręcznej zamiast jej podsumowywania, co pozwala obniżyć średni koszt operacyjny o 27,7% w testach wydajnościowych.

System AKV dla agentów AI

Badacze z Tsinghua opracowali i opublikowali jako open source system AKV, który działa jako serwer inżynierii pamięci podręcznej dla agentów AI oparty na SGLang.

W tradycyjnym podejściu agenci AI podsumowują historię działań, aby zmieścić się w oknie kontekstu. Nowy system pozwala na usuwanie i zmienianie pozycji pamięci podręcznej KV bez tworzenia podsumowań.

W testach opartych na czterech benchmarkach dla agentów AI nowe rozwiązanie obniżyło średni koszt działania o 27,7%.

Opracowanie na podstawie: MarkTechPost

Tagi:sztuczna inteligencjamodele językoweagenci AIOpen Source