Google Cloud wydaje llm-d 1.0 ze sterowaniem ruchem uwzględniającym pamięć podręczną dla flot TPU i GPU

Google, Red Hat i IBM wydali llm-d 1.0, otwarty stos natywny dla systemu Kubernetes przeznaczony do rozproszonego wnioskowania LLM. Narzędzie dodaje wielodostępną kontrolę przepływu, aktualizacje bez przerw w działaniu oraz sterowanie ruchem uwzględniające agenta w środowiskach vLLM, SGLang, TPU i GPU.

Artykuł Google Cloud Ships llm-d 1.0 With Cache-Aware Routing for TPU and GPU Fleets ukazał się po raz pierwszy w MarkTechPost.