Framework Harbor służący do oceny agentów sztucznej inteligencji zyskał obsługę środowiska Docker Sandboxes. Dzięki temu każde zadanie testowe uruchamiane jest w oddzielnej mikromaszynie wirtualnej z własnym jądrem, co zapobiega ingerencji w system gospodarza oraz inne procesy. Testowanie agentów kodujących wiąże się z instalowaniem pakietów, edycją plików oraz uruchamianiem poleceń, a proces ten powtarza się wielokrotnie w ramach benchmarków takich jak Terminal-Bench. Zastosowana izolacja pozwala na bezpieczne wykonywanie kodu pisanego przez modele językowe na dużą skalę.

Zarządzanie siecią i konfiguracja środowiska

W chmurze Docker Cloud Sandboxes polityka sieciowa pozwala zadaniom na pobranie zależności podczas konfiguracji, a następnie blokuje dostęp do internetu na czas pracy agenta. Taki mechanizm gwarantuje identyczne warunki sieciowe dla każdego testu, co eliminuje częste źródło rozbieżności w wynikach. Integracja obsługuje również narzędzie Docker Compose, umożliwiając uruchamianie wielokontenerowych zadań w ramach jednej piaskownicy w chmurze.

Dostępność i wymagania techniczne

Nowa funkcja jest dostępna w nocnej wersji budowlanej Docker Sandboxes oraz w wersji stabilnej. Do uruchamiania zadań w chmurze wymagane jest konto z uprawnieniami do piaskownic oraz odpowiednie zmienne środowiskowe z tokenem dostępowym. Uruchomienie lokalne odbywa się za pomocą interfejsu wiersza poleceń po zalogowaniu i dodaniu odpowiedniej floty docelowej do polecenia Harbor.