Działanie i zakres nowej usługi skanowania
Firma Anthropic uruchomiła usługę OSS Scanner, czyli darmowe i dobrowolne rozwiązanie wykrywające podatności w projektach o otwartym kodzie. Zgłoszeni twórcy otrzymują okresowe raporty tworzone przez modele, takie jak Claude Mythos. Informacje trafiają do autorów bez wcześniejszej weryfikacji przez badaczy, a twórcy samodzielnie decydują o sprawdzeniu ustaleń i wdrożeniu poprawek.
Wcześniejsze testy zespołu Frontier Red Team pokazały ograniczenia ludzkiego nadzoru. W ciągu sześciu miesięcy modele wykryły ponad 29 tysięcy potencjalnych luk, jednak badacze przeanalizowali ręcznie około 6 tysięcy z nich. Każdy raport ze skanera zawiera scenariusz odtworzenia problemu, wyjaśnienie domniemanej podatności oraz proponowaną poprawkę.
Doświadczenia twórców oprogramowania
Przedstawiciele projektów open-source zgłaszają zróżnicowane opinie na temat nadsyłanych analiz. Część z nich wskazuje na wysoką skuteczność otrzymanych materiałów, podczas gdy inni zauważają zawyżone oceny stopnia zagrożenia oraz nieporozumienia dotyczące modeli zagrożeń dla konkretnych projektów.
- PostgreSQL: Szybki dostęp do zgłoszeń pomógł usunąć błędy przed oficjalną publikacją wersji, a część poprawek mogła zostać wykorzystana bez modyfikacji.
- OpenSSL: Surowe raporty bywają tak samo dobre lub lepsze od tych dostarczanych przez ludzi, szczególnie w przypadkach, gdy działający kod weryfikacyjny ułatwia sprawdzenie problemu.
- wolfSSL: Większość nadesłanych raportów okazała się poprawna, a część z nich doprowadziła do nadania numerów CVE.
- curl: Daniel Stenberg przypisał podatność typu use-after-free w kodzie przesyłania HTTP/2 działaniu narzędzia Anthropic, co doprowadziło do wydania poprawki w wersji 8.23.0 projektu.
Warunki uczestnictwa i procedury zgłoszeń
Zgłoszenia do programu odbywają się za pomocą żądania pull request w serwisie GitHub, które zawiera konfigurację projektu oraz plik Dockerfile przygotowujący środowisko budowania i zależności. Po wstępnej konfiguracji skanowanie odbywa się bez dostępu do internetu. Dodatkowy plik modelu zagrożeń pozwala opisać oczekiwania dotyczące zakresu i stopnia ważności.
Kwalifikacja projektów odbywa się indywidualnie, a pierwszeństwo mają kluczowe inicjatywy infrastrukturalne zdolne do obsługi zweryfikowanych zgłoszeń o wysokim stopniu zagrożenia. Twórcy mogą w dowolnym momencie wstrzymać odbieranie raportów lub wycofać projekt z usługi. Niezweryfikowane zgłoszenia nie są objęte automatycznym dziewięćdziesięciodniowym terminem ujawnienia informacji, dopóki nie zostaną zweryfikowane ręcznie.