Modele językowe w matematyce

W ostatnich miesiącach zaawansowane modele językowe zaczęły odnosić spektakularne sukcesy w dziedzinie matematyki. OpenAI znalazło kontrprzykład dla przypuszczenia Erdősa o odległościach jednostkowych, które pozostawało otwarte od 1946 roku. Miesiąc później opublikowano dowód dotyczący problemu cyklicznego podwójnego pokrycia grafu, a następnie rozwiązania kolejnych otwartych zagadnień i dowód równań Naviera-Stokesa. Z kolei Anthropic zaprezentowało sformalizowanie ostatniego twierdzenia Fermata oraz zaawansowane oszacowania hipotezy Riemanna.

Tradycyjne rozwiązywanie problemów przez ludzi opiera się na sekwencji olśnień i następującej po nich wielomiesięcznej pracy. Matematyk WT Gowers opisuje trudność dowodu jako najkrótszą sekwencję wskazówek pozwalającą ekspertom na jej odtworzenie. Złożoność rośnie wykładniczo wraz z liczbą potrzebnych spostrzeżeń. Ludzie rozwiązują problemy metodą wszerz, generując kierunki, badając je pobieżnie i porzucając większość z nich z uwagi na ograniczenia czasowe.

Jak sztuczna inteligencja przeszukuje przestrzeń rozwiązań

Modele językowe działają zupełnie inaczej, przeszukując ścieżki w sposób w głąb. Pojedynczy monit generuje odpowiedź, a równolegli agenci mogą badać dziesiątki podejść jednocześnie. Kluczowym elementem umożliwiającym wykorzystanie ogromnej mocy obliczeniowej na niepewne pomysły jest automatyczny weryfikator. Pozwala on na odsianie błędnych ścieżek w ciągu kilku minut, co dla człowieka zajęłoby miesiące.

Systemy te wykorzystują specyficzną architekturę opartą na trzech głównych komponentach:

Projektant: Tworzy monity na podstawie wcześniejszych błędów i ślepych uliczek, które stanowią negatywne wskazówki dla kolejnych iteracji.
Solver: Przetwarza monity i generuje kandydatów na rozwiązania, korzystając z równoległych agentów obliczeniowych.
Weryfikator: Sprawdza poprawność logiczną argumentacji i ustala, czy osiągnięto żądany wynik.

Dzięki temu model nie potrzebuje początkowo definitywnego kierunku. Każde niepowodzenie wraca do systemu jako negatywna wskazówka, która instruuje model, jakich ścieżek nie należy powtarzać w kolejnej iteracji.

Czynnik rozgałęzienia i ograniczenia algorytmów

Wzór na złożoność uwzględnia czynnik rozgałęzienia, czyli liczbę wiarygodnych wskazówek na każdym kroku. Ludzie redukują ten współczynnik dzięki intuicji i wyczuciu, odrzucając zbędne gałęzie. AI musi badać niemal każdą wiarygodną gałąź, co robi jednak bardzo szybko. Z tego powodu modele radzą sobie najlepiej tam, gdzie przestrzeń rozwiązań jest stosunkowo w wąska, a kluczowe pojęcia zostały już wcześniej odkryte przez ludzi.

Dowody takie jak rozwiązanie równań Naviera-Stokesa czy prace nad hipotezami pokazują, że sztuczna inteligencja doskonale doprowadza do końca skomplikowane i nudne obliczenia matematyczne tam, gdzie główne skoki koncepcyjne zostały już wykonane. Matematycy i badacze zachowują przewagę w dziedzinach, gdzie drzewo poszukiwań jest głębokie, a współczynnik rozgałęzienia na tyle wysoki, że bez rygorystycznej ludzkiej intuicji przeszukanie staje się nieopłacalne.