Lepsza alternatywa dla architektury Transformers w modelach LLM

Od końca 2024 roku obserwuję nowy trend w przestrzeni Generative AI, czyli innowacje w podstawowej architekturze Transformerów, mające na celu lepszą obsługę dłuższych kontekstów i zwiększenie wydajności. Najpierw pojawiły się Large Concept Models (LCMs) od Meta, Byte Latent Transformers czy Mamba. Teraz przyszła kolej na Google, które nie zawiodło, przedstawiając Titans.

Czym jest Google Titans?

Titans to nowa rodzina architektur neuronowych zaprojektowana przez Google w celu rozwiązania ograniczeń istniejących modeli (głównie Transformers), szczególnie w zakresie obsługi zależności długoterminowych i szerokich okien kontekstowych. Kluczową innowacją w Titans jest wprowadzenie modułu neuronowej pamięci długoterminowej, który uczy się zapamiętywać kontekst historyczny, umożliwiając modelowi efektywne wykorzystanie zarówno pamięci krótko- jak i długoterminowej podczas wnioskowania.

Kluczowe cechy Google Titans:

Neuronowy Moduł Pamięci Długoterminowej:

• Titans wprowadza głęboki neuronowy moduł pamięci długoterminowej, który uczy się zapamiętywać i przechowywać dane historyczne w czasie rzeczywistym
• Moduł wykorzystuje metrykę zaskoczenia opartą na gradiencie sieci neuronowej względem wejścia, co pomaga określić, jak godne zapamiętania jest dane wejście
• Zawiera mechanizm zanikania, który zarządza pojemnością pamięci, pozwalając modelowi zapominać mniej istotne informacje z czasem, podobnie jak robią to ludzie

Zarządzanie Pamięcią:

• Moduł pamięci jest zaprojektowany do obsługi długich sekwencji poprzez adaptacyjne zapominanie nieaktualnych informacji
• Proces aktualizacji pamięci jest sformułowany jako gradient descent z momentum, co pozwala modelowi zachować informacje o przeszłych zaskoczeniach

Trzy Warianty Titans:

1. Memory as a Context (MAC): Pamięć traktowana jako kontekst dla bieżących informacji

Memory as a Gate (MAG): Moduł pamięci działa równolegle z mechanizmem uwagi przesuwnego okna

Memory as a Layer (MAL): Moduł pamięci służy jako warstwa w sieci neuronowej

Pamięć Trwała:

• Titans zawiera również pamięć trwałą – uczące się parametry specyficzne dla zadania
• Ta pamięć jest niezależna od wejścia i pomaga modelowi zachować informacje związane z zadaniem w różnych kontekstach

Wydajność i Skalowalność:

• Titans mogą obsługiwać okna kontekstowe większe niż 2 miliony tokenów
• Architektura jest zoptymalizowana zarówno pod kątem treningu jak i wnioskowania

Jak działają Google Titans?

Wyobraź sobie czytanie bardzo długiej książki. Musisz pamiętać ważne szczegóły z wcześniejszych rozdziałów, aby zrozumieć późniejsze wydarzenia.

Titans pomagają AI robić coś podobnego, używając dwóch typów pamięci:

Pamięć Krótkotrwała:

• Działa jak skupienie uwagi na aktualnie czytanej stronie
• Wykorzystuje mechanizm uwagi do przetwarzania bieżących informacji

Pamięć Długotrwała:

• Działa jak pamiętanie kluczowych szczegółów z wcześniejszych rozdziałów
• Specjalny moduł pamięci uczy się przechowywać ważne informacje z przeszłości
• Inteligentnie wybiera, co warto zapamiętać, a co można zapomnieć

Kluczowe Funkcje w Prostych Słowach:

• Pamięć Oparta na Zaskoczeniu: System lepiej zapamiętuje wydarzenia nietypowe i nieoczekiwane
• Inteligentne Zapominanie: Model może zapominać mniej istotne informacje, aby efektywniej zarządzać pamięcią
• Połączenie Pamięci: Łączy uwagę krótkoterminową z pamięcią długoterminową dla lepszego zrozumienia kontekstu

Dlaczego to jest ważne?

Długie dokumenty:

Titans mogą obsługiwać książki, dokumenty prawne czy prace naukowe, gdzie konieczne jest pamiętanie informacji z wielu wcześniejszych stron.

Dane szeregów czasowych:

W przypadku prognozowania pogody czy przewidywania trendów giełdowych, Titans potrafią zapamiętywać wzorce z przeszłości, aby tworzyć lepsze prognozy.

Lepsze rozumowanie:

Titans lepiej radzą sobie z zadaniami wymagającymi zrozumienia i wnioskowania na podstawie długich sekwencji, jak odpowiadanie na złożone pytania czy rozwiązywanie zagadek.

Przykład z życia:

Wyobraź sobie, że oglądasz serial o skomplikowanej fabule. Titans:

• Zwraca uwagę na bieżącą scenę (pamięć krótkotrwała)
• Pamięta ważne wydarzenia z wcześniejszych odcinków (pamięć długotrwała)
• Zapomina nieistotne szczegóły (mechanizm zapominania)
• Wykorzystuje wszystkie te informacje do zrozumienia sytuacji i przewidywania dalszego rozwoju wydarzeń

Czym Titans różni się od Transformers?

1. Obsługa pamięci: Krótkoterminowa vs Długoterminowa

Transformers:

• Świetnie radzą sobie z bieżącym kontekstem (jak ostatnie kilka zdań czy akapitów)
• Używają mechanizmu uwagi do analizy relacji między słowami w aktualnym kontekście
• Mają ograniczone okno kontekstowe i nie pamiętają wcześniejszych fragmentów tekstu

Titans:

• Dodają moduł pamięci długoterminowej
• Pamiętają ważne informacje spoza bieżącego okna kontekstowego
• Łączą krótkoterminową uwagę z pamięcią długoterminową

2. Skalowalność: Obsługa długich sekwencji

Transformers:

• Mają trudności z bardzo długimi sekwencjami
• Ich mechanizm uwagi staje się obliczeniowo kosztowny przy dłuższych tekstach

Titans:

• Obsługują znacznie dłuższe sekwencje (ponad 2 miliony tokenów)
• Używają wydajniejszego systemu pamięci, który kompresuje i przechowuje ważne informacje

3. Zarządzanie pamięcią: Zapominanie mniej ważnych informacji

Transformers:

• Nie mają wbudowanego mechanizmu zapominania
• Muszą albo skracać sekwencje, albo przetwarzać wszystko

Titans:

• Posiadają mechanizm zapominania
• Potrafią decydować, które informacje są ważne i warte zapamiętania

4. Uczenie się oparte na zaskoczeniu

Transformers:

• Traktują wszystkie części sekwencji wejściowej jednakowo
• Nie mają wbudowanego sposobu priorytetyzacji zaskakujących informacji

Titans:

• Lepiej zapamiętują zaskakujące lub nieoczekiwane wydarzenia
• Działają podobnie do ludzkiej pamięci, która lepiej zapamiętuje nietypowe sytuacje

5. Architektura: Połączenie uwagi i pamięci

Transformers:

• Polegają wyłącznie na mechanizmach uwagi
• Analizują relacje między wszystkimi elementami w bieżącym kontekście

Titans:

• Łączą uwagę z modułem pamięci neuronowej
• Efektywniej obsługują zarówno bieżące jak i historyczne informacje

6. Wydajność w zadaniach wymagających długiego kontekstu

Transformers:

• Dobrze radzą sobie z krótkimi i średnimi kontekstami
• Mają trudności z bardzo długimi sekwencjami

Titans:

• Doskonale radzą sobie z zadaniami wymagającymi długiego kontekstu
• Potrafią odnajdywać konkretne informacje w bardzo długich dokumentach

Podsumowanie

Google Titans stanowi znaczący postęp w architekturze AI, rozwiązując ograniczenia Transformers poprzez wprowadzenie modułu pamięci długoterminowej. Ta innowacja umożliwia obsługę dłuższych sekwencji, wydajniejsze zarządzanie pamięcią i priorytetyzację ważnych informacji. Łącząc krótkoterminową uwagę z pamięcią długoterminową, Titans doskonale sprawdzają się w zadaniach wymagających głębokiego zrozumienia kontekstu.

Choć Transformers pozostają skuteczne w krótszych zadaniach, Titans oferują skalowalne i wydajne rozwiązanie dla wyzwań związanych z długim kontekstem, potencjalnie zmieniając przyszłość dużych modeli językowych (LLM). Jednak czy Titans całkowicie zastąpią Transformers, pozostaje kwestią otwartą, ponieważ obie architektury mają swoje unikalne zalety i zastosowania.

Źródło: Medium.com