Inżynierowie OpenAI przedstawili szczegóły rozbudowy platformy pamięci masowej Habitat, która odpowiada za obsługę danych ChatGPT. System został dostosowany do pracy z ponad miliardem użytkowników rozmieszczonych w 40 regionach geograficznych. Do realizacji zadania wykorzystano usługę Azure Cosmos DB, rozwijaną we współpracy z zespołem Microsoft Azure.
W trakcie prac projektowych inżynierowie przeszli przez trzy fazy architektury wielodzierżawnej, decydując się ostatecznie na wspólnie zarządzane kontenery z funkcją przemieszczania danych. Wśród wdrożonych usprawnień znalazło się przechowywanie danych blisko użytkowników, selektywna replikacja zbiorów najbardziej wrażliwych na opóźnienia oraz zintegrowany mechanizm pamięci podręcznej.
Kolejnym krokiem modernizacji było przepisanie logiki serwera pośredniczącego na język Rust. Wprowadzone zmiany pozwoliły OpenAI uzyskać dwunastokrotnie szybszy odczyt danych, przy jednoczesnym zarządzaniu łącznym wolumenem przekraczającym 500 petabajtów.
