OpenAI je u novom inženjerskom tekstu otkrio detalje o tome kako je njihova platforma za skladištenje podataka, Habitat, uspela da obezbedi brz i pouzdan pristup podacima za više od milijardu ChatGPT korisnika u 40 geografskih regiona. Izazov nije bio mali — reč je o sistemu koji mora da odgovori u milisekundama, dok istovremeno rukuje sa preko 500 petabajta podataka.
U drugom delu serijala (prvi deo bavio se razvojem Habitata od Pythona do servisa), fokus je na Azure Cosmos DB, komponenti koja stoji u osnovi celokupnog sistema. OpenAI je, u bliskoj saradnji sa Microsoft Azure timom, došao do rešenja koje nazivaju co-managed containers — pristupa multi-tenancy modelu koji omogućava odlične performanse čitanja na globalnom nivou.
Od single-tenancy do multi-tenancy: evolucija u tri faze
Inženjeri OpenAI-ja (Jon Lee, Hrachya Hakobyan i Chaomin Yu) opisuju put kroz tri faze. U prvoj fazi oslanjali su se na primitivne mehanizme Cosmos DB-a, ali su se suočili sa ograničenjima logičkih particija, “bučnim susedima” (noisy neighbors) i slabim particijama. Prelazak na izolaciju radnog opterećenja i single-tenancy u drugoj fazi doneo je stabilnost, ali je otkrio nove izazove poput planiranja kapaciteta i nedostatka stabilnog agregatnog rasta.
Treća faza donela je multi-tenancy kao podrazumevani model, uz mogućnost premeštanja podataka. Ključni problemi koje su morali da reše bili su “hot key throttling” i obezbeđivanje kvaliteta usluge (QoS). Rešenje je pronađeno u serverless modu i boljoj pouzdanosti kroz zajednički upravljane servise.
Performanse na globalnom nivou
Da bi sistem bio brz širom sveta, OpenAI primenjuje nekoliko strategija: podaci se skladište blizu korisnika kada kapacitet dozvoljava, široko se repliciraju samo najmanji i najosetljiviji na latenciju skupovi podataka, a za sve ostalo oslanjaju se na integrisano keširanje. Dodatno, smanjen je overhead proksija zahvaljujući Rust-u, a unapređen je i sistem za Change Data Capture (CDC).
Ovaj tekst je dragocen uvid u to kako funkcioniše infrastruktura koja stoji iza najpopularnijeg AI proizvoda današnjice. OpenAI ističe da je put bio iterativan: prvo pouzdanost za misijski kritičan saobraćaj, zatim brzina za globalne korisnike, i na kraju — spretno upravljanje na masivnoj skali. Više detalja možete pronaći u originalnom inženjerskom tekstu.