Hugging Face je objavio novu bazu podataka koja rešava jedan od najčešćih problema sa kojima se susreću timovi koji razvijaju veštačku inteligenciju — pitanje da li njihov model uopšte može da se pokrene na AWS Trainium čipovima. Reč je o repozitorijumu pod nazivom torch-neuronx-model-support, koji na jednom mestu okuplja spisak modela sa Hub-a kompatibilnih sa ovim specijalizovanim hardverom.
Do sada je bilo prilično mučno utvrditi da li neki model radi na Trainium-u. Inženjeri su morali da prolaze kroz dokumentaciju, testiraju modele “na slepo” ili da se oslanjaju na tuđa iskustva sa forumima. Nova baza to menja — dovoljno je da pogledate listu i odmah znate na čemu ste.
Zašto je Trainium sve važniji
AWS Trainium je čip koji je Amazon razvio specijalno za treniranje i pokretanje modela mašinskog učenja. Cilj je jasan: smanjiti zavisnost od Nvidijinih GPU-ova, koji su godinama dominantni na tržištu AI hardvera, i istovremeno sniziti troškove obrade. Za kompanije koje već koriste AWS infrastrukturu, mogućnost da model pokrenu upravo na Trainium-u može značiti ozbiljnu uštedu.
Problem je, međutim, bio u tome što softverski ekosistem nije uvek išao u korak sa hardverom. torch-neuronx je biblioteka koja omogućava da PyTorch modeli rade na Neuron čipovima, ali nije svaki model bio podržan. Nova baza podataka upravo tu prazninu popunjava — ona je živi registar koji se redovno ažurira.
Šta to praktično znači za developere
Za timove koji razvijaju AI rešenja, ovo je korak ka manje “guesswork-a” i više predvidivog rada. Umesto da troše sate na probe, mogu da konsultuju listu i odmah znaju da li im se model uklapa u Trainium okruženje. To posebno dobro dođe startapima koji nemaju luksuz da eksperimentišu nedeljama.
Hugging Face ovim potezom dodatno učvršćuje svoju poziciju kao centralno mesto za AI zajednicu. Njihov blog objavio je detalje o bazi, a sama lista dostupna je na Hub-u i otvorena je za doprinose zajednice.
Kontekst: trka za hardverskom nezavisnošću
Ovaj potez treba posmatrati u širem kontekstu. Veliki igrači poput Google-a, Amazon-a i Microsoft-a ulažu ogromne resurse u razvoj sopstvenih AI čipova — Google ima TPU, Amazon Trainium i Inferentia, a Microsoft radi na sopstvenim akceleratorima. Cilj je jasan: smanjiti troškove i zavisnost od jednog dobavljača. Alati poput ove baze podataka su sitni, ali ključni delovi te slagalice, jer bez softverske podrške ni najbolji hardver ne vredi mnogo.
Ako se trend nastavi, možemo očekivati još sličnih registara i alata koji će olakšati prelazak sa GPU-ova na alternativne arhitekture. Za sada, svako ko planira da pokrene model na AWS Trainium-u ima jedno mesto manje da brine.