{"id":2436,"date":"2026-10-01T16:59:03","date_gmt":"2026-10-01T16:59:03","guid":{"rendered":"https:\/\/11000.dev\/index.php\/2026\/10\/01\/ai2-predstavio-olmo-core-3-otvorena-infrastruktura-za-treniranje-moe-modela-do-triliona-parametara\/"},"modified":"2026-10-01T16:59:03","modified_gmt":"2026-10-01T16:59:03","slug":"ai2-predstavio-olmo-core-3-otvorena-infrastruktura-za-treniranje-moe-modela-do-triliona-parametara","status":"publish","type":"post","link":"https:\/\/11000.dev\/index.php\/2026\/10\/01\/ai2-predstavio-olmo-core-3-otvorena-infrastruktura-za-treniranje-moe-modela-do-triliona-parametara\/","title":{"rendered":"Ai2 predstavio Olmo-core 3: Otvorena infrastruktura za treniranje MoE modela do triliona parametara"},"content":{"rendered":"
\"Ai2<\/figure>\n

Istra\u017eiva\u010dki institut Ai2<\/strong> (Allen Institute for AI) objavio je Olmo-core 3<\/strong>, zna\u010dajnu nadogradnju svog okvira za razvoj velikih jezi\u010dkih modela, sa potpuno redizajniranim sistemom za treniranje mixture-of-experts (MoE)<\/strong> arhitektura. Ova vest sti\u017ee sa Hugging Face bloga i predstavlja jo\u0161 jedan korak ka demokratizaciji razvoja ve\u0161ta\u010dke inteligencije.<\/p>\n

\"Ai2<\/figure>\n

Su\u0161tina problema kojim se Olmo-core 3 bavi je jednostavna, ali te\u0161ka za re\u0161avanje: treniranje velikih AI modela zahteva ogromne ra\u010dunarske resurse, \u0161to poskupljuje razvoj i \u010dini ga nedostupnim manjim laboratorijama i akademskim istra\u017eiva\u010dima. MoE modeli nude efikasniji pristup \u2014 sadr\u017ee mnogo vi\u0161e nau\u010denih komponenti (parametara), ali ne zahtevaju da svaki input koristi sve njih. Problem nastaje kada treba skladi\u0161titi ceo model u GPU memoriji i usmeravati inpute ka pravim ekspertima unutar klastera.<\/p>\n

\u0160ta donosi novi pristup?<\/h2>\n

Olmo-core 3 je napravio klju\u010dni zaokret u na\u010dinu na koji se modeli distribuiraju. Dok je prethodna MoE implementacija koristila fully sharded data parallelism (FSDP)<\/strong> \u2014 sistem koji je skupljao i ponovo delio te\u017eine modela za svaki mali batch podataka \u2014 nova verzija prelazi na distributed data parallelism (DDP)<\/strong>. Eksperti ostaju stalno prisutni na GPU-ovima, a relevantni podaci se usmeravaju ka njima, \u010dime se izbegava ponovno prikupljanje te\u017eina.<\/p>\n

Rezultati su impresivni. U preliminarnom testu na osam NVIDIA B300 GPU-ova, MoE model sa 47 milijardi parametara obradio je 52.000 tokena po sekundi po GPU-u<\/strong>, u pore\u0111enju sa 19.400 kod starije implementacije \u2014 \u0161to je pove\u0107anje propusnosti od oko 2,7 puta<\/strong>.<\/p>\n

\"Ai2<\/figure>\n

Skaliranje do triliona parametara<\/h2>\n

U jednom od benchmark testova, Ai2 tim je pove\u0107ao broj eksperata sa 8 na 128, dok je istovremeno zadr\u017eao selekciju samo \u010detiri eksperta po tokenu. Broj aktivnih parametara po tokenu ostao je stabilan na oko 3,2 milijarde, dok je ukupni kapacitet modela porastao sa 4,6 na 47 milijardi parametara \u2014 uz pad propusnosti treniranja manji od 5 procenata.<\/p>\n

Ista infrastruktura testirana je i na preko trilion ukupnih parametara<\/strong>, \u0161to je granica koja je donedavno bila rezervisana samo za najve\u0107e kompanije sa prakti\u010dno neograni\u010denim bud\u017eetima.<\/p>\n

Ai2 je ovim potezom nastavio tradiciju otvorenosti \u2014 kompletan tehni\u010dki izve\u0161taj, kod i interaktivni demo dostupni su javnosti. Za razliku od NVIDIA Megatron-Core, koji je ve\u0107 etablirano re\u0161enje za treniranje velikih MoE modela, Olmo-core 3 nudi integrisani stack unutar okvira koji stoji iza cele Olmo porodice modela.<\/p>\n

Ovo je deo \u0161ireg trenda u AI zajednici gde otvoreni modeli i infrastruktura postepeno smanjuju jaz izme\u0111u velikih igra\u010da i manjih istra\u017eiva\u010dkih timova. Vi\u0161e detalja mo\u017ee se prona\u0107i u originalnom blog postu na Hugging Face-u<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"

Istra\u017eiva\u010dki institut Ai2 (Allen Institute for AI) objavio je Olmo-core 3, zna\u010dajnu nadogradnju svog okvira za razvoj velikih jezi\u010dkih modela, sa potpuno redizajniranim sistemom za treniranje mixture-of-experts (MoE) arhitektura. Ova vest sti\u017ee sa Hugging Face bloga i predstavlja jo\u0161 jedan korak ka demokratizaciji razvoja ve\u0161ta\u010dke inteligencije. Su\u0161tina problema kojim se Olmo-core 3 bavi je jednostavna, […]<\/p>\n","protected":false},"author":1,"featured_media":2433,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"content-type":"","footnotes":""},"categories":[103,104],"tags":[],"class_list":["post-2436","post","type-post","status-publish","format-standard","has-post-thumbnail","category-ai","category-tehnologija"],"_links":{"self":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/2436","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/comments?post=2436"}],"version-history":[{"count":0,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/2436\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media\/2433"}],"wp:attachment":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media?parent=2436"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/categories?post=2436"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/tags?post=2436"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}