{"id":3772,"date":"2026-10-16T13:19:42","date_gmt":"2026-10-16T13:19:42","guid":{"rendered":"https:\/\/11000.dev\/index.php\/2026\/10\/16\/nvidia-otvara-pandorinu-kutiju-indijskih-jezika-2-8-biliona-tokena-za-ai-bez-engleskog-akcenta\/"},"modified":"2026-10-16T13:19:42","modified_gmt":"2026-10-16T13:19:42","slug":"nvidia-otvara-pandorinu-kutiju-indijskih-jezika-2-8-biliona-tokena-za-ai-bez-engleskog-akcenta","status":"publish","type":"post","link":"https:\/\/11000.dev\/index.php\/2026\/10\/16\/nvidia-otvara-pandorinu-kutiju-indijskih-jezika-2-8-biliona-tokena-za-ai-bez-engleskog-akcenta\/","title":{"rendered":"NVIDIA otvara Pandorinu kutiju indijskih jezika: 2.8 biliona tokena za AI bez engleskog akcenta"},"content":{"rendered":"<p>Kompanija NVIDIA je objavila ne\u0161to \u0161to bi moglo da promeni pravila igre za milijarde ljudi koji ne govore engleski. U pitanju je projekat <strong>Scaling Indic Pretraining<\/strong>, koji je obuhvatio neverovatnih 2.8 biliona tokena podataka na indijskim jezicima. Cilj je jasan \u2014 da AI modeli kona\u010dno prestanu da budu &#8220;engleski govornici sa akcentom&#8221; i postanu istinski vi\u0161ejezi\u010dni.<\/p>\n<figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/11000.dev\/wp-content\/uploads\/2026\/10\/x0aObe_0mduBjWFuKBGoV.png\" alt=\"NVIDIA otvara Pandorinu kutiju indijskih jezika: 2.8 biliona tokena za AI bez engleskog akcenta\" \/><\/figure>\n<p>Do sada su veliki jezi\u010dki modeli (LLM) uglavnom u\u010deni na engleskom, \u0161to je zna\u010dilo da su jezici poput hindija, tamilskog ili bengalskog dobijali mrvice sa stola. NVIDIA je sada odlu\u010dila da taj sto postavi naopa\u010dke. Objavili su kompletan <strong>open data generation pipeline<\/strong> \u2014 alat koji omogu\u0107ava automatsko prikupljanje, filtriranje i obradu ogromnih koli\u010dina teksta na jezicima koji nisu engleski.<\/p>\n<h2>\u0160ta je zapravo objavljeno?<\/h2>\n<p>Na <a href=\"https:\/\/huggingface.co\/blog\/nvidia\/scaling-indic-pretraining\" target=\"_blank\" rel=\"noopener\">Hugging Face blogu<\/a> NVIDIA je predstavila nekoliko klju\u010dnih resursa. Prvo, tu je dataset <strong>Nemotron-CC-v2<\/strong> sa skoro 9 milijardi zapisa, namenjen pre-trainingu modela. Zatim, <strong>Nemotron-Personas-India<\/strong>, kolekcija od 3 miliona sinteti\u010dkih profila koji poma\u017eu modelima da razumeju kontekst indijske kulture i svakodnevice.<\/p>\n<p>Posebno zanimljiv je <strong>indivibe<\/strong> dataset, koji je razvio indijski startap Sarvam AI. Re\u010d je o skupu podataka koji meri &#8220;vajb&#8221; jezika \u2014 nijanse, sleng i neformalne izraze koje klasi\u010dni prevodioci \u010desto proma\u0161e.<\/p>\n<h2>Za\u0161to je ovo va\u017eno van Indije?<\/h2>\n<p>Iako se sve vrti oko indijskih jezika, ovaj projekat je zapravo <strong>\u0161ablon<\/strong> za sve manje zastupljene jezike na svetu. Srpski, recimo, spada u kategoriju jezika sa relativno malo kvalitetnih podataka za obuku AI modela. Ono \u0161to je NVIDIA uradila za Indiju \u2014 automatizovani pipeline za generisanje i \u010di\u0161\u0107enje podataka \u2014 mo\u017ee se primeniti i na na\u0161e prostore.<\/p>\n<p>U svetu gde <strong>AI<\/strong> sve vi\u0161e odlu\u010duje o tome ko ima pristup informacijama, jezi\u010dka ravnopravnost postaje pitanje digitalne pismenosti. Ako model ne razume srpski dovoljno dobro, on ne mo\u017ee da pomogne ni studentu u Ni\u0161u, ni programeru u Novom Sadu.<\/p>\n<h2>Tehni\u010dki deo: kako su to izveli?<\/h2>\n<p>NVIDIA je koristila kombinaciju <strong>Nemotron-3-Super-120B<\/strong> i <strong>Nemotron-3.5-Super-VL<\/strong> modela za automatsko ozna\u010davanje i filtriranje podataka. Proces uklju\u010duje:<\/p>\n<p><strong>1. Prikupljanje<\/strong> \u2014 scraping web stranica, knjiga i arhiva na indijskim jezicima.<br \/>\n<strong>2. Deduplikaciju<\/strong> \u2014 uklanjanje ponavljanja koja tro\u0161e ra\u010dunarske resurse.<br \/>\n<strong>3. Kvalitativno filtriranje<\/strong> \u2014 modeli procenjuju da li je tekst koherentan i koristan.<br \/>\n<strong>4. Sinteti\u010dko generisanje<\/strong> \u2014 popunjavanje praznina u domenima gde nema dovoljno podataka.<\/p>\n<p>Rezultat je pipeline koji se mo\u017ee ponoviti za bilo koji jezik, pod uslovom da imate dovoljno sirovih podataka i ra\u010dunarske snage.<\/p>\n<h2>\u0160ta ovo zna\u010di za budu\u0107nost AI?<\/h2>\n<p>NVIDIA ovim potezom ne samo da otvara vrata za bolje modele na indijskom tr\u017ei\u0161tu \u2014 ona postavlja standard za <strong>open data<\/strong> pristup u AI industriji. Umesto da kompanije dr\u017ee svoje datasete pod klju\u010dem, NVIDIA ih deli sa zajednicom.<\/p>\n<p>To je dugoro\u010dno pametan potez. \u0160to vi\u0161e developera koristi njihove alate, to \u0107e vi\u0161e modela biti optimizovano za NVIDIA hardver. A u trci za AI dominaciju, hardver je \u010desto va\u017eniji od softvera.<\/p>\n<p>Za sada, ostaje da vidimo da li \u0107e ovaj pristup za\u017eiveti i van Indije. Ako ho\u0107e, mo\u017eda jednog dana dobijemo AI koji ne samo da razume srpski, ve\u0107 i zna \u0161ta zna\u010di &#8220;\u0107ao&#8221; u razli\u010ditim kontekstima.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Kompanija NVIDIA je objavila ne\u0161to \u0161to bi moglo da promeni pravila igre za milijarde ljudi koji ne govore engleski. U pitanju je projekat Scaling Indic Pretraining, koji je obuhvatio neverovatnih 2.8 biliona tokena podataka na indijskim jezicima. Cilj je jasan \u2014 da AI modeli kona\u010dno prestanu da budu &#8220;engleski govornici sa akcentom&#8221; i postanu istinski [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":3771,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"content-type":"","footnotes":""},"categories":[103,104],"tags":[],"class_list":["post-3772","post","type-post","status-publish","format-standard","has-post-thumbnail","category-ai","category-tehnologija"],"_links":{"self":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/3772","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/comments?post=3772"}],"version-history":[{"count":0,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/3772\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media\/3771"}],"wp:attachment":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media?parent=3772"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/categories?post=3772"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/tags?post=3772"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}