{"id":5028,"date":"2026-10-28T18:56:49","date_gmt":"2026-10-28T18:56:49","guid":{"rendered":"https:\/\/11000.dev\/index.php\/2026\/10\/28\/kako-specijalizovan-recnik-moze-da-smanji-troskove-ai-inferencije-za-77-odsto\/"},"modified":"2026-10-28T18:56:49","modified_gmt":"2026-10-28T18:56:49","slug":"kako-specijalizovan-recnik-moze-da-smanji-troskove-ai-inferencije-za-77-odsto","status":"publish","type":"post","link":"https:\/\/11000.dev\/index.php\/2026\/10\/28\/kako-specijalizovan-recnik-moze-da-smanji-troskove-ai-inferencije-za-77-odsto\/","title":{"rendered":"Kako specijalizovan re\u010dnik mo\u017ee da smanji tro\u0161kove AI inferencije za 77 odsto"},"content":{"rendered":"<p><strong>Tim istra\u017eiva\u010da iz Dharma-AI objavio je na Hugging Face blogu zanimljivo istra\u017eivanje koje bi moglo da promeni na\u010din na koji razmi\u0161ljamo o tro\u0161kovima AI modela. Re\u010d je o specijalizaciji re\u010dnika (vocabulary) kod malih jezi\u010dkih modela (SLM), \u0161to je dovelo do smanjenja tro\u0161kova inferencije za \u010dak 77 odsto u realnoj aplikaciji.<\/strong><\/p>\n<p><figure class=\"wp-block-image size-large\"><img decoding=\"async\" src=\"https:\/\/11000.dev\/wp-content\/uploads\/2026\/10\/OWGtXjnbBov-7SI_04o4z.png\" alt=\"Kako specijalizovan re\u010dnik mo\u017ee da smanji tro\u0161kove AI inferencije za 77 odsto\" \/><\/figure>\n<\/p>\n<p>Kada se modeli specijalizuju za odre\u0111enu domenu ili zadatak putem fine-tuninga na op\u0161tim open-source modelima poput Qwen i Gemma, oni nasle\u0111uju re\u010dnik koji je napravljen za mnoge domene i op\u0161te primene. To mo\u017ee biti veliki problem, jer se tokenizer obi\u010dno tretira kao fiksna karakteristika baznog modela \u2014 nasle\u0111uje se i ostavlja na miru. Me\u0111utim, za model specijalizovan za jednu domenu, tokenizer mo\u017ee biti jedan od najve\u0107ih poluga za smanjenje tro\u0161kova, a postavlja se pre bilo kog koraka treniranja.<\/p>\n<h2>Problem fragmentacije i vi\u0161ka<\/h2>\n<p>Jedan od sistema koje tim vodi u produkciji je automatski ocenjiva\u010d portugalskih eseja, izgra\u0111en na Qwen3-4B modelu. Model prima esej, zadatak i prate\u0107e tekstove, a vra\u0107a JSON procenu sa ocenom i komentarom za svaku kompetenciju. Iako je model ve\u0107 bio mali \u2014 sa 4 milijarde parametara \u2014 i ve\u0107 treniran za zadatak, njegov tokenizer je i dalje bio originalni Qwen3-4B, napravljen za mnoge jezike i vrste teksta.<\/p>\n<p>To je stvaralo dva problema. Prvi je <strong>fragmentacija<\/strong>: tokenizer deli na mnogo delova upravo ono \u0161to domena najvi\u0161e ponavlja. U ocenjiva\u010du, svaki odgovor po\u010dinje istim JSON omota\u010dem, istim imenima kompetencija, istim frazama za evaluaciju. Svaka od tih sekvenci ko\u0161ta nekoliko tokena tamo gde bi jedan bio dovoljan, a model pla\u0107a za svaki od njih na svakom zahtevu.<\/p>\n<p>Drugi problem je <strong>vi\u0161ak<\/strong>: re\u010dnik nosi desetine hiljada unosa koje domena nikada ne koristi, a model izra\u010dunava skor za sve njih pri svakom generisanom tokenu. Model pode\u0161en da ocenjuje ispite iz biologije ameri\u010dkih \u0161kola skoro nikada ne\u0107e napisati mnoge od tih unosa.<\/p>\n<h2>VocabX pristup<\/h2>\n<p>Tim je ponovo izgradio re\u010dnik metodom koju nazivaju VocabX, zadr\u017eavaju\u0107i isti bazni model, iste podatke i isti recept za treniranje. Rezultati su impresivni: smanjenje tro\u0161kova inferencije za 77 odsto bez promene baznog modela. Brojke u ovom \u010dlanku dolaze iz trenutne verzije rada koji je jo\u0161 u pregledu i mogu se promeniti pre objavljivanja.<\/p>\n<p>Su\u0161tina je u tome da se re\u010dnik specijalizuje oko tro\u0161ka svakog tokena, a ne njegove frekvencije. Ovo je va\u017ean pomak u razmi\u0161ljanju o optimizaciji AI modela \u2014 umesto da se fokusira na to koliko se \u010desto ne\u0161to pojavljuje, tim je optimizovao za to koliko ko\u0161ta. Rezultat je re\u010dnik koji je mnogo efikasniji za specifi\u010dnu primenu.<\/p>\n<p>Za developere koji rade sa malim jezi\u010dkim modelima u produkciji, ovo je zna\u010dajan nalaz. Tokenizer se \u010desto zanemaruje kao &#8220;stvar baznog modela&#8221;, ali ovo istra\u017eivanje pokazuje da mo\u017ee biti klju\u010dna poluga za smanjenje tro\u0161kova. Vi\u0161e detalja o metodu i rezultatima mo\u017eete prona\u0107i u <a href=\"https:\/\/huggingface.co\/blog\/Dharma-AI\/vocabx-vocabulary-specialization\" target=\"_blank\">originalnom blog postu na Hugging Face-u<\/a>.<\/p>\n<p>Istra\u017eivanje \u0107e biti objavljeno kao rad pod nazivom VocabX, a tim poziva zajednicu da prati dalji razvoj. Za sada, jasno je da specijalizacija re\u010dnika mo\u017ee doneti zna\u010dajne u\u0161tede u realnim aplikacijama \u2014 \u0161to je tema koja \u0107e sigurno zanimati sve koji grade AI sisteme za produkciju.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Tim istra\u017eiva\u010da iz Dharma-AI objavio je na Hugging Face blogu zanimljivo istra\u017eivanje koje bi moglo da promeni na\u010din na koji razmi\u0161ljamo o tro\u0161kovima AI modela. Re\u010d je o specijalizaciji re\u010dnika (vocabulary) kod malih jezi\u010dkih modela (SLM), \u0161to je dovelo do smanjenja tro\u0161kova inferencije za \u010dak 77 odsto u realnoj aplikaciji. Kada se modeli specijalizuju za [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":5027,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"content-type":"","footnotes":""},"categories":[103,104],"tags":[],"class_list":["post-5028","post","type-post","status-publish","format-standard","has-post-thumbnail","category-ai","category-tehnologija"],"_links":{"self":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/5028","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/comments?post=5028"}],"version-history":[{"count":0,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/5028\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media\/5027"}],"wp:attachment":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media?parent=5028"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/categories?post=5028"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/tags?post=5028"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}