{"id":2443,"date":"2026-10-01T16:59:30","date_gmt":"2026-10-01T16:59:30","guid":{"rendered":"https:\/\/11000.dev\/index.php\/2026\/10\/01\/ai-agenti-sve-cesce-lazu-bez-lazi-problem-koji-je-gori-od-halucinacije\/"},"modified":"2026-10-01T16:59:30","modified_gmt":"2026-10-01T16:59:30","slug":"ai-agenti-sve-cesce-lazu-bez-lazi-problem-koji-je-gori-od-halucinacije","status":"publish","type":"post","link":"https:\/\/11000.dev\/index.php\/2026\/10\/01\/ai-agenti-sve-cesce-lazu-bez-lazi-problem-koji-je-gori-od-halucinacije\/","title":{"rendered":"AI agenti sve \u010de\u0161\u0107e la\u017eu bez la\u017ei: Problem koji je gori od halucinacije"},"content":{"rendered":"

\"AI<\/figure>\n<\/p>\n

Kada AI model pogre\u0161i, prva asocijacija je halucinacija<\/strong> \u2014 izmi\u0161ljanje \u010dinjenica koje nigde ne postoje. Ali istra\u017eiva\u010di iz kompanije Multiverse Computing upozoravaju na mnogo podmukliji problem: situaciju u kojoj je informacija ta\u010dna<\/em>, ali je pripisana pogre\u0161nom izvoru. Rezultat? Odgovor koji deluje savr\u0161eno utemeljen, a zapravo je obi\u010dna zamena teza.<\/p>\n

U svom novom radu pod nazivom ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents<\/a>, tim predstavlja pristup koji ne proverava samo da li je tvrdnja ta\u010dna, ve\u0107 i da li je vezana za pravi izvor. Klju\u010dna poruka je jednostavna, ali nezgodna za industriju: grounded ne zna\u010di isto \u0161to i ta\u010dno pripisano<\/strong>.<\/p>\n

Zamka koju standardni testovi ne vide<\/h2>\n

Zamislite AI agenta koji povla\u010di podatke iz vi\u0161e alata \u2014 recimo, iz baze korisni\u010dkih naloga i iz internog pravilnika o refundacijama. Agent generi\u0161e odgovor u kome navodi da rok za povra\u0107aj novca iznosi 30 dana i kao izvor navede korisni\u010dki nalog. Problem: taj podatak postoji u pravilniku, ali ne i u nalogu. \u010cinjenica je ta\u010dna, ali citirani izvor je pogre\u0161an.<\/p>\n

Ovakav scenario prolazi kroz ve\u0107inu dana\u0161njih evaluacija. Sistem vidi da tvrdnja postoji negde u skupu izlaza alata i ozna\u010di je kao \u201eutemeljenu”. Source-blind provera vernosti<\/strong> ostaje zelena, iako je odgovor zapravo obmanjuju\u0107. U svetu u kome se AI agenti sve vi\u0161e oslanjaju na lance alata i eksternih servisa, ovo nije teorijski problem \u2014 to je svakodnevna operativna realnost.<\/p>\n

\u0160ta ProvenanceGuard radi druga\u010dije<\/h2>\n

Re\u0161enje koje predla\u017eu autori nije samo jo\u0161 jedan sloj provere, ve\u0107 promena samog ugovora izme\u0111u agenta i sistema za verifikaciju. Umesto da se tvrdnje proveravaju \u201eu masi”, ProvenanceGuard zadr\u017eava ID izvora i alata<\/strong> kroz ceo proces: od razlaganja odgovora na pojedina\u010dne tvrdnje, preko provere podr\u0161ke, do provere pripisivanja. Na kraju, svaka tvrdnja dobija sopstvenu oznaku \u2014 dozvoljena ili blokirana \u2014 koju \u010dovek mo\u017ee da pregleda.<\/p>\n

Autori u komentarima ispod rada poja\u0161njavaju su\u0161tinu: kada sistem ka\u017ee da je odgovor \u201egrounded”, to mora da zna\u010di da ga podr\u017eava izvor koji je u odgovoru naveden<\/em>, a ne bilo koji izlaz alata. Razlika izme\u0111u ta dva kriterijuma je, kako navode, razlika izme\u0111u dva razli\u010dita nivoa pu\u0161tanja u produkciju.<\/p>\n

Za\u0161to ne jednostavno \u2014 drugi LLM da proveri?<\/h2>\n

Naj\u010de\u0161\u0107e pitanje koje se name\u0107e jeste: zar ne bi bilo lak\u0161e pustiti jo\u0161 jedan jeftiniji LLM da presudi o tome? Autori priznaju da u radu nemaju direktno pore\u0111enje sa takvim pristupom, ali iznose klju\u010dni argument \u2014 LLM sudija mo\u017ee i sam da pogre\u0161i<\/strong>. Uvo\u0111enje generativne provere unosi nove gre\u0161ke, uklju\u010duju\u0107i upravo one vrste zabune izvora koje sistem treba da uhvati.<\/p>\n

Zato ProvenanceGuard koristi eksplicitno pra\u0107enje izvora i kalibrisane provere podr\u0161ke, umesto da se oslanja na jo\u0161 jednu generativnu procenu. Pristup kombinuje embedding modele za pronala\u017eenje verovatnog izvora, NLI modele i random forest klasifikator za proveru da li taj izvor zaista podr\u017eava tvrdnju.<\/p>\n

\u0160ta to zna\u010di za timove koji grade AI agente<\/h2>\n

Prakti\u010dan zahtev za in\u017eenjere koji povezuju MCP agente je jasan: kada va\u0161a evaluacija ka\u017ee \u201egrounded”, proverite da li mislite na podr\u017eano od strane bilo kog alata<\/em> ili podr\u017eano od strane izvora koji je odgovor naveo<\/em>. U okru\u017eenjima sa vi\u0161e alata, druga opcija je ona koja hvata me\u0161anje izvora pre nego \u0161to \u010dovek poveruje citatu.<\/p>\n

U eri u kojoj AI agenti sve samostalnije donose odluke i generi\u0161u odgovore na osnovu desetina izvora, pitanje nije samo da li je informacija ta\u010dna. Pitanje je \u2014 kome je pripisujemo<\/strong>. I upravo tu se krije razlika izme\u0111u sistema kome mo\u017eete verovati i onog koji samo dobro zvu\u010di.<\/p>\n","protected":false},"excerpt":{"rendered":"

Kada AI model pogre\u0161i, prva asocijacija je halucinacija \u2014 izmi\u0161ljanje \u010dinjenica koje nigde ne postoje. Ali istra\u017eiva\u010di iz kompanije Multiverse Computing upozoravaju na mnogo podmukliji problem: situaciju u kojoj je informacija ta\u010dna, ali je pripisana pogre\u0161nom izvoru. Rezultat? Odgovor koji deluje savr\u0161eno utemeljen, a zapravo je obi\u010dna zamena teza. U svom novom radu pod nazivom […]<\/p>\n","protected":false},"author":1,"featured_media":2442,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"content-type":"","footnotes":""},"categories":[103,104],"tags":[],"class_list":["post-2443","post","type-post","status-publish","format-standard","has-post-thumbnail","category-ai","category-tehnologija"],"_links":{"self":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/2443","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/comments?post=2443"}],"version-history":[{"count":0,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/posts\/2443\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media\/2442"}],"wp:attachment":[{"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/media?parent=2443"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/categories?post=2443"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/11000.dev\/index.php\/wp-json\/wp\/v2\/tags?post=2443"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}