IBM Research je pokazao nešto što bi moglo da promeni način na koji razmišljamo o tome šta je zapravo “najbolji” AI model. Njihov sistem ALTK-Evolve dostigao je vrh τ²-bench liste u kategoriji retail, i to sa GPT-4.1 — starijim modelom koji ne spada u takozvanu “reasoning” generaciju. Bez ikakvog doterivanja težina modela.
Konkretno, agent je postigao 67,5% Pass^4 skora na τ²-bench retail testu. To znači da je zadatak rešio na sva četiri nezavisna pokušaja kod 67,5% zadataka — što je iznad svakog retail unosa na listi lidera od 12. oktobra 2026. Rezultat je tim zanimljiviji jer je postignut na standardnom ReAct okviru, bez ikakvih arhitektonskih izmena. Jedina razlika u odnosu na osnovnu verziju je blok naučenih smernica dodat u sistemski prompt.
Šta je zapravo τ²-bench i zašto je težak?
τ²-bench, koji je razvila kompanija Sierra, meri koliko dobro agent vodi razgovor sa korisnikom u uslovima stvarnih ograničenja. Svaki zadatak spaja agenta sa LLM-simuliranim korisnikom koji ima jasan cilj, skup alata (provera porudžbine, izdavanje povraćaja, promena leta) i pisani dokument sa pravilima kojih se agent mora pridržavati. Zadatak se računa kao rešen samo kada konačno stanje baze podataka odgovara očekivanom ishodu — nagrada je strogo binarna, nema delimičnih poena.
Drugim rečima, agent mora da izvuče prave detalje iz razgovora, ostane u granicama politike i izvrši ispravne — često nepovratne — akcije. IBM je koristio dve domene ovog testa: retail i airline.
Kako funkcioniše “naučena memorija”?
ALTK-Evolve ne menja model. Umesto toga, analizira agentove pokušaje na trening zadacima i koristi isti GPT-4.1 da iz uspeha i promašaja destiluje kratka bihevioralna pravila: kako se autentifikuje korisnik, kako se potvrđuje transakcija, kako se obrađuje povraćaj. Te smernice se zatim dodaju u prompt agenta za naredne razgovore.
Isti model pokreće i izdvajanje smernica i samog agenta — nema doterivanja težina, nema ručne anotacije. IBM je ovaj pristup ranije demonstrirao na coding agentima, a sada ga testira u korisničkoj podršci, gde uspeh zavisi od poštovanja domenskih politika, razumevanja zahteva i izvršavanja pravih alatnih akcija.
Šta ovo govori o budućnosti AI agenata?
Nalaz je važan iz nekoliko razloga. Prvo, pokazuje da se sposobnost i pouzdanost agenta mogu poboljšati bez promene modela — što je znatno jeftinije i praktičnije za firme koje ne mogu sebi da priušte frontijer modele ili ne žele da ih stalno menjaju. Drugo, količina smernica zavisi od domene: optimalna količina “uputstva” nije univerzalna. I treće, bolji rezultati ne dolaze od više koraka u razgovoru, već od više tokena — naučene smernice troše kontekst, ali ne i dodatne interakcije.
IBM navodi i da naučene smernice poboljšavaju i agente koji koriste frontijer modele, što znači da pristup nije samo zamena za slabiji model. Ceo eksperiment je dokumentovan na Hugging Face blogu IBM Research tima, gde su dostupni i detalji o metodologiji i poređenju sa listom lidera.
Za srpski tech ekosistem, poruka je jasna: ako gradite AI agente za korisničku podršku, ne morate da jurite najnoviji model. Ponekad je dovoljno da agent nauči da pamti šta je radilo — i šta nije.