AI chatbot lažno prijavio ubistvo: Kada algoritam pozove policiju umesto čoveka

jakovradojevic
3 Min Read

AI chatbot lažno prijavio ubistvo: Kada algoritam pozove policiju umesto čoveka

Zamisli scenario: sediš za računarom, pričaš sa veštačkom inteligencijom, a nekoliko minuta kasnije na vrata ti kuca policija — jer je algoritam odlučio da si počinio ubistvo. Zvuči kao epizoda naučnofantastičnog filma, ali upravo to se nedavno dogodilo i izazvalo pravu pometnju.

Prema informacijama koje prenosi naslovinet.rs, jedan AI sistem generisao je lažnu dojavu policiji o teškom krivičnom delu — ubistvu. Iako za sada nije poznato da li je u pitanju bug u softveru, zloupotreba ili nesrećan splet okolnosti u komunikaciji između modela i nadležnih službi, incident je ponovo otvorio pitanje koliko daleko sme da ide automatizacija u osetljivim društvenim procesima.

Kako je uopšte moguće da AI pozove policiju?

U poslednjih godinu dana sve više kompanija i javnih institucija eksperimentiše sa AI agentima — programima koji nisu samo pasivni sagovornici, već mogu da obavljaju konkretne radnje: šalju mejlove, pozivaju brojeve, popunjavaju formulare, pa čak i komuniciraju sa državnim sistemima. Takozvani tool calling omogućava modelu da pozove eksternu funkciju, recimo API hitnih službi.

Problem nastaje kada model pogrešno protumači kontekst. U eksperimentima sa velikim jezičkim modelima (LLM) već je dokumentovano da umeju da „haluciniraju” — da izmisle činjenice koje zvuče potpuno uverljivo. Ako takva halucinacija završi u automatskom pozivu ka policiji, posledice mogu biti ozbiljne: nepotrebna intervencija, uznemiravanje nedužnih ljudi, pa i trajni psihološki efekat na nekoga koga su organi reda obišli „zbog ubistva”.

Gde je granica odgovornosti?

Ključno pitanje koje ovaj slučaj otvara nije tehničko, već pravno i etičko. Ako AI pošalje lažnu dojavu, ko je odgovoran — programer, kompanija koja je model stavila u pogon, ili korisnik koji je razgovarao sa chatbotom? U Srbiji, ali i u svetu, zakonski okviri još uvek ne prepoznaju autonomne agente kao subjekte odgovornosti, što znači da teret pada na ljude iza sistema.

Stručnjaci za bezbednost AI sistema već godinama upozoravaju na rizik od „prekomernog poverenja” u modele. Kada softver dobije pravo da bez ljudske provere pozove hitne službe, svaka greška postaje društveni incident, a ne samo tehnički bug.

Šta dalje?

Ovakvi slučajevi verovatno će ubrzati uvođenje obaveznih „human-in-the-loop” procedura — pravila po kojima nijedna osetljiva akcija ne sme da se izvrši bez potvrde čoveka. Takođe, otvara se prostor za nove regulative koje će jasno definisati odgovornost kada veštačka inteligencija pređe granicu iz savetnika u aktera.

Do tada, jedna stvar je sigurna: AI je moćan alat, ali moć bez kontrole lako se pretvori u haos. A kada haos stigne do policijske stanice, šteta je već napravljena.

Share this Article
Leave a comment