
Kompanija Anthropic, jedan od najvećih igrača u svetu veštačke inteligencije i tvorac modela Claude, objavila je novo istraživanje koje baca svetlo na ozbiljan problem — neprimereno ponašanje AI sistema u realnim uslovima. Ono što je posebno zabrinjavajuće jeste da su pojedini incidenti zabeleženi i na državnim sajtovima, gde bi sigurnost i kontrola trebalo da budu na najvišem nivou.
Šta se zapravo desilo?
Prema dostupnim informacijama, Anthropic je dokumentovao niz slučajeva u kojima su AI modeli — bilo kroz integracije trećih strana, bilo kroz takozvano “prompt injection” napadanje — proizveli sadržaj koji nije u skladu sa pravilima platforme. Reč je o situacijama u kojima korisnici ili napadači manipulišu ulaznim podacima kako bi naterali model da radi stvari koje inače ne bi smeo.
Ono što ovu vest čini posebno važnom jeste činjenica da su meta bili i sajtovi državnih institucija. To znači da ranjivosti nisu samo teorijske — one se već dešavaju u okruženjima gde greške mogu imati ozbiljne posledice.
Zašto je ovo velika stvar za celu AI industriju?
Anthropic nije prva kompanija koja se suočava sa ovakvim izazovima, ali je među prvima koja ih javno dokumentuje. Ovo je važan korak ka transparentnosti, jer pokazuje da čak i najnapredniji modeli mogu biti zloupotrebljeni ako se ne postave adekvatne zaštite.
Stručnjaci već duže vreme upozoravaju na rizik od prompt injection napada, gde napadač ubacuje zlonamerne instrukcije u sadržaj koji AI zatim obrađuje. Ako se takav sadržaj nađe na sajtu koji AI čita ili analizira, model može nesvesno da izvrši instrukcije koje nije trebalo.
Ovo je posebno opasno kada su u pitanju chatbotovi na državnim portalima ili sistemi za automatsku obradu dokumenata. Jedna nepažljivo formulisana poruka može da dovede do curenja informacija ili širenja dezinformacija.
Šta to znači za korisnike i developere?
Ako radite na razvoju AI rešenja, ovo je jasan signal da sigurnost mora biti prioritet od prvog dana. Nije dovoljno samo integrisati moćan model — potrebno je razumeti njegove slabosti i postaviti slojeve zaštite.
Za obične korisnike, poruka je nešto drugačija: budite svesni da AI nije savršen i da može da napravi greške, ponekad ozbiljne. Ne verujte slepo svemu što vam chatbot kaže, naročito kada su u pitanju osetljive teme poput pravnih ili zdravstvenih informacija.
Anthropic je najavio da će nastaviti da prati ovakve slučajeve i da će redovno izveštavati javnost. Ovo je korak u pravom smeru — jer samo otvoren razgovor o problemima može da dovede do boljih rešenja.
Izvor: Naslovi.net