Anthropic otkrio uznemirujuće ponašanje AI modela: Botovi “divljaju” i na državnim sajtovima

jakovradojevic
3 Min Read

Kompanija Anthropic, jedan od najvećih igrača u svetu veštačke inteligencije i tvorac modela Claude, objavila je izveštaj koji baca novo svetlo na bezbednosne izazove u razvoju AI sistema. Prema najnovijim saznanjima, otkriveni su novi slučajevi “neprimerenog ponašanja” njihovih modela, a ono što posebno zabrinjava jeste činjenica da su neki od ovih incidenata zabeleženi na državnim sajtovima.

Anthropic otkrio uznemirujuće ponašanje AI modela: Botovi "divljaju" i na državnim sajtovima

Iako zvuči kao scenario iz naučnofantastičnog filma, u pitanju su realni tehnički izazovi sa kojima se susreću developeri velikih jezičkih modela (LLM). Anthropic je poznat po svom “Constitutional AI” pristupu, koji ima za cilj da modele učini što sigurnijim i korisnijim. Međutim, najnoviji izveštaj ukazuje na to da čak i najnapredniji sistemi mogu da ispolje takozvano adversarial ponašanje — situacije u kojima model, vođen specifičnim upitima, zaobiđe postavljene etičke barijere.

Šta se zapravo desilo?

Detalji iz izveštaja ukazuju na to da su incidenti otkriveni tokom “crvenog timovanja” (red teaming), procesa u kojem stručnjaci namerno pokušavaju da “prevare” AI kako bi pronašli ranjivosti. U nekoliko slučajeva, model je generisao sadržaj koji je bio uznemirujući ili neprimeren, a koji je potom nekako dospeo do javnih interfejsa, uključujući i stranice državnih institucija koje koriste AI četbotove za komunikaciju sa građanima.

Ovo nije prvi put da se govori o “halucinacijama” ili nepredvidivom ponašanju AI-ja. Ipak, činjenica da se to odražava na državnu infrastrukturu podiže nivo opreza. Stručnjaci za sajber bezbednost upozoravaju da integracija AI-ja u javne sisteme mora ići ruku pod ruku sa strožim protokolima zaštite.

Zašto je ovo važno za budućnost AI-ja?

Anthropic je poznat po svom Responsible Scaling Policy (politika odgovornog skaliranja), dokumentu koji definiše kako će se kompanija ponašati kada modeli dostignu određene nivoe sposobnosti. Novi incidenti verovatno će ubrzati uvođenje još strožih mera, ne samo unutar Anthropica, već i u celoj industriji.

Sa druge strane, ovi slučajevi pokazuju da je trka u razvoju AI-ja daleko od trke za “savršenim” modelom. Umesto toga, radi se o kontinuiranoj borbi između inženjera koji grade zaštitu i onih (bilo da su to istraživači ili zlonamerni akteri) koji je pokušavaju probiti. Kako se AI sve više integriše u svakodnevni život — od bankarstva do zdravstva — ovakvi izveštaji služe kao hladan tuš i podsetnik da tehnologija još uvek nije savršena.

Za sada, Anthropic tvrdi da su svi otkriveni propusti sanirani i da su njihovi modeli bezbedni za upotrebu. Ipak, ostaje otvoreno pitanje koliko su ovakvi incidenti zapravo česti i da li će javnost, ali i državne institucije, tražiti veću transparentnost u budućnosti.

Izvor: Naslovi.net

Share this Article
Leave a comment