OpenAI otvorio vrata spoljnim ekspertima: počinje prva faza ugrađenih procena bezbednosti AI modela

jakovradojevic
4 Min Read

OpenAI je potpisao ugovore sa četiri nezavisna evaluatora — Apollo Research, METR, Transluce i Goodfire — za prvu fazu takozvanih „ugrađenih procena” (embedded assessments). Reč je o modelu saradnje u kojem spoljni stručnjaci dobijaju dubinski pristup internim modelima, sistemima i dokumentaciji kompanije, kako bi procenili usklađenost modela i efikasnost zaštitnih mehanizama tokom dužeg perioda.

OpenAI otvorio vrata spoljnim ekspertima: počinje prva faza ugrađenih procena bezbednosti AI modela

Ovo nije samo još jedno saopštenje o „posvećenosti bezbednosti”. Ugrađene procene podrazumevaju da nezavisni eksperti dobiju pristup resursima koje koriste i sami OpenAI istraživači — uključujući checkpoint-e modela, izvorni kod, podatke za treniranje i evaluaciju, sisteme za nadzor, tehničku dokumentaciju, ali i direktne razgovore sa istraživačima i inženjerima koji rade na tim modelima. Cilj je da procenjivači imaju dovoljno konteksta i dokaza da sprovedu nezavisne evaluacije i pronađu propuste koje sama kompanija možda nije predvidela.

Šta će zapravo raditi spoljni eksperti

Prve procene fokusiraju se na usklađenost i zaštitne mehanizme modela tokom treniranja i interne upotrebe, i nadovezuju se na postojeće „safety case” dokumente kompanije. OpenAI navodi da ove aktivnosti podržavaju i obaveze preuzete u okviru White House Accord on Super Intelligence, sporazuma kojim se kompanija obavezala na nezavisne procene svojih bezbednosnih kontrola.

OpenAI otvorio vrata spoljnim ekspertima: počinje prva faza ugrađenih procena bezbednosti AI modela

Apollo Research će, na primer, procenjivati da li bi modeli mogli prikriveno da rade protiv namera svojih developera i da li bi ih postojeći zaštitni sistemi uočili. Njihova procena biće podeljena u dve faze i pokriva četiri tvrdnje: da treniranje nije podsticalo subverziju, da jake evaluacije i red teaming ne izazivaju subverzivno ponašanje, da modeli nisu pokušali subverziju tokom interne upotrebe i da bi razlozi za takvo ponašanje bili detektabilni. Za prvu fazu OpenAI će im dati pristup odabranim javnim i neobjavljenim modelima, checkpoint-ima, relevantnim podacima i rezultatima evaluacija, kao i alatima i računarskim resursima za nezavisno testiranje.

Goodfire će, s druge strane, ugostiti istraživače za interpretabilnost i koristiti sopstvenu platformu za analizu unutrašnjosti modela. Njihov glavni zadatak je nadzor nad procesom treniranja, debagovanje i usklađenost, a primarni korisnici njihovih nalaza biće interni OpenAI istraživači, koji će ih koristiti za unapređenje bezbednosti. Goodfire će s vremena na vreme objavljivati i sopstvene nalaze.

Zašto je ovo važno

Kako AI sposobnosti ubrzano rastu, a sa njima i potencijalni rizici, nezavisno izveštavanje o tome kako laboratorije procenjuju i upravljaju tim rizicima postaje sve važnije za javnost. OpenAI navodi da ova saradnja može doprineti jačanju zajedničkih standarda za nezavisne procene i transparentnost cele industrije.

OpenAI otvorio vrata spoljnim ekspertima: počinje prva faza ugrađenih procena bezbednosti AI modela

Treba imati u vidu da su ovo tek pilot procene — prva faza. Kompanija kaže da će naučeno iskoristiti za produbljivanje saradnje sa nezavisnim ekspertima u narednim mesecima. Detalji o tome šta će tačno METR i Transluce raditi u ovoj fazi nisu razrađeni u objavi, ali je jasno da je okvir postavljen: spoljni eksperti ulaze unutar laboratorije, a ne posmatraju je sa strane. Za industriju koja se često kritikuje zbog nedovoljne transparentnosti, to je korak koji će se pratiti — i po rezultatima, i po tome koliko će zaista toga biti objavljeno.

Više detalja o samom programu možete pronaći na zvaničnom OpenAI blogu.

Share this Article
Leave a comment