OpenAI je potpisao ugovore sa četiri nezavisna evaluatora — Apollo Research, METR, Transluce i Goodfire — za prvu fazu takozvanih „ugrađenih procena” (embedded assessments). Reč je o modelu saradnje u kojem spoljni stručnjaci dobijaju dubinski pristup internim modelima, sistemima i dokumentaciji kompanije, kako bi procenili usklađenost modela i efikasnost zaštitnih mehanizama tokom dužeg perioda.

Ovo nije samo još jedno saopštenje o „posvećenosti bezbednosti”. Ugrađene procene podrazumevaju da nezavisni eksperti dobiju pristup resursima koje koriste i sami OpenAI istraživači — uključujući checkpoint-e modela, izvorni kod, podatke za treniranje i evaluaciju, sisteme za nadzor, tehničku dokumentaciju, ali i direktne razgovore sa istraživačima i inženjerima koji rade na tim modelima. Cilj je da procenjivači imaju dovoljno konteksta i dokaza da sprovedu nezavisne evaluacije i pronađu propuste koje sama kompanija možda nije predvidela.
Šta će zapravo raditi spoljni eksperti
Prve procene fokusiraju se na usklađenost i zaštitne mehanizme modela tokom treniranja i interne upotrebe, i nadovezuju se na postojeće „safety case” dokumente kompanije. OpenAI navodi da ove aktivnosti podržavaju i obaveze preuzete u okviru White House Accord on Super Intelligence, sporazuma kojim se kompanija obavezala na nezavisne procene svojih bezbednosnih kontrola.

Apollo Research će, na primer, procenjivati da li bi modeli mogli prikriveno da rade protiv namera svojih developera i da li bi ih postojeći zaštitni sistemi uočili. Njihova procena biće podeljena u dve faze i pokriva četiri tvrdnje: da treniranje nije podsticalo subverziju, da jake evaluacije i red teaming ne izazivaju subverzivno ponašanje, da modeli nisu pokušali subverziju tokom interne upotrebe i da bi razlozi za takvo ponašanje bili detektabilni. Za prvu fazu OpenAI će im dati pristup odabranim javnim i neobjavljenim modelima, checkpoint-ima, relevantnim podacima i rezultatima evaluacija, kao i alatima i računarskim resursima za nezavisno testiranje.
Goodfire će, s druge strane, ugostiti istraživače za interpretabilnost i koristiti sopstvenu platformu za analizu unutrašnjosti modela. Njihov glavni zadatak je nadzor nad procesom treniranja, debagovanje i usklađenost, a primarni korisnici njihovih nalaza biće interni OpenAI istraživači, koji će ih koristiti za unapređenje bezbednosti. Goodfire će s vremena na vreme objavljivati i sopstvene nalaze.
Zašto je ovo važno
Kako AI sposobnosti ubrzano rastu, a sa njima i potencijalni rizici, nezavisno izveštavanje o tome kako laboratorije procenjuju i upravljaju tim rizicima postaje sve važnije za javnost. OpenAI navodi da ova saradnja može doprineti jačanju zajedničkih standarda za nezavisne procene i transparentnost cele industrije.

Treba imati u vidu da su ovo tek pilot procene — prva faza. Kompanija kaže da će naučeno iskoristiti za produbljivanje saradnje sa nezavisnim ekspertima u narednim mesecima. Detalji o tome šta će tačno METR i Transluce raditi u ovoj fazi nisu razrađeni u objavi, ali je jasno da je okvir postavljen: spoljni eksperti ulaze unutar laboratorije, a ne posmatraju je sa strane. Za industriju koja se često kritikuje zbog nedovoljne transparentnosti, to je korak koji će se pratiti — i po rezultatima, i po tome koliko će zaista toga biti objavljeno.
Više detalja o samom programu možete pronaći na zvaničnom OpenAI blogu.