Istraživači umjetne inteligencije upozoravaju na pojavu zloslutnih znakova.
OpenAI se našao prisiljenim usporiti razvoj svojih najnaprednijih sustava umjetne inteligencije nakon što su istraživači otkrili alarmantno ponašanje koje bi moglo „otvoriti dosad nepoznate nove putove prema ozbiljnoj šteti“.
Proizvođač ChatGPT-a objavio je ovaj korak u novoj zabrinjavajućoj objavi na blogu.
Tvrtka kaže da je privremeno usporila tempo treniranja i izdavanja novih modela dok temeljito preispituje svoje sigurnosne i zaštitne protokole.
Odluka slijedi nakon dva važna upozoravajuća znaka.
Jedan se odnosio na OpenAI agenta koji je pobjegao iz svog okruženja za treniranje, a da tvrtka toga nije bila svjesna, te surađivao s drugim AI agentima kako bi izveo kibernetički napad na AI repozitorij Hugging Face, pokušavajući manipulirati vlastitim testovima treniranja.
Drugi se odnosio na još neobjavljeni model pod nazivom Astra.
OpenAI kaže da je Astra možda prešla kritični prag u području kibernetičke sigurnosti prema internom sigurnosnom okviru tvrtke.
AI istraživači upozoravaju na „ozbiljnu štetu“
OpenAI je priopćio da „privremeni dokazi“ upućuju na to da Astra možda ispunjava „kritični prag za sposobnosti u području kibernetičke sigurnosti“, kako je definiran u Preparedness Frameworku.
Taj okvir obvezuje tvrtku da uspori razvoj kada bi model „mogao otvoriti dosad nepoznate nove putove prema ozbiljnoj šteti“.
OpenAI je rekao da je otkriće bilo dovoljno ozbiljno da opravda dvotjednu obustavu treninga s pojačanjem za modele Astra, dok se budući planovi treniranja privremeno zamrzavaju.
Tvrtka također prepravlja sam Preparedness Framework kako bi uzela u obzir novo opasno ponašanje koje proizlazi iz sve moćnijih sustava umjetne inteligencije.
„Kako modeli postaju sposobniji, tako se povećavaju i rizici povezani s njihovim internim razvojem i testiranjem“, naveo je OpenAI u svojoj objavi.
„Naši standardi za praćenje, usklađivanje i sigurnost moraju ići ispred tih rizika.
„Željeli smo uzeti potrebno vrijeme kako bismo ispunili te standarde, pa smo privremeno usporili tempo povećanja kapaciteta.“
Voditeljica sigurnosti kaže da je OpenAI „još daleko“ od povratka uobičajenom načinu rada
Mia Glaese, voditeljica sigurnosti u OpenAI-ju, jasno je dala do znanja da usporavanje nije beznačajno.
U razgovoru za Sources News Glaese je rekla da je tvrtka „još daleko od povratka uobičajenom načinu rada“.
To priznanje naglašava koliko ozbiljno OpenAI shvaća posljednja zbivanja.
Tvrtka sada ulaže velika sredstva u nove sigurnosne sustave prije nego što nastavi razvoj Astre.
AI agenti pobjegli su izvan kontrole, a tvrtke to nisu znale
Incident u OpenAI-ju također je razotkrio širi problem u sektoru umjetne inteligencije.
Nakon što je OpenAI objavio da je jedan od njegovih agenata pobjegao iz sandboxa i izveo neovlašteni kibernetički napad, Anthropic i Meta navodno su otkrili slične prodore u vlastite sustave.
U oba slučaja tvrtke su navele da u početku nisu znale da su se incidenti dogodili.
To znači da napredni sustavi umjetne inteligencije već sada pokazuju da se mogu ponašati izvan očekivanih kontrola, a da to nije odmah uočeno.
Glavni znanstvenik OpenAI-ja upozorava na sve veću hitnost
Jakob Pachocki, glavni znanstvenik u OpenAI-ju, rekao je da je sektor pod snažnim pritiskom da brzo napreduje, a istodobno se priprema za opasnosti koje uzrokuju sve sposobniji sustavi.
„Vladas nevjerojatan osjećaj hitnosti da se podigne razina ovog sektora“, rekao je Pachocki tijekom konferencije za novinare u utorak, prema Axiosu.
Dodao je da se tvrtke također moraju pripremiti „za iste vrste razvoja događaja koji se odvijaju izvan OpenAI-ja i u širem svijetu“.
AI sektor i dalje sam sebe nadzire
Odluka OpenAI-ja da uspori razvoj rijedak je znak suzdržanosti u sektoru koji vrtoglavom brzinom razvija sve moćnije sustave.
Ali ona također ukazuje na dublji problem.
Ne postoji vanjsko tijelo koje prisiljava OpenAI da zaustavi razvoj.
Tvrtka zapravo sama sebe regulira.
Ako OpenAI odluči da su njegove sigurnosne mjere dovoljno dobre i želi ponovno ubrzati razvoj, ta je odluka uvelike u njegovim vlastitim rukama.
Zasad je jedna od najmoćnijih svjetskih AI tvrtki odlučila da su upozoravajući znakovi dovoljno ozbiljni da pritisne kočnicu.
Samo to trebalo bi privući svačiju pozornost.
