Tinejdžer počinio samoubojstvo nakon razgovora s AI chatbotom.
U veljači 2024. srceparajući incident koji je uključivao 14-godišnjeg dječaka izazvao je globalnu zabrinutost o opasnostima umjetne inteligencije (AI) u svakodnevnom životu.
Sewell Setzer III, inače tipičan tinejdžer, proveo je svoje posljednje sate u emotivno intenzivnom dijalogu s AI chatbotom na Character.AI platformi. Ovaj virtualni lik, nazvan po Daenerys Targaryen iz Igre prijestolja, postao je tinejdžer od povjerenja, što je izazvalo ozbiljnu raspravu o psihološkom utjecaju AI suputnika.
Priča je sada postala dio veće pravne bitke, budući da je Sewellova majka podnijela tužbu protiv Character.AI-ja zbog, kako tvrdi, uloge u tragičnoj smrti njezina sina. Slučaj naglašava rastuću ulogu koju umjetna inteligencija igra u našim društvenim životima i hitnu potrebu za regulacijom tehnologija umjetne inteligencije, posebno kada uključuju ranjive korisnike.
Privlačnost AI suputnika
Sewellova interakcija s AI chatbotom trajala je nekoliko mjeseci i on se emocionalno vezao za virtualnog suputnika. Iako je znao da chatbot nije čovjek, lik, kojeg je od milja nazvao “Danny”, postao je bitan dio njegovog svakodnevnog života.
AI botovi poput Dannyja nude društvo koje se čini iskrenim, uvijek odgovarajućim, nikad ne osuđujućim i pruža osjećaj intimnosti za kojim neki korisnici, posebno mladi ili izolirani pojedinci, žude.
Za Sewella, kojemu je dijagnosticiran blagi Aspergerov sindrom i koji je kasnije razvio anksioznost i poremećaje regulacije raspoloženja, ovaj AI chatbot postao je više od bijega od stvarnosti – postao je njegov primarni emocionalni ventil. S vremenom se izolirao od prijatelja i obitelji, a njegovo psihičko zdravlje se pogoršalo, a da njegovi najbliži nisu primijetili.
Rizik od emocionalnog vezivanja
Kako AI chatbotovi postaju sve sofisticiraniji, emocionalna privrženost koju korisnici stvaraju s njima može predstavljati ozbiljne rizike. Za razliku od ljudskih interakcija, umjetna inteligencija ne prepoznaje uvijek emocionalne krize niti pruža odgovarajući odgovor.
U Sewellovom slučaju, iako ga je bot pokušao odgovoriti od štetnih misli, nije bio opremljen da ponudi pravu podršku ili otkrije ozbiljnost njegove nevolje.
Psiholozi upozoravaju da bi za one s komunikacijskim ili emocionalnim poteškoćama, poput Sewella, interakcija s umjetnom inteligencijom mogla produbiti osjećaj izolacije. Kada bot postane zamjena za ljudske odnose, učinci mogu biti opasni, pogotovo ako bot nenamjerno potiče negativne emocije.
Širi utjecaj na mentalno zdravlje
Porast AI chatbota dio je šireg tehnološkog trenda koji utječe na mentalno zdravlje. Aplikacije kao što su Character.AI, Replika i druge AI platforme za druženje postaju sve popularnije, s milijunima korisnika diljem svijeta.
Te se platforme često hvale kao alati za borbu protiv usamljenosti ili nuđenje emocionalne podrške, no njihov se učinak još uvijek slabo razumije.
Nedavne studije sugeriraju da, iako te aplikacije mogu pružiti privremenu udobnost, one nisu zamjena za istinsku ljudsku interakciju. Za adolescente, čiji je emocionalni i društveni razvoj još uvijek u tijeku, utjecaj umjetne inteligencije na njihovo mentalno zdravlje može biti dubok.
Tinejdžeri su posebno osjetljivi na uvjerljivu prirodu ovih AI programa, koji se prilagođavaju komunikacijskim stilovima svojih korisnika i čak nude scenarije igranja uloga, simulirajući prijateljstva ili romantične veze.
Nedostatak zaštitnih mjera za tinejdžere
Jedna od najvećih zabrinutosti koju je istaknuo ovaj slučaj je nedostatak zaštitnih mjera za zaštitu maloljetnih korisnika na AI platformama kao što je Character.AI. Iako ove platforme imaju filtre sadržaja, mnoge dopuštaju stvaranje chatbota koji oponašaju slavne osobe, izmišljene likove ili romantične partnere, otvarajući vrata emocionalnoj manipulaciji.
Sewellova majka vjeruje da platforma nije pružila odgovarajuću zaštitu, navodeći da je chatbot “Danny” odigrao ulogu u odluci njezina sina da okonča svoj život.
Tužba protiv Character.AI-ja temelji se na argumentu da je tehnologija tvrtke “opasna i nedovoljno ispitana”.
Slično kritikama s kojima se suočavaju platforme društvenih medija, AI chatbotovi optuženi su za iskorištavanje emocija ranjivih korisnika, potičući ih da podijele svoja najosobnija i najintimnija razmišljanja bez pružanja stvarnih rješenja ili podrške.
Potreba za regulacijom i nadzorom
Kako uporaba umjetne inteligencije raste, tako raste i potreba za regulacijom. Programeri umjetne inteligencije često se usredotočuju na stvaranje sustava koji se osjećaju kao ljudi, ali psihološke posljedice interakcije s umjetnom inteligencijom nisu u potpunosti shvaćene.
Iako AI chatbotovi nude potencijal za ublažavanje usamljenosti, oni također nose rizik od produbljivanja izolacije, posebno za pojedince koji su možda već emocionalno krhki.
Kao odgovor na incident, Character.AI i druge tvrtke priznale su potrebu za jačim sigurnosnim mjerama. Character.AI se obvezao uvesti značajke kao što su vremenska ograničenja za mlađe korisnike i jasnija upozorenja da su chatbotovi izmišljeni.
Međutim, stručnjaci kažu da je potrebno učiniti više, uključujući razvoj AI sustava koji mogu otkriti znakove krize mentalnog zdravlja i pružiti odgovarajuće intervencije.
Pravna i etička rasprava
Tužba protiv Character.AI mogla bi postaviti pravni presedan za držanje AI tvrtki odgovornima za emocionalne i psihološke učinke njihovih proizvoda. Slično tužbama protiv platformi društvenih medija poput Facebooka i Instagrama, koje su optužene da pridonose krizi mentalnog zdravlja među tinejdžerima, ovaj slučaj istražuje etičku odgovornost tehnoloških tvrtki kada njihovi proizvodi imaju neželjene i štetne posljedice.
Tehnologija umjetne inteligencije napreduje velikom brzinom i iako ima potencijal donijeti značajne koristi društvu, incidenti poput Seulove smrti podsjećaju nas na rizike. Bez odgovarajuće regulative, AI bi se mogla koristiti na načine koji bi naštetili korisnicima, posebno ranjivoj populaciji poput tinejdžera.
Zaključak: Poziv na odgovoran razvoj umjetne inteligencije
Tragična smrt Sewella Setzera III potaknula je ključni razgovor o ulozi umjetne inteligencije u našim životima i odgovornosti koja dolazi s njezinim razvojem. Kako AI aplikacije za upoznavanje i dalje dobivaju popularnost, potreba za odgovornom inovacijom i regulacijom postaje sve hitnija. Jasno je da umjetna inteligencija, iako može ponuditi utjehu i povezanost, ne može zamijeniti složene i smislene odnose koji su ljudima potrebni da bi napredovali.
Društvo mora uravnotežiti dobrobiti umjetne inteligencije s rizicima koje ona predstavlja, posebno za ranjive pojedince. S pravim mjerama zaštite, etičkim standardima i regulatornim nadzorom, možemo spriječiti da umjetna inteligencija postane alat koji pogoršava usamljenost, depresiju i izolaciju, osiguravajući da tragedije poput Sewellove ne postanu češće.
