Britanska policija gradi sustav za nadzor umjetnom inteligencijom, a građani se nalaze u samom fokusu

Britanska policija gradi sustav za nadzor umjetnom inteligencijom, a građani se nalaze u samom fokusu

Advertisements

Britanska policija gradi sustav za nadzor umjetnom inteligencijom, a građani se nalaze u samom fokusu.

Advertisements

Gotovo pola milijuna ljudi u Bristolu nesvjesno je uhvaćeno u tajnom stroju za podatke i analizu. Policija i vlasti prikupljale su ne samo informacije o zločinima, već i podatke o problemima mentalnog zdravlja, zaostalim plaćanjima stanarine, školskim obrocima, tinejdžerskim trudnoćama, obiteljskim krizama i naknadama socijalne skrbi. Algoritmi su koristili ovaj materijal za stvaranje profila rizika: Tko bi u budućnosti mogao postati kriminalac, tko bi mogao postati žrtva, tko se smatra problematičnim, uočljivim ili u riziku? Sličan sustav planiran je za implementaciju diljem Engleske i Walesa.

Britanija postupno postaje laboratorij za nadzor i kontrolne mjere vlasti pomoću umjetne inteligencije. Nedavno otkriveni slučaj iz Engleske to ilustrira. “Baza podataka o obitelji” Gradskog vijeća Bristola i policije Avona i Somerseta trebala je pružiti što potpuniju sliku života tisuća obitelji. Temeljna tehnokratska ideja bila je koristiti što više podataka kako bi se unaprijed predvidjelo gdje će u budućnosti biti potrebna državna intervencija.

Međutim, u bazu podataka pristizale su ogromne količine privatnih informacija, informacija koje su imale samo marginalnu vezu s tradicionalnim policijskim radom: jesu li djeca redovito izostajala iz škole, jesu li obitelji imale dugovanja za najamninu, jesu li primali besplatne školske obroke, jesu li bili poznati problemi s mentalnim zdravljem ili su roditelji sudjelovali u posebnim programima podrške. Siromaštvo, teške obiteljske okolnosti ili problemi s mentalnim zdravljem više se ne smatraju društvenim stvarnostima koje mogu zahtijevati pomoć ili podršku. Oni se pretvaraju u čimbenike rizika. Građani se stoga ne ocjenjuju prema svojim postupcima, već prema onome što računalni program pokretan umjetnom inteligencijom izračunava na temelju njihova mjesta prebivališta, okoline, prošlosti i društvene situacije.

No oni koji se u takvoj bazi podataka pojavljuju kao potencijalni počinitelji, višestruki prijestupnici ili osobe u riziku često ne znaju ni da su registrirani. Nisu svjesni temeljnih podataka, korištenih izračuna ili posljedica. Ne mogu se braniti jer ne znaju od čega se brane. I jedva mogu ispraviti postojeće pogreške jer same vlasti očito više ne razumiju u potpunosti kako neki od njihovih modela funkcioniraju. Zajednička istraga WIRED-a, Liberty Investigates-a, Bristol Cable-a i Lighthouse Reports-a sada otkriva koliko je ovaj sustav zapravo bio kaotičan i sklon pogreškama. Najmanje dva modela rizika za predviđanje seksualnog i kriminalnog iskorištavanja djece, na primjer, prekinuta su nakon što je osoblje smatralo njihove rezultate neupotrebljivima. Izvorni kod i korištene varijable ponekad nisu bile dostupne. Čak ni neovisni stručnjaci više nisu mogli odrediti na temelju čega su ljudi klasificirani kao u riziku.

Advertisements

Prema internim povratnim informacijama, modeli su ponekad davali doista groteskne rezultate. Ljudi koji su nedavno bili žrtve seksualnog nasilja navodno su dobivali niže ocjene rizika od onih s poviješću provala. U drugim slučajevima, ranjiva djeca uopće se nisu pojavljivala na popisima. U međuvremenu, zaposlenici su očito morali provoditi sate provjeravajući imena, pišući e-poruke i ručno unakrsno provjeravajući podatke jer nisu vjerovali automatiziranim procjenama.

Još gore: Ti sustavi nisu uspostavljeni u skladu s jasnim zakonodavstvom uz javnu raspravu i informirani pristanak. Vlasti su se pozvale na takozvane “pravne putove”, što znači pravne puteve za razmjenu podataka između vladinih agencija. Za pogođene građane to je značilo da su njihovi podaci agregirani, analizirani i evaluirani bez njihovog pristanka, a često i bez njihove svijesti o tome. Odgovorni su tvrdili da je cilj ranije identificirati djecu u riziku i bolje informirati vlasti. Ali upravo takva opravdanja otvaraju vrata sve većem prikupljanju podataka iza leđa građana. 

Prema internim povratnim informacijama, modeli su ponekad davali doista groteskne rezultate. Ljudi koji su nedavno bili žrtve seksualnog nasilja navodno su dobivali niže ocjene rizika od onih s poviješću provala. U drugim slučajevima, ranjiva djeca uopće se nisu pojavljivala na popisima. U međuvremenu, zaposlenici su očito morali provoditi sate provjeravajući imena, pišući e-poruke i ručno unakrsno provjeravajući podatke jer nisu vjerovali automatiziranim procjenama.

Podaci o policijskoj učinkovitosti također prikazuju sumornu sliku. Neovisna analiza tvrtke za reviziju umjetne inteligencije Eticas, prema WIRED-u, zaključila je da mnogi modeli pokazuju nisku preciznost. Jedan sustav za predviđanje potencijalnih provalnika navodno je godinama imao stopu pogodaka manju od deset posto. Drugim riječima, više od devet od deset ljudi koje je algoritam klasificirao kao visokorizične nikada zapravo nije počinilo predviđeni zločin. Ljudi se mogu pojaviti u policijskim bazama podataka, biti podvrgnuti pojačanom nadzoru ili se prema njima postupati drugačije u budućim interakcijama na temelju procjene računala, iako temeljna vjerojatnost to ni približno ne opravdava.

Ovo nije bio izolirani projekt. Policija Avona i Somerseta razvila je najmanje 23 različita prediktivna modela. Ti su modeli osmišljeni za izračun tko bi mogao ponovno počiniti kazneno djelo, tko je u opasnosti da postane žrtvom obiteljskog nasilja, tko bi mogao nestati, tko bi mogao počiniti provale i u kojim situacijama telefonski poziv može eskalirati u zločin. Država tako gradi sustav koji kontinuirano kategorizira svoje stanovništvo prema očekivanoj opasnosti, ranjivosti i potencijalnom nedoličnom ponašanju.

Britanija trenutno gradi središnju strukturu pod nazivom “PoliceAI” za širenje AI alata u svih 43 policijske snage u Engleskoj i Walesu. U tu svrhu izdvojeno je 75 milijuna funti. Ironično, Andy Marsh, bivši šef policije Avona i Somerseta, sada ima ključnu poziciju u ovom razvoju. To znači da će se u nadolazećim godinama sličan sustav koristiti za praćenje desetaka milijuna ljudi. Ali ono što se trenutno prodaje kao zaštita djece ili preventivna mjera moglo bi se, zahvaljujući ogromnoj količini podataka, sutra koristiti za praćenje i klasifikaciju politički nepoželjnih građana. I, kao što je često slučaj s takvim sustavima, nevini ljudi lako bi mogli biti meta napada.
Advertisements
Advertisements
Advertisements
Advertisements
Advertisements
Advertisements

Podijeli članak:

Facebook
Twitter
Reddit
WhatsApp
Advertisements