Nju Jorku lejon inteligjencën artificiale të luajë me mirëqenien e fëmijëve

The Markup zbuloi në raportimin e tij muajin e kaluar se Administrata për Shërbimet e Fëmijëve në Nju Jork (ACS) po përdor në heshtje një mjet algoritmik për të kategorizuar familjet si "rrezik të lartë". Duke përdorur një përzierje faktorësh si lagjia dhe mosha e nënës, ky mjet AI mund të vendosë familjet nën vëzhgim të rritur pa arsye të qarta dhe mbikëqyrje të duhur.

Të të trokitur në derën tënde nga ACS është një makth për çdo prind, me rrezikun që çdo gabim mund të ndajë familjen tënde dhe t’i dërgojë fëmijët në sistemin e kujdesit të përkohshëm. Vendosja e një familje nën këtë vëzhgim nuk duhet marrë lehtë dhe nuk duhet të jetë një terren provë për vendimmarrje të automatizuar nga qeveria.

Ky mjet “AI”, i zhvilluar brenda nga Zyra e Analitikës së Kërkimit të ACS, vlerëson familjet për “rrezik” duke përdorur 279 variabla dhe i vendos ato nën vëzhgim të rritur për ata që konsiderohen më të rrezikshëm. Mungesa e transparencës, përgjegjshmërisë ose mbrojtjes së të drejtave të procedurës tregon se ACS nuk ka mësuar asgjë nga dështimet e produkteve të ngjashme në fushën e shërbimeve për fëmijët.

Algoritmi funksionon në mënyrë të plotë sekrete dhe dëmet nga kjo “teatër AI” e paqartë nuk janë teorike. 279 variablat rrjedhin vetëm nga rastet e viteve 2013 dhe 2014 ku fëmijët u dëmtuan seriozisht. Sidoqoftë, nuk është e qartë sa raste janë analizuar, çfarë auditimesh apo teste janë kryer, dhe nëse përfshirja e të dhënave nga vitet e tjera do të kishte ndryshuar vlerësimin.

Ajo që dimë është shqetësuese: Familjet me ngjyrë në Nju Jork përballen me hetime nga ACS në shtatë herë më shumë se familjet e bardha dhe stafi i ACS ka pranuar se agjencia është më dënueshme ndaj familjeve me ngjyrë, duke i quajtur praktikat e saj “predatore”. Është shumë e mundshme që algoritmi të automatizojë dhe të rrisë këtë diskriminim në mënyrë efektive.

Pavarësisht nga mungesa shqetësuese e transparencës dhe përgjegjshmërisë, përdorimi i këtij sistemi nga ACS i ka ekspozuar familjet që ky sistem i vlerëson si “më të rrezikshmet” ndaj vëzhgimit të mëtejshëm, duke përfshirë vizita në shtëpi, telefonata tek mësuesit dhe familjet, ose konsultime me ekspertë të jashtëm. Por ato familje, avokatët e tyre dhe punonjësit e rastit nuk e dinë kur dhe pse sistemi shënon një rast, duke e bërë të vështirë sfidimin e kushteve ose procesit që çon në këtë vëzhgim të rritur.

Ky nuk është rasti i vetëm ku përdorimi i mjeteve të AI në sistemin e shërbimeve për fëmijët ka hasur në probleme me paragjykime sistemike. Në vitin 2022, Agjencia e Lajmeve Associated Press raportoi se studiuesit e Carnegie Mellon gjetën se nga gushti 2016 deri në maj 2018, Qarku Allegheny në Pensilvani përdorte një mjet algoritmik që shënoi 32.5% të fëmijëve me ngjyrë për “hetim të detyrueshëm” krahas 20.8% të fëmijëve të bardhë, ndërsa punonjësit socialë shpesh kundërshtonin vlerësimet e rrezikut të algoritmit rreth një të tretës së kohës.

Sistemi i Allegheny funksionon me të njëjtën përzierje toksike të sekreteve dhe paragjykimeve që po mbysin tani Nju Jorkun. Familjet dhe avokatët e tyre nuk mund të njohin asnjëherë vlerësimet algoritmike, duke e bërë të pamundur sfidimin e vendimeve që mund të shkatërrojnë jetën e tyre. Kur një gjykatës i kërkuan të shihte vlerësimin e familjes në gjykatë, qarku u rezistua, duke pretenduar se nuk donte të ndikonte në proceset ligjore me numra algoritmikë, gjë që sugjeron se vlerësimet janë shumë të pasigurta për gjykimin, por të pranueshme për të synuar familjet.

Ndërkohë, këto sisteme të paragjykuara janë sfiduar me sukses. Zhvilluesit e mjetit të Allegheny kishin refuzuar produktin e tyre në Zelandën e Re, ku studiuesit identifikuan saktë se mjeti do të rezultonte në më shumë familje Māori të shënuara për hetim. Ndërkohë, Kalifornia shpenzoi 195,273 dollarë duke zhvilluar një mjet të ngjashëm para se ta braktiste në vitin 2019 për shkak të shqetësimeve për barazinë racore.

Përdorimi qeveritar i vendimmarrjes së automatizuar dhe algoritmike jo vetëm që përhap pabarazitë shoqërore, por edhe heq mekanizmat për përgjegjshmëri kur agjencitë bëjnë gabime. Shteti nuk duhet të përdorë këto mjete për vendime që përcakto të drejtat dhe çdo përdorim tjetër duhet të jetë nën vëzhgim të rreptë dhe auditim të pavarur për të siguruar besimin e publikut në veprimet e qeverisë.