Mbrojtja e të cenueshëmve ose automatizimi i dëmshëm? Rol i dyfishtë i AI-së në identifikimin e abuzimit

Inteligjenca artificiale po adoptohet shpejt për të ndihmuar në parandalimin e abuzimit dhe mbrojtjen e njerëzve të cenueshëm – duke përfshirë fëmijët në kujdestari të përkohshme, të rriturit në shtëpitë e pleqërisë dhe nxënësit në shkolla. Këto mjete premtojnë të zbulojnë rrezikun në kohë reale dhe të njoftojnë autoritetet para se të ndodhë dëmi serioz.

Zhvilluesit po përdorin përpunimin e gjuhës natyrore, për shembull — një formë e AI që interpreton gjuhën e shkruar ose të folur – për të përpjekur të zbuluar modelet e kërcënimeve, manipulimit dhe kontrollit në mesazhet me shkrim. Kjo informacion mund të ndihmojë në zbuluar të dhunës së brendshme dhe potencialisht të ndihmojë gjykatat ose autoritetet e rendit në ndërhyrje të hershme. Disa agjenci të mirëqenies së fëmijëve përdorin modelimin parashikues, një teknikë tjetër e zakonshme e AI, për të llogaritur cilat familje ose individë janë më shumë “në rrezik” për abuzim.

Kur zbatohet me kujdes, mjetet e AI kanë potencialin të përmirësojnë sigurinë dhe efikasitetin. Për shembull, modelet parashikuese kanë ndihmuar punonjësit socialë të prioritizojnë rastet me rrezik të lartë dhe të ndërhyjnë më herët.

Por si një punonjës social me 15 vjet përvojë kërkim të dhunës familjare – dhe pesë vjet në vijë si menaxher rastesh për kujdesin e përkohshëm, hetues i abuzimit të fëmijëve dhe koordinator i hershëm i fëmijërisë – kam parë se sa shpesh sistemet me mirëkuptim të mirë dështojnë njerëzit që janë të destinuar të mbrohen.

Tani, po ndihmoj në zhvillimin e iCare, një kamerë mbikëqyrjeje e fuqizuar nga AI që analizon lëvizjet e gjymtyrëve – jo fytyrat ose zërat – për të zbuluar dhunën fizike. Jam duke u përballur me një pyetje kritike: A mund të ndihmojë vërtet AI për të mbrojtur njerëzit e cenueshëm, apo është thjesht duke automatizuar të njëjtat sisteme që i kanë shkaktuar dëm gjatë kohës?

Teknologji e re, padrejtësi e vjetër

Shumë mjete të AI trajnohet të "mësuar” duke analizuar të dhëna historike. Por historia është plot me pabarazi, paragjykime dhe supozime të gabuara. Ashtu janë edhe njerëzit, që projektuesin, testojnë dhe financojnë AI.

Kjo do të thotë se algoritmet e AI mund të replikojnë forma sistemike të diskriminimit, si racizmi ose klasizmi. Një studim i vitit 2022 në Qarkun Allegheny, Pennsylvania, gjeti se një model parashikues i rrezikut për të vlerësuar nivelet e rrezikut të familjeve – pikët që jepen stafeve të linjës së nxehtë për të ndihmuar në skanimin e thirrjeve – do të kishte shënuar fëmijët e zi për hetim 20% më shumë se fëmijët e bardhë, nëse përdorej pa mbikëqyrje njerëzore. Kur punonjësit socialë përfshiheshin në vendimmarrje, kjo pabarazi u ul në 9%.

AI bazuar në gjuhë mund të forcojë gjithashtu paragjykimet. Për shembull, një studim tregoi se sistemet e përpunimit të gjuhës natyrore gabimisht klasifikonin anglishten e vernakularit afrikan si “agresive” në një shkallë shumë më të lartë se anglishtja standarde amerikane — deri në 62% më shpesh, në disa kontekste.

Ndërkohë, një studim i vitit 2023 gjeti se modelet e AI shpesh hasin në shenja konteksti, duke kuptuar se mesazhet sarkastike ose me shaka mund të klasifikohen gabimisht si kërcënime serioze ose shenja ankthi.

Këto defekte mund të riprodhojnë probleme më të mëdha në sistemet mbrojtëse. Njerëzit me ngjyrë janë gjatë kohës mbikontrolluar në sistemet e mirëqenies së fëmijëve — ndonjëherë për shkak të keqkuptimeve kulturore, ndonjëherë për shkak të paragjykimeve. Studimet kanë treguar se Familjet e Zeza dhe Indigjene përballen me norma më të larta të raportimit, hetimit dhe ndarjes së familjes në krahasim me familjet e bardha, edhe pas llogaritjes së të ardhurave dhe faktorëve të tjerë socioekonomikë.

Shumica e këtyre pabarazive rrjedhin nga racizmi struktural i integruar në dekada vendimesh të politikave diskriminuese, si dhe paragjykimeve të fshehura dhe vendimmarrjes së diskrecionit nga punonjës të mbingarkuar me raste.

Vëzhgimi mbi mbështetjen

Edhe kur sistemet e AI-së zvogëlojnë dëmin ndaj grupeve të vulneruara, ato shpesh bëjnë këtë me një kosto shqetësuese.

Në spitale dhe institucionet e kujdesit për të moshuarit, për shembull, janë përdorur kamera të fuqizuara me AI për të zbuluar agresion fizik midis stafit, vizitorëve dhe banorëve. Ndërsa shitësit komercialë promovojnë këto mjete si inovacione për sigurinë, përdorimi i tyre ngre shqetësime serioze etike rreth balancës midis mbrojtjes dhe privatësisë.

Në një program pilot në Australi, sistemet e kamerave me AI të vendosura në dy shtëpi kujdesi gjeneruan më shumë se 12,000 alarme të rreme gjatë 12 muajve – duke mbingarkuar stafin dhe duke munguar të paktën një incident i vërtetë. Saktësia e programit nuk arriti “një nivel që do të konsiderohej i pranueshëm për stafin dhe menaxhimin,” sipas raportit të pavarur.

Edhe fëmijët janë të prekur. Në shkollat e SHBA-së, mbikëqyrja me inteligjencë artificiale si Gaggle, GoGuardian dhe Securly shiten si mjete për të mbajtur studentët të sigurt. Këto programe mund të instalohet në pajisjet e studentëve për të monitoruar aktivitetin online dhe për të shënuar çdo gjë shqetësuese.

Por ata janë treguar gjithashtu për të shënuar sjellje të padëmshme – si të shkruajnë tregime të shkurtra me dhunë të butë, ose të hulumtojnë tema të lidhura me shëndetin mendor. Si një hetim i Agjencisë së Lajmeve Associated Press zbuloi, këto sisteme gjithashtu kanë zbuluar studentët LGBTQ+ te prindërit ose administratorët e shkollës duke monitoruar kërkimet ose bisedat rreth gjinisë dhe seksualitetit.

Sisteme të tjera përdorin kamera dhe mikrofonë në klasë për të zbuluar “ agresionin.” Por ato shpesh gabimisht identifikojnë sjellje normale si të qeshurit, kollitja ose lojërat e ashpra — duke nxitur herë pas here ndërhyrje ose disiplinë.

Këto nuk janë defekte të veçanta teknike; ato pasqyrojnë defekte të thella në mënyrën se si trajnohet dhe përdoret AI. Sistemet e AI mësojnë nga të dhënat e kaluara që janë zgjedhur dhe etiketuar nga njerëzit — të dhëna që shpesh pasqyrojnë pabarazitë shoqërore dhe paragjykimet. Siç shkroi sociologia Virginia Eubanks në “Automating Inequality,” sistemet e AI rrezikojnë të rritin këto dëme të gjata kohore.

Kujdes, jo dënim

Unë besoj se AI mund të jetë ende një forcë për të mirë, por vetëm nëse zhvilluesit e saj vendosin për dinjitetin e njerëzve që këto mjete synojnë të mbrojnë. Kam zhvilluar një kornizë me katër parime kryesore për atë që unë quaj “AI i përgjegjshëm ndaj traumës.”

1. Kontrolli i mbijetuarit: Njerëzit duhet të kenë një rol në mënyrën se si, kur dhe nëse monitorohen. Sigurimi i më shumë kontrollit mbi të dhënat e tyre mund forconi besimin në sistemet e AI dhe rrit angazhimin e tyre me shërbimet mbështetëse, si krijimi i planeve të personalizuara për të qëndruar të sigurt ose për të kërkuar ndihmë.

2. Vëzhgimi njerëzor: Studimet tregojnë se kombinimi i ekspertizës së punonjësve socialë me mbështetjen e AI-së përmirëson drejtësinë dhe reduktimin e abuzimit të fëmijëve – si në Qarkun Allegheny, ku punonjësit e rasteve përdorën vlerësimet algoritmike të rrezikut si një faktor, së bashku me gjykimin e tyre profesional, për të vendosur cilat raporte të abuzimit të fëmijëve të hetohen.

3. Auditi i paragjykimeve: Qeveritë dhe zhvilluesit janë gjithnjë e më të inkurajuar të testojnë sistemet e AI-së për paragjykime racore dhe ekonomike. Mjete të burimeve të hapura si IBM’s AI Fairness 360, Google’s What-If Tool, dhe Fairlearn ndihmojnë në zbërthimin dhe zvogëlimin e këtyre paragjykimeve në modelet e mësimit makinerik.

4. Privatësia nga dizajni: Teknologjia duhet të ndërtohet për të mbrojtur dinjitetin e njerëzve. Mjetet e burimeve të hapura si Amnesia, libëria e privatësisë diferenciale e Google dhe SmartNoise i Microsoft ndihmojnë në anonimizimin e të dhënave të ndjeshme duke hequr ose fshehur informacionin identifikues. Për më tepër, teknikat e fuqizuara nga AI, si zbehtësia e fytyrës, mund të anonimizojnë identitetin e njerëzve në të dhënat video ose foto.

Nderimi i këtyre parimeve do të thotë ndërtimi i sistemeve që përgjigjen me kujdes, jo me dënim.

Disa modele premtuese janë duke dalë tashmë. Koalicioni Kundër Stalkerware dhe partnerët e tij mbështesin të përfshijnë mbijetuesit në të gjitha fazat e zhvillimit të teknologjisë – nga vlerësimi i nevojave deri te testimi i përdoruesit dhe mbikëqyrja etike.

Legjislacioni është gjithashtu i rëndësishëm. Më 5 maj 2025, për shembull, guvernatori i Montana nënshkroi një ligj që kufizon përdorimin e AI për të marrë vendime të automatizuara për individët pa mbikëqyrje të rëndësishme njerëzore. Ai kërkon transparencë mbi mënyrën se si përdoret AI në sistemet qeveritare dhe ndalon profilizimin diskriminues.

Siç u them studentëve të mi, ndërhyrjet inovative duhet të prishin ciklet e dëmshpërblimit, jo t’i vazhdojnë ato. AI nuk do të zëvendësojë kurrë kapacitetin njerëzor për kontekst dhe mëshirë. Por me vlerat e duhura në qendër, mund të na ndihmojë të ofrojmë më shumë prej tyre.