Policia Kombëtare Spanjolle ndal përdorimin e Veripol, AI kryesor për zbuluar denoncime të rreme

“Është mjeti i parë i këtij lloji në botë,” Policia Kombëtare shkroi në vitin 2018 kur prezantoi Veripol si një algoritëm i aftë për të zbuluar raportimet e rreme për vjedhje me dhunë, me një saktësi më shumë se 90%. Gusht 2024, gjashtë vjet më vonë, Policia Kombëtare ndaloi përdorimin e AI-së, i tha Zyra Teknike e Drejtorisë së Përgjithshme të Policisë Civio. Ministria e Brendshme deklaroi se arsyeja për refuzimin e përdorimit të saj është se ajo mungon vlefshmëri në procedurat gjyqësore.

Largimi i Veripol vjen tre muaj pas publikimit në Gazetën Zyrtare të Shtetit të Spanjës (BOE në spanjisht) të rregullore evropiane për inteligjencën artificiale, e cila përfshin poligrafët ndërmjet “AI-ve me rrezik të lartë”, të cilat kanë kërkesa më të rrepta për rishikim, përditësim dhe transparencë. Në fund të shtatorit 2024, një raport nga Universiteti i Valencias i bërë nga studiues të drejtësisë dhe matematikës vuri në dukje mangësi serioze në mjet. E para prej tyre është mungesa e informacionit mbi mënyrën sesi funksionon.

Kërkuesit nga universitetet e Complutense dhe Carlos III, dhe oficeri i policisë Miguel Camacho-Collados, aktualisht përgjegjës për inovacionin teknologjik dhe sigurinë kibernetike në Këshillin e Shtetit, zhvilluan Veripol. Siç shpjegohet në artikullin shkencor që detajon zhvillimin e tij, ekipi trajnoi mjetin me një mostër prej 1,122 raporteve të vjedhjes në Spanjë në vitin 2015, prej të cilave 534 ishin të vërteta dhe 588 të tjera ishin të rreme. Kërkuesit përpunuan tekstet e raporteve me teknika NLP, duke i thjeshtuar ato për t'u përpunuar automatikisht, dhe i klasifikuan fjalët sipas llojit, duke hedhur poshtë të gjitha ato që shfaqeshin në më pak se 1% të mostrës ose në më shumë se 99%. Pastaj ata zbatuan metoda të ndryshme statistikore regresioni për të zgjedhur fjalët më të zakonshme në pretendimet e vërteta dhe të rreme. Si shembull, nëse një raport përmban fjalët “ditë,” “avokat,” “sigurim,” ose “kurriz,” është më e mundshme të jetë e rreme, parashikon Veripol, dhe edhe më e mundshme të jetë e rreme nëse raporti përmban fjalët “dyqind” disa herë ose mbiemra si “pothuajse”. Përkundrazi, raportet që referohen autobuseve, një modeli të veçantë të telefonit celular ose një tabele me numër makinash janë më të mundshme të jenë të vërteta.

Në qershor të vitit 2017, ekipi Veripol kryen një test pilot në stacionet e policisë në Malaga dhe Murcia. Sipas artikullit shkencor, në 83.54% të raporteve të identifikuara si të rreme nga Veripol, ankuesi përfundoi duke pranuar se kishte gënjyer. Në dhjetor të atij viti, Fondacioni i Policisë Spanjolle i dha një çmim kërkimit, dhe në vitin 2018, Ministria e Brendshme njoftoi zbatimin e tij në të gjitha stacionet e policisë.

Sipas të dhënave nga Algorithm Watch, nga zbatimi i saj deri në tetor 2020, Policia Kombëtare përdori Veripol për të analizuar rreth 84,000 ankesa. Nga 49,702 ankesat që policia analizoi me Veripol në vitin 2019, policia konkludoi se 2,338 ishin të rreme, duke përdorur një kombinim të Veripol dhe mjeteve të tjera. Në vitin 2022, policia e përdori shumë më pak, raporti i Universiteti i Valencias thotë: numri i ankesave të analizuar me Veripol ra në 3,762, prej të cilave policia përcaktoi se 511 ishin të rreme.

Raporti vëren mangësi serioze në mjet, duke filluar nga qasja e tij: ideja bazë që 57% e raporteve të vjedhjes me dhunë që paraqiten janë të rreme, një shifër që ka si pikë referimi numrin e lartë të rasteve të vjedhjes së pa zbardhur. Ai gjithashtu kritikon mostrën e vogël prej pak mbi një mijë ankimesh krahasuar me rreth 60,000 raste vjedhje me dhunë që regjistrohen çdo vit në Spanjë, sipas Portali i Statistikave të Krimit. Ai gjithashtu vëren mungesën e një protokolli dhe të informacionit mbi trajnimet e policëve për përdorimin e tij. Stacioni i policisë së Vigos, i cili kishte përdorur programin që nga viti 2018, më vonë nuk mundi ta përdorte për shkak të mungesës së trajnimit për oficerët e tij, La Voz de Galicia raportoi në vitin 2020. Ankesat e analizuar nga Veripol ishin në fakt të shkruara nga oficerët e policisë, kështu që nuk është një riprodhim i saktë i deklaratës së ankimuesit, raporton raporti i Valencias: “Ai nuk analizon historinë që po i tregon policisë gënjeshtari i mundshëm, por analizoni historinë që shkruan vetë policia.” Mjeti gjithashtu nuk merr parasysh ndryshimet gjuhësore në të gjithë Spanjën.

“Sistemi nuk është transparent,” shkruajnë studiuesit e Universitetit të Valencias: “Nuk ka të dhëna zyrtare në dispozicion për Veripol fare.” Në shkurt 2023 dhe përsëri në dhjetor 2024, Civio kërkoi informacione mbi funksionimin teknik të Veripol dhe përdorimin e tij, por deri tani Ministria e Brendshme nuk ka raportuar as numrin e stacioneve të policisë që e kanë përdorur atë.

Metodologji

Në shkurt 2023, Civio kërkoi nga Ministria e Brendshme specifikimet teknike të Veripol, rastet e përdorimit të tij dhe çdo dokument tjetër që na lejon të dimë si funksionon aplikacioni dhe çfarë informacioni përmban ose mund të përmbajë. Përballë refuzimit të Ministrisë së Brendshme për të dhënë këtë informacion, ne dorëzuam një ankesë nën Ligjin për Transparencën te Këshilli për Transparencë dhe Qeverisje të Mirë, i cili më 31 tetor të atij viti vendosi në favor të të drejtës sonë për informacion dhe urdhëroi Ministrinë e Brendshme të sigurojë informacionin e kërkuar. E vetmja informacion që u dha në fund ishin lidhjet me njoftimet për shtyp të publikuara nga Policia dhe Universiteti Complutense për zbatimin e tij dhe çmimi i dhënë nga Fondacioni i Policisë Spanjolle.

Në dhjetor 2024, Civio përsëri kërkoi informacion në lidhje me Veripol. Konkretisht, kërkuam listën e stacioneve të policisë që kishin zbatuar mjetin dhe të dhënat e përdorimit të tyre, duke përfshirë numrin e rasteve të trajtuara në vit dhe përqindjen e rasteve në të cilat mjeti kishte përfunduar se ankesa ishte e rreme. Ministria u përgjigj duke deklaruar se kishin ndaluar përdorimin e Veripol më 21 tetor 2024 dhe refuzuan të sigurojnë të dhënat e përdorimit. Civio dorëzoi një ankesë tjetër te Këshilli për Transparencë dhe Qeverisje të Mirë për të hyrë në këto të dhëna, të cilat janë ende në pritje.

David Cabo dhe Ana Villota morën pjesë në gjenezën dhe zbatimin e lojës.

Në paraprakisht të artikullit të botuar në revistën Systems Based on Knowledge, “Aplikimi i zbulimit automatik të gjuhës së mashtrimit në raportet e policisë: Nxjerrja e modeleve të sjelljes nga një model i shumëhapshëm klasifikimi për të kuptuar si gënjejmë policinë” (Lara Quijano-Sánchez, Federico Liberatore, Jose Camacho Collados dhe Miguel Camacho-Collados, Universiteti i Kardifit, 2018), ne gjejmë të dhëna nga viti 2015 mbi mjetin, si dhe një listë prej 110 terma, të përkthyera nga spanjishtja në anglisht. Ne kontaktuam autorët, por ata nuk na kanë dhënë listën origjinale të fjalëve në spanjisht.

Prandaj, për të shmangur paqartësitë që lindin nga përkthimi, kemi përfshirë vetëm ato fjalë që shpjegohen në kontekst. Lista përfundimtare e termeve, me peshën e tyre përkatëse (sa më e lartë vlera, aq më i madh ndikimi), të fjalëve që, nëse shfaqen ose shfaqen shumë shpesh, përcaktojnë se raporti është ndoshta i rremë janë: ditë (0.48), avokat (0.43), sigurim (0.24), shpinë (7.74), çantë shpine (0.10), shpatullë (17.99), helmetë (26.92), iPhone (25.56), Apple (0.23), pothuajse (0.19), pas (0.12), dyqind (0.30), euro (6.81), para në dorë (19.18), kontratë (19.19).

Prandaj, zgjedhja jonë për rastet që janë ndoshta të vërteta është: autobuz (0.52), targë (0.19), zinxhir (16.06), policia (0.31), kinez (52.58), qafë (16.62), portal (0.26), ulje (0.36), madje (72.31), mjekër (0.34), centimetër (0.09), i hollë (0.09), i errët (0.10), bërtet (40.67), kap (0.12), mjeku (16.75), shoku (0.13).

Ne zhvilluam vizualizimin e lojës me Svelte.js.

Burimi origjinal: https://civio.es/transparencia/2025/03/25/national-police-stop-using-veripol-its-star-ai-for-detecting-false-reports/