Abuzimi me deepfake në shkallë industriale shkaktoi krizë në shkollat e Koresë së Jugut. Ja si Australia mund ta shmangë të njëjtën fat

Shkollat australiane po shohin një rritje të numrit të incidenteve ku nxënësit kanë krijuar imazhe të rreme seksuale të shokëve të klasës së tyre. Komisioneri i eSafety i bëri thirrje shkollave të monitorojnë situatën.

Në vitin 2024, problemi i deepfake u bë një krizë në Korenë e Jugut: më shumë se 500 shkolla dhe universitete u shënjestruan në një valë të koordinuar të abuzimit seksual me deepfake.

Imazhet seksuale të gjeneruara nga AI të nxënësve — kryesisht vajza — u qarkulluan në grupe të enkriptuara në Telegram. Autorët shpesh ishin shokë klase të viktimave.

Një raport i ri nga grupi global për mbrojtjen e fëmijëve ECPAT me financim nga Fellowship Churchill me bazë në Mbretërinë e Bashkuar analizon ngushtë atë që ndodhi në Korenë, në mënyrë që vendet e tjera të kuptojnë dhe të shmangin kriza të ngjashme. Ja çfarë mund të mësojë Australia.

Një shikim në të ardhmen tonë?

Ngjarjet në Korenë e Jugut nuk ishin vetëm për teknologjinë deepfake. Ato ishin për mënyrën se si u përdor teknologjia.

Përgjegjësit krijuan grupe në platformën e mesazheve Telegram për të identifikuar njohje të përbashkëta në shkolla ose universitete lokale. Më pas formuan “Dhomat e Turpit” për të mbledhur fotografitë dhe informacionet personale të viktimave në mënyrë që të krijonin imazhe seksuale deepfake.

Dhomat për më shumë se 500 shkolla dhe universitete janë identifikuar, shpesh me mijëra anëtarë. Dhomat ishin plot me imazhe deepfake, të krijuara nga fotografi në rrjete sociale dhe vitrinën e shkollës.

Bota brenda aplikacionit lejonte përdoruesit të gjeneronin nudes AI në sekonda. Një nga këta bota kishte më shumë se 220,000 abonentë. Bota jepte dy imazhe deepfake falas për përdorues, me imazhe shtesë në dispozicion për shumën e një dollar australian.

Kjo nuk ishte web-i i errët. Po ndodhte në një platformë kryesore, e përdorur nga miliona.

Dhe nuk ishin vetëm predatorët e të rriturve. Më shumë se 80% e atyre që u arrestuan ishin adoleshentë. Shumë prej tyre u përshkruan si “djem normalë” nga mësuesit e tyre — nxënës që nuk kishin treguar kurrë shenja të sjelljes së dhunshme më parë.

Abuzimi u bë lojë. Përdoruesit fituan shpërblime për ftuar miq, ndarë imazhe, dhe rritur dëmin. Ishte social, por anonim.

A mund të ndodhë kjo në Australi?

Ne kemi parë tashmë incidente më të vogla, më pak të organizuara deepfake në shkollat australiane. Megjithatë, shkalla e madhe dhe lehtësia e përdorimit të sistemit koreano-aziatik të abuzimit duhet të jetë arsye për alarm.

Qendra Australiane për Kundërshkallëzimin e Eksploitimit të Fëmijëve regjistroi 58,503 raporte për imazhe dhe video të abuzimit të fëmijëve në internet në vitin financiar 2023–24. Kjo është mesatarisht 160 raporte në ditë (4,875 raporte në muaj), një rritje prej 45% krahasuar me vitin e mëparshëm.

Kjo rritje pritet të vazhdojë. Në përgjigje të këtyre rreziqeve, qeveria australiane, përmes Komisionerit të Sigurisë së Internetit, po zbatojnë Kërkesat Themelore për Sigurinë Online ekzistuese për shërbimet e AI-së gjeneruese. Kjo krijon një pritshmëri të qartë që këto shërbime duhet të punojnë proaktivisht për të parandaluar krijimin e përmbajtjes së dëmshme të deepfake.

Ndërkombëtarisht, Ligji i BE-së për Inteligjencën Artificiale ka vendosur një precedent për rregullimin e aplikacioneve të AI me rrezik të lartë, duke përfshirë ato që ndikojnë tek fëmijët. Në Shtetet e Bashkuara, projekt-ligji i propozuar Take It Down Act synon të kriminalizojë publikimin e imazheve intime pa konsensus, përfshirë deepfake-të e gjeneruara nga AI.

Këto janë një fillim, por shumë punë mbetet për t'u bërë për të siguruar një mjedis të sigurt online për të rinjtë. Përvoja koreane tregon sa lehtë mund të eskalojnë gjërat kur këto mjete përdoren në shkallë të gjerë, sidomos në abuzimin ndërmjet shokësh të moshës së adoleshencës.

5 mësime nga Koreja

Kriza në Korenë e Jugut përmban disa mësime për Australinë.

1. Parandalimi duhet të fillojë herët. Kriza në Korenë e Jugut përfshiu fëmijë sa të rinj sa 12 vjeç (dhe edhe më të vegjël në disa shkolla fillore të synuara). Nevojitet edukim gjithëpërfshirës për etikën digjitale dhe pëlqimin në shkollat fillore, jo vetëm në shkollat e mesme.

2. Zbatimi i ligjit ka nevojë për mjete të veta AI për t’u përshtatur. Ashtu siç po përdorin shkelësit AI për të rritur abuzimin, policia duhet të jetë e pajisur me AI për të zbuluar dhe hetuar atë. Kjo mund të përfshijë njohjen e fytyrës, zbulimin e përmbajtjes, dhe sistemet e triage automatike, të gjitha të drejtuara nga protokolle strikte të privatësisë.

3. Platformat gjithashtu duhet të mbajnë përgjegjësi. Telegram vetëm filloi bashkëpunimin me autoritetet e Koresë së Jugut pas presionit të madh publik. Australia duhet të zbatojë parimet e sigurisë nga dizajni dhe të sigurojë që platformat e enkriptuara të mos jenë strehë e sigurt për abuzim.

4. Shërbimet mbështetëse duhet të rriten në shkallë. Kriza në Korenë e Jugut shkaktoi trauma për komunitete të tëra. Viktimat shpesh duhet të vazhdonin shkollën me autorët në të njëjtën klasë. Australia duhet të investojë në sisteme mbështetëse të informuara nga trauma që mund të përgjigjen ndaj dëmit individual dhe kolektiv.

5. Duhet të dëgjojmë viktimat dhe të mbijetuarit. Politikat duhet të formësohen nga ata që kanë përjetuar abuzimin digjital. Ato janë thelbësore për të hartuar përgjigje efektive dhe me mëshirë.

Kriza në Korenë nuk ndodhi brenda natës. Shenjat paralajmëruese ishin aty: në 2023 Korea prodhoi më shumë se gjysmën e deepfake-ve të famshme në botë). Kjo është shoqëruar nga rritja e misogynisë online dhe proliferimi i mjeteve AI. Por ato u injoruan deri sa ishte shumë vonë. Australia nuk duhet të bëjë të njëjtën gabim.