Shumë shenja em-dash? Fjalë të çuditshme si ‘delves’? Identifikimi i tekstit të shkruar nga ChatGPT është ende më shumë art sesa shkencë

Njerëzit tani përdorin rutinë chatbote për të shkruar kod kompjuterik, për të përmbledhur artikuj dhe libra, ose për të kërkuar këshilla. Por këta chatbotë gjithashtu përdoren për të gjeneruar shpejt tekst nga e para, me disa përdorues duke i kaluar fjalët si të tyre.

Kjo, pa dyshim, ka sjellë dhimbje koke për mësuesit që janë përgjegjës për vlerësimin e punës së shkruar të nxënësve të tyre. Kjo gjithashtu ka krijuar probleme për njerëzit që kërkojnë këshilla në forume si Reddit, ose konsultohen me rishikimet e produkteve para se të bëjnë një blerje.

Gjatë viteve të fundit, studiuesit kanë eksploruar nëse është edhe e mundur të dallosh shkrimin njerëzor nga teksti i gjeneruar nga inteligjenca artificiale. Por strategjitë më të mira për të dalluar midis tyre mund të vijnë nga vetë chatbotët.

Shumë i mirë për të qenë njeri?

Disa studime të fundit kanë vënë në dukje sa e vështirë është të përcaktohet nëse teksti është gjeneruar nga një njeri apo nga një chatbot.

Pjesëmarrësit e kërkimit të rekrutuar për një studim online të vitit 2021, për shembull, ishin nuk në dijeni të dallonin mes tregimeve, artikujve lajmesh dhe recetave të shkruara nga njeriu dhe atyre të gjeneruara nga ChatGPT.

Ekspertët në gjuhësi nuk janë më të mirë. Në një studim të vitit 2023, anëtarët e bordit editorial për revistat kryesore të gjuhësisë ishin nuk në dijeni se cilat abstrakte të artikujve ishin shkruar nga njerëzit dhe cilat ishin të gjeneruara nga ChatGPT. Dhe një studim i vitit 2024 gjeti se 94% e provimeve të bachelorit të shkruara nga ChatGPT u kaluan pa u vërejtur nga vlerësuesit në një universitet britanik.

Klar, njerëzit nuk janë shumë të mirë në këtë.

Një besim i zakonshëm është se fjalët e rralla ose të pazakonta mund të shërbejnë si “tregues” në lidhje me autorësinë, ashtu si një lojtar pokeri mund të zbulojë ndonjë mënyrë që ai mban një dorë fituese.

Kërkuesit kanë dokumentuar, në fakt, një rritje dramatike në fjalë relativisht të rralla, si “delves” ose “crucial,” në artikuj të botuar në revistat shkencore gjatë viteve të fundit. Kjo sugjeron se termat e pazakontë mund të shërbejnë si tregues se është përdorur AI gjeneruese. Gjithashtu, kjo nënkupton se disa kërkues po përdorin aktivisht bota për të shkruar ose redaktuar pjesë të dorëshkrimeve të tyre për revistat akademike. Nëse kjo praktikë pasqyron shkelje është një çështje për diskutim.

Në një studim tjetër, studiuesit pyetën njerëzit për karakteristikat që ata lidhen me tekstin e gjeneruar nga chatboti. Shumë pjesëmarrës vunë në dukje përdorimin e tepruar të em dash – një dash i zgjeruar që përdoret për të veçuar tekstin ose për të shërbyer si një pushim në mendim – si një shenjë e produktit të gjeneruar nga kompjuteri. Por edhe në këtë studim, shkalla e zbulimit të AI-së nga pjesëmarrësit ishte vetëm pak më e mirë se rastësia.

Duke pasur parasysh këtë performancë të dobët, pse kaq shumë njerëz besojnë se em dash janë një shenjë e qartë për chatbote? Ndoshta është sepse kjo formë e pikësimit kryesisht përdoret nga shkrimtarë të përvojë. Në fjalë të tjera, njerëzit mund të besojnë se shkrimi që është “shumë i mirë” duhet të jetë i gjeneruar artificialisht.

Por nëse njerëzit nuk mund ta dallojnë në mënyrë intuitive ndryshimin, ndoshta ekzistojnë metoda të tjera për të përcaktuar autorësinë njerëzore kundrejt asaj artificiale.

Stylometria për ndihmë?

Disa përgjigje mund të gjenden në fushën e stylometrisë, ku studiuesit përdorin metoda statistikore për të zbuluar ndryshime në stilin e shkrimit të autorëve.

Unë jam një shkencëtar i njohjes që shkroi një libër mbi historinë e teknikave stilometrike. Në të, dokumentoj se si studiuesit zhvilluan metoda për të përcaktuar autorësinë në raste të kontestuara, ose për të përcaktuar kush mund të ketë shkruar tekste anonime.

Një mjet për përcaktimin e autorësisë u propozua nga studiuesi australian John Burrows. Ai zhvilloi Burrows’ Delta, një teknikë kompjuterike që shqyrton frekuencën relative të fjalëve të zakonshme, në kundërshtim me ato të rralla, që shfaqen në tekste të ndryshme.

Mund të duket kontradiktore të mendosh se përdorimi i fjalëve si “the”, “and” ose “to” nga dikush mund të përcaktojë autorësinë, por teknika ka qenë jashtëzakonisht efektive.

Burrows’ Delta, për shembull, u përdor për të përcaktuar se Ruth Plumly Thompson, pasuesja e L. Frank Baum, ishte autori i librit të diskutueshëm në serinë “Wizard of Oz”. Gjithashtu u përdor për të përcaktuar se letrat e dashurisë të atribuuara Gjeneralit Konfederat i George Pickett ishin në të vërtetë inovacionet e vejës së tij, LaSalle Corbell Pickett.

Një problem kryesor i Delta të Burrows dhe teknikave të ngjashme është se ato kërkojnë një sasi mjaft të madhe teksti për të dalluar në mënyrë të besueshme midis autorëve. Një studim i vitit 2016 gjeti se më së paku 1,000 fjalë nga secili autor mund të kërkohen. Prandaj, një ese studentore relativisht e shkurtër, nuk do të siguronte mjaftueshëm input për të funksionuar magjia e atribuimit statistik.

Puna më e fundit ka përdorur atë që njihen si modelet gjuhësore BERT, të cilat trajnohen mbi sasi të mëdha teksti të gjeneruar nga njeriu dhe chatboti. Modelet mësojnë modelet që janë të zakonshme në secilin lloj shkrimi, dhe ato mund të jenë shumë më diskriminuese sesa njerëzit: Ata më të mirët janë midis 80% dhe 98% të saktë.

Megjithatë, këto modele të mësimit makinerik janë “kuti të zeza” – pra, ne nuk e dimë me të vërtetë cilat tipare të tekstit janë përgjegjëse për aftësitë e tyre mbresëlënëse. Hulumtuesit po përpiqen aktivisht të gjejnë mënyra për t’i kuptuar ato, por për momentin, nuk është e qartë nëse modelet po zbulojnë sinjale të veçanta, të besueshme që njerëzit mund t’i kërkojnë vetë.

Një qëllim në lëvizje

Një sfidë tjetër për identifikimin e tekstit të gjeneruar nga robotët është se modelet vetë janë duke ndryshuar vazhdimisht – ndonjëherë në mënyra të mëdha.

Herët në vitin 2025, për shembull, përdoruesit filluan të shprehnin shqetësime se ChatGPT kishte bërë më shumë se i përshtatshëm, me pyetje të zakonshme të konsideruara “mbresëlënëse” ose “fantastike.” OpenAI trajtoi çështjen duke kthyer disa ndryshime që kishte bërë.

Sigurisht, stili i shkrimit të një autori njerëzor mund të ndryshojë me kalimin e kohës, por zakonisht ndodh më gradualisht.

Në një moment, u pashë se çfarë duhet të thoshin robotët për veten e tyre. Pyeta ChatGPT-4o: “Si mund ta them nëse ndonjë prozë është gjeneruar nga ChatGPT? A ka ndonjë ‘shenja’, si zgjedhja karakteristike e fjalëve ose pikëpunktimi?”

Roboti pranoi se dallimi midis prozës njerëzore dhe asnjanëse “mund të jetë i vështirë.” Megjithatë, ai më dha një listë me 10 pika, plot me shembuj.

Këto përfshinin përdorimin e shprehjeve të dyshimta – fjalë si “shpesh” dhe “në përgjithësi” – si dhe përsëritjen, një mbështetje të tepruar në listë dhe një “tërheqje të pastër, neutrale.” Ai përmendi “fjalor të parashikueshëm,” i cili përfshinte disa mbiemra si “domethënës” dhe “shquar,” së bashku me terma akademikë si “impikim” dhe “kompleksitet.” Megjithatë, edhe pse vuri në dukje se këto veçori të tekstit të gjeneruar nga chatbot janë të zakonshme, ai përfundoi se “nuk janë asnjëra vendimtare në vetvete.”

Chatbotët janë të njohur për të hallucinuar, ose të bëjnë gabime faktike.

Por kur bëhet fjalë për të folur për veten e tyre, ato duken të jenë jashtëzakonisht të ndjeshme.