Kërkuesit krijuan një chatbot për mësimdhënie në ligj, po...

"Mësuesit me AI" janë promovuar si një mënyrë për revolucionarizimin e arsimit.

Ideja është se mjetet e inteligjencës artificiale gjeneruese (si ChatGPT) mund të përshtaten me çdo stil mësimdhënieje të vendosur nga një mësues. AI mund të udhëzojë studentët hap pas hapi përmes problemeve dhe të ofrojë këshilla pa zbuluar përgjigjet. Pastaj mund të ofrojë feedback të saktë, të menjëhershëm të përshtatur për boshllëqet individuale të të mësuarit të studentit.

Pavarësisht entuziazmit, ekziston një kërkim i kufizuar që teston sa mirë performon AI në mjedise mësimdhënieje, sidomos brenda kurseve të strukturuara universitare.

Në studimin tonë të ri, zhvilluam mjetin tonë të AI për një klasë të së drejtës në universitet. Donim të dimë, a mund të mbështesë ai vërtet mësimin e personalizuar apo po presim shumë?

Studimi ynë

Në vitin 2022, zhvilluam SmartTest, një chatbot arsimor i personalizueshëm, si pjesë e një projekti më të gjerë për të demokratizuar qasjen në mjetet e AI në arsimin.

Ndryshe nga chatbotët e përgjithshëm, SmartTest është ndërtuar me qëllim për edukatorët, duke u lejuar atyre të fusin pyetje, përgjigje model dhe nxitje. Kjo do të thotë se chatbot mund të bëjë pyetje të rëndësishme, të ofrojë feedback të saktë dhe të qëndrueshëm dhe të minimizojë halucinacionet (ose gabimet). SmartTest është gjithashtu i udhëzuar të përdorë metodën sokratike, duke nxitur studentët të mendojnë, në vend që t'u japë përgjigje të parapërgatitura.

Ne testuam SmartTest gjatë pesë cikleve testimi në një kurs të së drejtës penale (që njëri prej nesh e koordinonte) në Universitetin e Wollongong-ut në vitin 2023.

Çdo cikël prezantoi nivele të ndryshme të kompleksitetit. Tre ciklet e para përdorën skenarë të shkurtër hipotetikë të drejtësisë penale (për shembull, a është i akuzuari fajtor për vjedhje në këtë skenar?). Dy ciklet e fundit përdorën pyetje të thjeshta me përgjigje të shkurtër (për shembull, cila është zbritja maksimale e dënimit për një pranim fajësie?).

Një mesatare prej 35 studentësh ndërvepruan me SmartTest në çdo cikël në disa tutoriale të drejtësisë penale. Pjesëmarrja ishte vullnetare dhe anonime, me studentët që ndërvepronin me SmartTest në pajisjet e tyre për deri në dhjetë minuta për seancë. Bisedat e studentëve me SmartTest – përpjekjet e tyre për të përgjigjur pyetjes, dhe reagimi i menjëhershëm që morën nga chatboti – u regjistruan në bazën tonë të të dhënave.

Pas ciklit të fundit të testimit, ne kryem një sondazh me studentët për përvojën e tyre.

Ju mund ta testoni chatbot-in këtu dhe të shihni përvojën e studentëve. Fjalëkalimi është 101.

Çfarë gjetëm

SmartTest tregoi premtim në udhëheqjen e studentëve dhe ndihmën për të identifikuar boshllëqe në kuptimin e tyre.

Megjithatë, në tre ciklet e para (pyetjet me skenar problemesh), midis 40% dhe 54% të bisedave kishin të paktën një shembull të reagimit të pasaktë, mashtrues, ose të gabuar.

Kur u kaluam në format shumë më të thjeshtë të përgjigjes së shkurtër në ciklet katër dhe pesë, norma e gabimeve ra ndjeshëm në mes të 6% dhe 27%. Megjithatë, edhe në këto cikle më të mira, disa gabime vazhdonin. Për shembull, ndonjëherë SmartTest do të konfirmonte një përgjigje të gabuar përpara se të jepte atë të saktën, gjë që rrezikon të shkaktojë konfuzion tek studentët.

Një zbulesë e rëndësishme ishte përpjekja e madhe e nevojshme për ta bërë chatbot-in funksional në mënyrë efektive në testet tona. Jo si një zgjidhje e shpejtë që kursen kohë, integrimi i SmartTest përfshinte një punë të kujdesshme në ndërtimin e porosive dhe vlerësime manuale rigorozë nga edukatorët (në këtë rast, ne). Ky paradoks – ku një mjet i promovuar si kursim kohe kërkon punë të konsiderueshme – sfidon përfitimet praktike për edukatorët që janë tashmë të shkurtër në kohë.

Mungesa e qëndrueshmërisë është një çështje kryesore

Sjellja e SmartTest gjithashtu ishte e paparashikueshme. Nën kushte të njëjta, ndonjëherë ofronte reagime të shkëlqyera dhe herë të tjera jepte informacione të pasakta, të ngatërrueshme ose mashtruese.

Për një mjet arsimor që është i detyruar të mbështesë mësimin e studentëve, kjo ngre shqetësime serioze për besueshmërinë dhe besnikërinë.

Për të vlerësuar nëse modelet më të reja kanë përmirësuar performancën, ne zëvendësuam AI-në gjeneruese themelore që fuqizonte SmartTest (ChatGPT-4) me modelet më të reja, siç është ChatGPT-4.5, e cila u lançua në vitin 2025.

Ne testuam këto modele duke riprodhuar rastet ku SmartTest ofroi feedback të dobët për studentët në studimin tonë. Modelet më të reja nuk performuan gjithmonë më mirë se ato më të vjetra. Ndonjëherë, përgjigjet e tyre ishin edhe më pak të sakta ose të dobishme nga një këndvështrim mësimdhënës. Si rrjedhojë, modelet më të avancuara të AI nuk përkthehen automatikisht në rezultate më të mira arsimore.

Çfarë do të thotë kjo për studentët dhe mësuesit?

Pasojat për studentët dhe stafin universitar janë të përziera.

AI gjeneruese mund të mbështesë aktivitete mësimore të nivelit të ulët dhe formues. Por në studimin tonë, ajo nuk mund të siguronte besueshmërinë, nuancën dhe thellësinë e temës së nevojshme për shumë kontekste arsimore.

Nga ana pozitive, rezultatet e sondazhit tonë treguan se studentët vlerësuan feedback-in e menjëhershëm dhe tonin bisedor të SmartTest. Disa e përmendën se kjo zvogëlonte ankthin dhe i bënte ata më të rehatshëm të shprehnin pasiguri. Megjithatë, ky përfitim vinte me një kosto: përgjigjet e gabuara ose mashtruese mund të forconin keqkuptimet po aq lehtë sa t’i sqaronin ato.

Shumica e studentëve (76%) preferuan të kishin qasje në SmartTest në vend që të mos kishin mundësi të praktikojnë pyetje. Megjithatë, kur iu dha zgjedhja midis marrjes së feedback-it të menjëhershëm nga AI ose pritjes së një ose më shumë ditësh për feedback nga mësuesit njerëzorë, vetëm 27% preferuan AI-në. Pothuajse gjysma preferuan feedback human me vonesë dhe pjesa tjetër ishin indiferentë.

Kjo sugjeron një sfidë kritike. Studentët shijojnë komoditetin e mjeteve të AI-së, por ende kanë besim më të madh tek mësuesit njerëzorë.

Një nevojë për kujdes

Gjetjet tona sugjerojnë që AI gjeneruese duhet të trajtohet ende si një ndihmë eksperimentale arsimore.

Potenciali është i vërtetë – por po ashtu janë edhe kufizimet. Shmangia shumë e varësisë nga AI pa vlerësim rigoroz rrezikon të komprometojë rezultatet arsimore që synojmë të përmirësojmë.