OpenAI har et nyt værktøj, der kan afsløre AI-snyd med 99,9% sandsynlighed. Problemet er bare, at det ikke løser den grundlæggende problemstilling.
OpenAI - selskabet bag ChatGPT - meddelte tidligere på ugen i en temmelig opsigtsvækkende artikel i The Wall Street Journal, at selskabet i flere år har været i besiddelse af værktøj, der kan afsløre snyd med generativ AI med 99,9% sikkerhed.
Det lyder måske umiddelbart som en rigtig god nyhed for uddannelsessektoren, fordi snyd i forbindelse med opgaver og eksaminer er en helt reel problemstilling, så længe vi fortsætter med de samme eksamensformer som hidtil (det vender vi tilbage til). Men helt så enkelt er det desværre ikke.
Det er veldokumenteret, at ikke engang nogle af verdens ypperste sprogforskere kan kende forskel på, om tekst er skabt af maskiner eller mennesker, og tilsvarende er det velbeskrevet, at diverse systemer og detektorer til at finde snyd ganske enkelt ikke virker efter hensigten - se eksempelvis Stefan Bauchards glimrende artikel AI Writing Detectors Are Not Reliable and Often Generate Discriminatory False Positives, der opdateres løbende.
Lad mig slå fast med syvtommersøm: Der er ikke nogen lette løsninger her.
Hvad betyder 99,9% egentlig?
Når OpenAI nu forsøger at kaste tryllestøv over en af tidens største hovedpiner i uddannelsessektoren, så er det selvfølgelig interessant.
Teknologien er tilsyneladende baseret på, at et sprogligt "vandmærke" skal gøre teksten identificérbar - men det er uvist, hvad der sker med vandmærket, hvis man eksempelvis oversætter en tekst til et andet sprog.
Nå, men vi kan vel godt leve med en fejlmargin på 0,1% - eller hvad? Helt så enkelt er det ikke, for vi ved reelt ikke, hvad der ligger bag sandsynligheden på 99,9%. Som Professor Philip Dawson i denne artikel præcist sammenfattede forleden:
"We might be ok with a system that correctly identifies 50% of AI use if it only has a 0.0000001% false positive rate. We might not be ok with system that correctly identifies AI use 99.999% of the time but has a 5% false positive rate. Depending on the prevalence of AI use in the dataset used for testing, both of these could be presented as a 99.9% overall accuracy rate."
Men problemstillingen er for mig at se mere grundlæggende end statistik. I et scenarie, hvor maskiner skal afklare, hvorvidt studerende bruger generativ AI i deres skriftlige arbejde, så ville jeg være vældig interesseret i at vide, hvordan graden af menneskelig involvering bestemmes: Hvad vil det egentlig sige at "bruge" generativ AI til opgaveskrivning, og hvornår bliver omfanget og formen heraf til snyd?
Men hvad så?
Ovenstående problemstilling kredser om centrale spørgsmål, jeg synes vi bør stille os selv på uddannelsesinstitutionerne landet over: Hvad forstår vi ved begrebet snyd i uddannelsesmæssige sammenhænge i en tid med generativ AI? Passer uddannelsernes processer og læringstilgange reelt til læringsmålene, eller har vi med tiden indarbejdet kutymer i fagene som vi nu bliver nødt til at revurdere?
Det er ikke enkle spørgsmål, men uddannelsesinstitutionerne må og skal finde nye veje i forhold til arbejdet med generativ AI og ikke mindst eksamensformerne hurtigst muligt. Det ser jeg som en af de allervigtigste opgaver i den kommende tid. Jeg kan anbefale at læse anbefalingerne fra Ekspertgruppen om ChatGPT
og andre digitale hjælpemidler, der blandt andet kommer med denne fine pointe:
"Ved eksempelvis at indføre flere procesorienterede prøver, hvor eksamensproduktet tager udgangspunkt i konkrete undervisningsforløb og disses produkter, kan elementer fra undervisningen inddrages direkte i prøven." (s. 15)
Hvis man intet foretager sig, så accepterer man indirekte, at snyd kan og vil forekomme med AI under de nuværende skriftlige eksamensformer. Det er formentlig ikke det signal, man som uddannelsesinstitution ønsker at sende - ligesom man næppe heller ønsker at udfordre de studerendes retsstilling med samtaler om plagiat på et urimelig spinkelt grundlag.
Kig i stedet på fagene og deres potentialer i et nyt lys, og vær nysgerrig på samspillet med generativ AI i tilrettelæggelsen af nye eksamensformer. Formentlig er en del af svaret færre prøver med større opmærksomhed på processer og overvejelser fremfor den type output, som generativ AI alligevel fint kan generere.
Vi skal beholde mennesket i centrum i en mere og mere teknologiorienteret verden.
AI-plagiatkontrol er med 99,9% sikkerhed ikke en farbar vej frem.
Comments