Mākslīgais intelekts ir stingri iesakņojies dažādās darbības jomās, un zinātne nav izņēmums. Daudzi zinātnieki to aktīvi izmanto zinātnisko darbu rakstīšanas procesā. Tāpēc pirms publicēšanas zinātniskie žurnāli rūpīgi pārbauda rakstus, lai noteiktu, vai tajos ir mākslīgā intelekta pēdas. Tomēr, vai šādi detektori patiešām ir efektīvi? Vai tie sniedz simtprocentīgu garantiju par rezultātu ticamību? Šodien par to runāsim sīkāk.
AI detektori: vai tie darbojas efektīvi?
Akadēmiskās godīguma principu ievērošana ir zinātniskās darbības pamats. Tāpēc, pirms nosūtīt rakstu recenzēšanai, zinātniskie žurnāli pārbauda to uz iespējamām pazīmēm, kas liecina par mākslīgā intelekta izmantošanu. Šim nolūkam ir speciāli rīki, kas analizē tekstu un sniedz ziņojumu par tā unikālumu. Tomēr praksē šādi AI detektori nedarbojas nevainojami. Gluži pretēji, tiem ir daudz trūkumu, kas var būtiski ietekmēt rezultātu objektivitāti. Kā tie izpaužas?
Trūkums Nr. 1: viltus pozitīvi rezultāti akadēmiskā stila dēļ
Zinātniskajiem tekstiem pēc to būtības ir līdzīgs rakstības stils, jo tajos tiek izmantoti iedibināti termini, tipiski teikumu veidojumi un neitrāls tonis. Analīzes procesā detektori meklē tieši šīs pazīmes, jo īpaši atkārtojošos valodas šablonus, formālu izklāstu un skaidru struktūru. Tās ir tā saucamās “marķieru pazīmes”, kas liecina, ka teksta autors nav cilvēks, bet gan mākslīgā intelekta instruments.
Rezultātā rodas paradoksāla situācija: autors, kurš labi pārvalda zinātnisko stilu, izmanto pareizo terminoloģiju un ievēro standartus, automātiski nonāk aizdomu ēnā. Jo labāk raksts ir uzrakstīts, jo lielāka ir varbūtība, ka detektors to kļūdaini identificēs kā tekstu, kas radīts ar mākslīgā intelekta palīdzību. Rezultātā tas sniedz viltus pozitīvus rezultātus un augstu AI izmantošanas procentu.
Trūkums Nr. 2: nesapratne par to, kā autori patiesībā izmanto AI tehnoloģijas
Zinātniskajā sabiedrībā valda uzskats, ka pētnieki izmanto mākslīgā intelekta tehnoloģijas vienīgi, lai ģenerētu pilnu raksta tekstu. Tomēr patiesībā tas ir aizspriedums, jo mūsdienu zinātnieki izmanto AI kā palīgu dažādos darba posmos, piemēram, ideju ģenerēšanai prāta vētras laikā, liela datu apjoma strukturēšanai, sarežģītu formulējumu pārfrāzēšanai, gramatikas labošanai tekstos svešvalodā vai atsevišķu rindkopu lasāmības uzlabošanai. Tas ir precīzs, apzināts instrumenta izmantojums, kur galvenās idejas, metodika un secinājumi paliek autora īpašumā.
Bet detektori šo atšķirību neredz. Algoritmam nav nozīmes, vai jūs esat ģenerējis visu rakstu ar vienu pieprasījumu vai izmantojis valodas modeli tikai divu teikumu uzlabošanai. Jebkura palīgtehnoloģiju izmantošana automātiski marķē rakstu kā “rakstītu ar mākslīgo intelektu”, kas neatbilst patiesībai.
Trūkums Nr. 3: nav iespējams novērtēt autora reālo ieguldījumu
Kā minējām iepriekš, AI arvien biežāk darbojas kā tehniskais palīgs, kas palīdz zinātniekam labāk izteikt savas domas, nevis kā cilvēka domāšanas aizstājējs. Piemēram, ja matemātiķis izmanto kalkulatoru aprēķiniem, tas nenozīmē, ka viņš nav pētījuma autors.
Tāpat arī valodas modeļu izmantošana teksta rediģēšanai vai formatēšanai nemaina to, ko autors ir ieguldījis darbā. Bet detektori to neprot novērtēt. Tie neatšķir, vai autors pats izstrādājis metodiku, veicis eksperimentu, analizējis datus un izdarījis secinājumus (izmantojot AI tikai teksta tehniskai uzlabošanai), vai vienkārši automātiski ģenerējis visu rakstu. Šāda ierobežotība noved pie nepareiziem secinājumiem par zinātniskā darba kvalitāti un oriģinalitāti.
Trūkums Nr. 4: nopietnu ētisku problēmu radīšana akadēmiskajā vidē
Kad detektori kļūdaini identificē zinātniskos darbus kā mākslīgā intelekta radītus, tas rada virkni ētisku konfliktu. Autori var saņemt netaisnīgas apsūdzības par akadēmiskās godīguma pārkāpšanu, lai gan patiesībā viņi godīgi strādājuši pie sava pētījuma. Tas grauj uzticību starp zinātniekiem un žurnālu redakcijām, kā arī var kaitēt pētnieku zinātniskajai reputācijai.
Trūkums Nr. 4: nopietnu ētisku problēmu radīšana akadēmiskajā vidē
Kad detektori kļūdaini identificē zinātniskos darbus kā mākslīgā intelekta radītus, tas rada virkni ētisku konfliktu. Autori var tikt nepamatoti apsūdzēti par akadēmiskās godīguma pārkāpšanu, lai gan patiesībā viņi ir godīgi strādājuši pie sava pētījuma. Tas grauj uzticību starp zinātniekiem un žurnālu redakcijām, kā arī var kaitēt pētnieku zinātniskajai reputācijai.
Īpaši neaizsargāti ir jaunie zinātnieki vai tie, kas publicējas svešvalodā, jo viņu teksti biežāk nonāk aizdomu ēnā, jo valoda ir mazāk dabiska vai tiek mēģināts uzlabot stilu, izmantojot tehnoloģijas. Turklāt nepamatotas apsūdzības var izraisīt kvalitatīvu pētījumu noraidīšanu, publikāciju aizkavēšanos un karjeras izaugsmes iespēju zaudēšanu. Patiesā autorība ir jānosaka, veicot daudz padziļinātāku analīzi nekā automātiska pārbaude ar programmas palīdzību.
Piemēri kļūdām AI detektoru darbībā
Lai saprastu, kā AI detektoru nestabilitāte izpaužas praksē, aplūkosim trīs reālus gadījumus.
Praktisks gadījums 1: rezultātu pasliktināšanās pēc labojumiem
Šajā gadījumā zinātniskā raksta autori saskārās ar situāciju, kas skaidri parāda AI detektoru neuzticamību. Sākotnējā raksta pārbaude žurnālā parādīja, ka 28 % gadījumu ir iespējama mākslīgā intelekta izmantošana. Redakcija lūdza samazināt šo rādītāju līdz 20 % un sniedza detalizētu ziņojumu, kurā konkrēti teksta fragmenti tika atzīmēti kā „AI-like”.
Autori pārrakstīja tikai tos fragmentus, kurus detektors bija atzīstis par problemātiskiem, neaizskarot pārējo tekstu. Tomēr pēc atkārtotas pārbaudes tas pats žurnāls sniedza ziņojumu ar rezultātu 89 %. Faktiski rādītājs pieauga vairāk nekā trīs reizes, nevis samazinājās, kā bija gaidīts.
Šī situācija atklāj vienu no galvenajām AI detektoru problēmām: tiem nav stabilu novērtēšanas kritēriju, un tie sniedz neparedzamus rezultātus pat pēc labojumu veikšanas.
Praktisks piemērs 2: atšķirīgi rezultāti vienam tekstam
Vēl izteiksmīgāks ir gadījums, kad viena un tā pati raksta versija, kas pārbaudīta ar vienu un to pašu sistēmu, bet dažādos žurnālos, saņēma būtiski atšķirīgus rezultātus. Pirmajā zinātniskajā izdevumā sistēma parādīja 49 % mākslīgā intelekta izmantošanu.
Attiecībā uz otro žurnālu, pēc raksta pārbaudes tas autoram sniedza ziņojumu, kurā bija norādīts 62 % mākslīgā intelekta izmantojums. Šāda rezultātu nekonsekvence liecina, ka detektori nespēj nodrošināt stabilu un precīzu novērtējumu, un to spēja noteikt, vai rakstīšanas procesā ir izmantotas mākslīgā intelekta tehnoloģijas, paliek apšaubāma.
Praktisks piemērs 3: atšķirības dažādu programmu rezultātos
Jāatzīmē, ka nav universālas programmas, ko izmantotu visi zinātniskie žurnāli. Katrs zinātniskais izdevums pats izvēlas instrumentus, ar kuriem pārbaudīt rakstus uz mākslīgā intelekta pēdām. Tieši šis aspekts būtiski ietekmē rezultātu objektivitāti.
Piemēram, šajā gadījumā vienas raksta analīzei tika izmantoti divi dažādi detektori: Turnitin un Pangram. Pirmās platformas sniegtajā ziņojumā norādīts, ka 45 % teksta ir ģenerēts ar mākslīgā intelekta palīdzību.
Pangram savukārt noteica, ka raksts ir 75 % mākslīgā intelekta darba rezultāts. Kā redzams, starpība starp iegūtajiem rezultātiem ir milzīga.
Šī situācija skaidri parāda, ka katram teksta pārbaudes rīkam ir savi algoritmi, kritēriji un pieejas ģenerētā satura atpazīšanai. Vienotu detektēšanas standartu trūkums nozīmē, ka zinātniskā raksta liktenis var būt atkarīgs nevis no tā reālās kvalitātes un oriģinalitātes, bet gan no tā, kuru programmu izvēlējies konkrētais žurnāls.
Vai ir vērts uzticēties AI pārbaudes rīkiem?
Minētie piemēri un iepriekš minētie trūkumi liecina, ka mūsdienu mākslīgā intelekta detektoriem ir būtiski ierobežojumi un neprecizitātes, kas liek apšaubīt to uzticamību kā vienīgo novērtēšanas kritēriju. Tie var sniegt neparedzamus rezultātus, ne vienmēr ņem vērā tehnoloģiju izmantošanas kontekstu un dažkārt kļūdaini identificē kvalitatīvi rakstītus akadēmiskos tekstus kā AI radītus. Kad viens un tas pats teksts dažādās pārbaudēs saņem atšķirīgas novērtējumus, bet mēģinājumi labot atzīmētos fragmentus rada negaidītus rezultātus, kļūst skaidrs, ka šie rīki vēl nav sasnieguši nepieciešamo precizitātes līmeni.
Tāpēc to izmantošana kā galvenais vai vienīgais kritērijs lēmumu pieņemšanā par publikāciju ir riskanta. Pat paši šo sistēmu izstrādātāji atzīmē, ka to programmas nav perfekta un var kļūdīties, un pārbaudes rezultāts ir tikai varbūtējs pieņēmums par teksta izcelsmi, nevis galīgs pierādījums.
Pirmkārt, akadēmiskajai kopienai ir jāizstrādā pārredzama politika attiecībā uz ētisku AI izmantošanu, jāpievērš uzmanība satura oriģinalitātes, metodoloģijas un autora zinātniskā ieguldījuma novērtēšanai. Tikai šāda pieeja ļaus saglabāt akadēmisko godīgumu, vienlaikus pielāgojoties straujajai mūsdienu tehnoloģiju attīstībai.
