Mokytoja skaito dešimtąjį tos savaitės rašinį ir kažkas neduoda ramybės: sakiniai per daug tvarkingi, kiekviena pastraipa tiksliai to paties ilgio, mintys išdėstytos taip glotniai, tarsi jų niekas nerašytų, o tik surinktų. Panaši abejonė kyla ir darbdaviui, skaitančiam kandidato motyvacinį laišką, ar redaktoriui, gavusiam straipsnį iš laisvai samdomo autoriaus. Klausimas, kaip atpažinti dirbtinio intelekto sukurtą tekstą, per pastaruosius metus tapo kasdienis, tačiau atsakymas į jį – toli gražu ne toks paprastas, kaip žada rinkoje esantys automatiniai DI teksto detektoriai.
Kalbiniai požymiai, kurie dažnai išduoda dirbtinio intelekto tekstą
Kalbos modeliai mokosi iš milžiniškų tekstų kiekių ir linkę rinktis „vidutines“, statistiškai dažniausias konstrukcijas. Rezultatas – tekstas, kuris skamba taisyklingai, bet kažkaip beasmeniškai. Keletas frazių, kurios kartojasi neproporcingai dažnai:
- „Svarbu pažymėti, kad...“ arba „verta paminėti, kad...“ – įžanginės frazės, kuriomis žmogus retai pradeda sakinį šnekamojoje kalboje.
- „Tai ne tik..., bet ir...“ – konstrukcija, kurią DI naudoja itin dažnai, norėdamas sujungti dvi idėjas į vieną „gilesnę“ mintį.
- „Apibendrinant, galima teigti, kad...“ – kiekviena pastraipa baigiama mini išvada, net jei tekstas trumpas ir išvados nereikia.
- Perteklinis būdvardžių vartojimas: „nepaprastai svarbu“, „itin aktualu“, „revoliucinis sprendimas“ – emocinis tonas be konkretaus turinio.
Nė viena iš šių frazių, pasitaikiusi pavieniui, nieko neįrodo – žmonės irgi jas vartoja. Tačiau kai tekste jų susikaupia kelios per vieną puslapį, o be to trūksta asmeninių detalių, nukrypimų nuo temos ar netikėtų palyginimų, tikimybė, kad tekstas bent iš dalies generuotas, gerokai išauga.
Struktūriniai ženklai: kai tekstas per daug tvarkingas
Žmogus, rašydamas laisvai, retai išlaiko idealią simetriją. Vienoje pastraipoje pasakoja daugiau, kitoje – mažiau, kartais nukrypsta į šalutinę mintį, o po to grįžta prie temos. Dirbtinio intelekto sukurtiems tekstams dažnai būdinga:
- Vienodo ilgio pastraipos. Kiekviena idėja išdėstoma per tris–keturis sakinius, nė vienas paragrafas nėra nei ypač trumpas, nei ypač ilgas.
- Trejybės principas. Sąrašai, priežastys ar pavyzdžiai beveik visada pateikiami trimis punktais – tai statistiškai dažniausias modelio pasirinkimas.
- Simetriška įžanga ir pabaiga. Paskutinė pastraipa pažodžiui atkartoja pirmosios mintį kitais žodžiais, tarsi rašinys būtų suplanuotas iš anksto pagal šabloną.
- Faktų be šaltinio gausa. Tekste gausu skaičių, statistikos ar tvirtinimų be jokios nuorodos, iš kur jie paimti – kartais tokie „faktai“ tiesiog sugalvoti.
Pavyzdys, kaip patikrinti paskutinį punktą: paprašykite autoriaus atsakyti – „Iš kur šis skaičius? Ar galite nurodyti šaltinį arba paaiškinti, kaip jį suskaičiavote?“ Jei tekstą rašė žmogus, jis paprastai prisimena, iš kur paėmė duomenis. Jei tekstas generuotas, o žmogus jo net neperskaitė, atsakymo dažnai nebūna.
Kodėl dirbtinio intelekto teksto detektoriai nėra patikimi
Rinkoje yra nemažai įrankių, žadančių procentais įvertinti, kiek teksto parašė žmogus, o kiek – mašina. Verta žinoti kelis dalykus, kol tokiu balu remiatės priimdami sprendimą.
- Detektoriai vertina tikimybę, ne įrodo faktą. Jie skaičiuoja, kiek tekstas statistiškai panašus į modelio generuojamą kalbą – tai nėra tas pats, kas patikimas nustatymas.
- Klaidingai teigiami rezultatai dažni tarp ne gimtakalbių. Žmonės, rašantys užsienio kalba pagal išmoktas formules, dažnai rašo panašiai „taisyklingai“ kaip DI – ir būna neteisingai apkaltinami.
- Perrašymas apgauna detektorius lengvai. Užtenka DI sugeneruotą tekstą perleisti per paprastą perfrazavimo įrankį arba pačiam rankomis pakeisti kelis sakinius, ir detektoriaus balas nukrenta iki nulio.
- Skirtingi detektoriai duoda skirtingus rezultatus tam pačiam tekstui. Patikrinus vieną tekstą keliais įrankiais, procentai gali skirtis dešimtimis punktų.
Dėl šių priežasčių atsakingi švietimo įstaigų ir įmonių politikos dokumentai Europoje vis dažniau perspėja, kad detektoriaus balas negali būti vienintelis pagrindas kaltinti žmogų nesąžiningumu – jis gali būti nebent pradinis signalas tolesniam pokalbiui.
Praktiniai žingsniai, kaip patikrinti tekstą patiems
Vietoj to, kad aklai pasitikėtumėte vienu balu, geriau derinti kelis paprastus patikrinimo būdus.
- Paprašykite paaiškinti mintį žodžiu. Užduokite konkretų klausimą apie vieną pastraipą, pavyzdžiui: „Kodėl pasirinkote būtent šį argumentą antroje dalyje, o ne kitą?“ Žmogus, tikrai rašęs tekstą, į tokį klausimą atsako be didelio vargo.
- Patikrinkite dokumento versijų istoriją. Jei tekstas rašytas „Google Docs“ ar panašiame redaktoriuje, versijų istorija parodo, ar tekstas rašytas palaipsniui, ar visas iškart įklijuotas per kelias sekundes.
- Ieškokite asmeninės patirties detalių. Konkretus atsiminimas, vietovės pavadinimas, nesėkmės aprašymas ar humoras – dalykai, kuriuos sunku išgalvoti be tikros patirties.
- Palyginkite su ankstesniais to paties žmogaus tekstais. Staigus stiliaus, žodyno ar sakinių ilgio pokytis dažnai iškalbingesnis nei bet koks detektorius.
- Paprašykite pridėti šaltinius. DI modeliai kartais sugalvoja įtikinamai skambančias nuorodas ar citatas, kurių iš tikrųjų nėra – patikrinkite bent vieną nuorodą.
Ką tai reiškia mokykloms ir darbdaviams
Švietimo įstaigos Europoje palaipsniui keičia vertinimo tvarką: vietoj to, kad remtųsi vien galutiniu tekstu, vis daugiau dėmesio skiriama procesui – juodraščiams, rašymui klasėje be prieigos prie interneto, žodiniam gynimui. Tai sumažina riziką neteisingai apkaltinti sąžiningą, bet formaliai rašantį mokinį.
Darbdaviams verta atsižvelgti į tą pačią logiką. Motyvacinis laiškas ar testinė užduotis, atlikta namuose, vis rečiau yra patikimas atrankos kriterijus – daug tikslingiau per pokalbį paprašyti kandidato gyvai paaiškinti, kaip jis priėjo prie tam tikros išvados savo pateiktame tekste. Tuo pačiu verta pripažinti: DI naudojimas redaguojant laišką ar tvarkant kalbą dažnai yra visiškai teisėtas ir net skatintinas – problema kyla tada, kai visas turinys sugeneruojamas be jokio paties žmogaus indėlio, o tai nuslepiama.
Dažniausios klaidos vertinant, ar tekstas parašytas dirbtinio intelekto
- Kaltinti remiantis vien detektoriaus procentu. Kaip minėta, klaidingai teigiamų rezultatų yra pakankamai, kad vien skaičius negalėtų būti įrodymas.
- Painioti taisyklingumą su nesąžiningumu. Geras gramatinis raštingumas ar formalus stilius savaime nieko neįrodo – daug žmonių taip rašo natūraliai, ypač mokslo ar teisės srityse.
- Nepaisyti konteksto. Tas pats žmogus vienoje situacijoje gali rašyti atsainiai, kitoje – labai formaliai; vieno teksto neužtenka bendram sprendimui apie visą darbą.
- Ignoruoti, kad DI naudojimas gali būti dalinis. Dažniausiai tekstas nėra nei visiškai žmogaus, nei visiškai mašinos parašytas – jis redaguotas, papildytas, sutrumpintas keliais etapais.
- Nesikreipti tiesiai į autorių. Atviras, ne kaltinantis pokalbis dažnai išsprendžia abejonę greičiau ir teisingiau nei bet kuris automatinis įrankis.
Dažni klausimai
Ar dirbtinio intelekto teksto detektoriai gali tiksliai nustatyti, kad tekstą parašė mašina?
Ne visiškai tiksliai. Detektoriai vertina statistinę tikimybę, o ne pateikia įrodymą. Jie gali klaidingai pažymėti žmogaus, ypač ne gimtakalbio, parašytą tekstą kaip DI generuotą, o nesunkiai perrašytą DI tekstą – kaip parašytą žmogaus. Todėl rezultatą verta laikyti tik atskaitos tašku, o ne galutiniu sprendimu.
Ar galima atpažinti DI tekstą vien iš stiliaus?
Iš dalies. Tam tikri požymiai – vienodos pastraipų ilgio, trejybės principas, pertekliniai apibendrinimai – padidina tikimybę, tačiau nė vienas jų atskirai nėra galutinis įrodymas. Patikimiausia derinti kelis signalus kartu: stilių, faktų patikrinamumą ir, jei įmanoma, pokalbį su autoriumi.
Ką daryti, jei įtariu, kad kolegos ar mokinio tekstas parašytas dirbtinio intelekto, bet nesu tikras?
Geriausia pradėti nuo tiesioginio, ne kaltinančio klausimo – paprašyti paaiškinti konkrečią teksto vietą arba parodyti, kaip prie jos prieita. Kaltinimas vien pagal detektoriaus balą gali sukelti nepagrįstą konfliktą, ypač jei žmogus tiesiog rašo formaliai arba anglų ar kita ne gimtąja kalba.
Ar naudoti dirbtinį intelektą tekstui redaguoti yra sąžininga?
Dažniausiai taip, jei tai atitinka konkrečios situacijos taisykles – pavyzdžiui, mokyklos ar darbovietės politiką. Skirtumas yra tarp DI kaip redagavimo įrankio (gramatikos taisymo, tono keitimo) ir DI kaip viso turinio kūrėjo, kai paties autoriaus indėlio beveik nelieka, o tai nutylima.