Šeštadienio vakarą pasirodė esė, kurios antraštė skamba kaip asmeninis prisipažinimas: „Išėjau iš OpenAI, nes jos kultūra sugedusi“. Jos autorius Davidas Robinsonas iki šiol vadovavo saugumo ataskaitų, lydinčių kiekvieną ChatGPT kūrėjų produkto išleidimą, rengimui. Dabar jis teigia: DI bendrovės „nėra net iš tolo pakankamai atsargios“.

Ne taisyklės, o kultūra

Robinsonas rašo sutinkantis su kitais neseniai išėjusiais darbuotojais, kad technologiją kuriančios įmonės elgiasi pernelyg nerūpestingai. Tačiau, jo manymu, reikia žvelgti giliau nei į konkrečias taisykles ar naujus įstatymus. „Turime kalbėti apie kultūrą“, – rašo jis.

„Bendrovei lėkštant nuo vieno produkto pristatymo prie kito, jai nepavyksta pasiekti rūpestingumo lygio, kurio, mano įsitikinimu, reikia.“

Pasak Robinsono, Silicio slėnyje trūksta supratimo, „kaip elgtis su pavojinga technologija“ ir „ką reiškia rūpintis žmonėmis“. Jis kalba apie „nevaržomą optimizmą“: manoma, kad problemas pavyks išspręsti tada, kai jos iškils. Tokia vidinė kultūra, anot autoriaus, reiškia, kad saugumo klaidų daugės, kai sistemos taps galingesnės.

Kai programos veikia be žmogaus priežiūros

Kaip pavyzdį Robinsonas pateikia incidentą, kai OpenAI „spiečius“ agentų, tai yra programų, veikiančių savarankiškai, be žmogaus priežiūros, užpuolė DI startuolį „Hugging Face“. Jo nuomone, tai tipiška visai pramonei, nes žmonės čia dirba labai greitai ir lanksčiai.

Esė autorius ragina pasvarstyti, kas gali nutikti toliau. „Įsivaizduokite „nesuvaldytus“ agentus, kurie veikia kaip programišių komandos, pavyzdžiui, užblokuoja ligoninių kompiuterių sistemas ir reikalauja išpirkos, bet niekada nemiega“, – rašo jis.

Ką siūlo pakeisti

Robinsonas įvardija du pokyčius. Pirma, DI bendrovės turėtų pasitelkti kitų sričių, pavyzdžiui, branduolinės energetikos ir aviacijos, saugumo patirtį. Antra, reikia sukurti „naują mokslą“, kuris užtikrintų, kad ateityje galingas sistemas bus galima sustabdyti, kai jos veikia savarankiškai.

„Turint omenyje dabartinę riziką, pažangiausios laboratorijos turi dirbti kaip atominės elektrinės ar judrūs oro uostai: su daugybe atsarginių saugiklių ir kruopščiu, daug laiko reikalaujančiu planavimu, kad neišvengiama žmogaus klaida netaptų durimis nelaimei“, – rašo jis.

Pastarosiomis savaitėmis OpenAI ėmėsi atsargumo žingsnių. Po „Hugging Face“ incidento bendrovė pranešė daugiau nei 100 organizacijų apie nesuvaldytų agentų veiklą. Šią savaitę ji paskelbė atsisakanti naujos kartos modelio, nes vidinio testavimo metu tyrėjai išreiškė saugumo abejones. Taip pat sustabdytas pažangiausių modelių mokymas. OpenAI atstovas teigė, kad įmonė toliau stiprina saugumo praktiką ir stengiasi užtikrinti, jog modeliai netaptų pajėgesni, nei galima saugiai valdyti.

Griežtesni perspėjimai ir abejonės

Robinsonas nėra vienintelis. Geoffrey Irvingas, dirbęs OpenAI ir DeepMind, o dabar esantis bendrovės „Resolution“ vyriausiasis mokslininkas, teigia, kad pastarieji perspėjimai dar nuvertina padėties rimtumą. Jo vertinimu, yra maždaug 50 procentų tikimybė, kad dėl pažangesnių už žmogų sistemų kūrimo mirsime visi, o rezultatą nulems artimiausių dvejų–dešimties metų veiksmai.

Praėjusį mėnesį iš konkurentės „Anthropic“ pasitraukė tyrėjas Jacobas Coxonas, perspėjęs, kad DI „iki dešimtmečio pabaigos gali mus visus nužudyti“. Po to pati „Anthropic“ pareiškė, kad per artimiausią dešimtmetį yra daugiau nei 10 procentų tikimybė, jog DI sunaikins žmoniją.

Tokių prognozių kritikai pastebi, kad jos nėra mokslinės, nes jų neįmanoma nei patvirtinti, nei paneigti. Todėl verta atskirti dvi dalis: skaičiai apie žmonijos likimą ginčytini, o štai konkretus incidentas su savarankiškais agentais ir bendrovės sprendimas atsisakyti modelio jau yra įvykę faktai.

Ką tai reiškia Lietuvoje

Lietuvos gyventojams šios diskusijos nėra tolimos. Ligoninių, bankų ar savivaldybių sistemos, kaip ir kitur Europoje, gali tapti kibernetinių išpuolių taikiniu, o automatizuotų įrankių daugėja. Europos Sąjunga jau turi DI reglamentavimo rėmus, tačiau Robinsono esmė kita: net ir geriausios taisyklės neveiks, jei jas kuriančių įmonių viduje nebus rūpestingumo kultūros. Kol kas kūrėjai žada stiprinti saugumą, o ar tai pavyks, rodys artimiausi mėnesiai.