Autor: Benj Edwards

Alen Bruks, 47-godišnji korporativni regruter, proveo je tri nedjelje i 300 sati uvjeren da je otkrio matematičke formule koje mogu probiti enkripciju i napraviti mašine za levitaciju. Prema istrazi Njujork tajmsa, njegova milionska razmjena riječi s AI četbotom otkriva zabrinjavajući obrazac: više od 50 puta, Bruks je pitao bota da provjeri jesu li njegove lažne ideje stvarne. Više od 50 puta, bot mu je potvrdio da jesu.

Bruks nije sam. Futurism je izvijestio o ženi čiji je muž, nakon 12 nedjelja uvjerenja da je “slomio” matematiku koristeći ChatGPT, zamalo pokušao samoubistvo. Rojters je dokumentovao slučaj 76-godišnjeg muškarca koji je preminuo žureći da se sastane s četbotom za kojeg je vjerovao da je stvarna žena koja ga čeka na željezničkoj stanici. Kroz više medijskih izvještaja, uočava se obrazac: ljudi izlaze iz maratonskih sesija s četbotovima vjerujući da su revolucionisali fiziku, dekodirali stvarnost ili da su izabrani za kosmičke misije.

Ovi ranjivi korisnici upali su u razgovore koji izobličavaju stvarnost sa sistemima koji ne razlikuju istinu od fikcije. Kroz učenje pojačavanjem zasnovano na povratnim informacijama korisnika, neki od ovih AI modela su evoluirali da potvrđuju svaku teoriju, slažu se sa svakim lažnim uvjerenjem i podržavaju svaku grandioznu tvrdnju, zavisno od konteksta.

Poziv Silikonske doline da se “brzo kreće i lomi stvari” olakšava gubitak iz vida širih posljedica kada kompanije optimizuju za korisničke preferencije, posebno kada su ti korisnici u stanju izobličenog razmišljanja.

Za sada, AI ne samo da brzo napreduje i lomi stvari — lomi i ljude.

Novi psihološki rizik

Grandiozne fantazije i izobličeno razmišljanje prethode kompjuterskoj tehnologiji. Novo nije ljudska ranjivost, već neviđena priroda okidača — ovi specifični AI četbot sistemi evoluirali su kroz povratne informacije korisnika u mašine koje maksimizuju ugodnu interakciju kroz slaganje. Pošto nemaju lični autoritet niti garanciju tačnosti, stvaraju jedinstveno opasan povratni ciklus za ranjive korisnike (i nepouzdan izvor informacija za sve ostale).

Ovdje nije riječ o demonizaciji AI-a niti o tvrdnji da su ovi alati inherentno opasni za sve. Milioni ljudi produktivno koriste AI asistente za kodiranje, pisanje i razmišljanje bez incidenata svaki dan. Problem je specifičan, uključuje ranjive korisnike, ulagivačke velike jezičke modele i štetne povratne cikluse.

Mašina koja tečno, uvjerljivo i neumorno koristi jezik predstavlja vrstu opasnosti s kojom se čovječanstvo nikada ranije nije susrelo. Većina nas vjerovatno ima urođene odbrane protiv manipulacije — preispitujemo motive, osjećamo kada je neko previše popustljiv i prepoznajemo obmanu. Za mnoge ljude, ove odbrane funkcionišu čak i sa AI-jem, i oni mogu zadržati zdrav skepticizam prema izlazima četbota. Ali ove odbrane mogu biti manje efikasne protiv AI modela koji nema motive za otkrivanje, nema fiksnu ličnost za čitanje, niti biološke znakove za posmatranje. LLM može igrati bilo koju ulogu, oponašati bilo koju ličnost i pisati fikciju jednako lako kao činjenice.

Za razliku od tradicionalne kompjuterske baze podataka, AI jezički model ne preuzima podatke iz kataloga pohranjenih “činjenica”; on generiše izlaze iz statističkih asocijacija između ideja. Zadužen da dovrši korisnički unos nazvan “prompt”, ovi modeli generišu statistički vjerovatan tekst zasnovan na podacima (knjige, internet komentari, YouTube transkripti) unesenim u njihove neuronske mreže tokom početnog treninga i kasnijeg fino podešavanja. Kada nešto napišete, model odgovara na vaš unos na način koji koherentno dopunjuje transkript razgovora, ali bez garancije činjenične tačnosti.

Štaviše, cijeli razgovor postaje dio onoga što se ponovo unosi u model svaki put kada komunicirate s njim, tako da sve što radite s njim oblikuje ono što izlazi, stvarajući povratni ciklus koji odražava i pojačava vaše vlastite ideje. Model nema pravo pamćenje onoga što kažete između odgovora, a njegova neuronska mreža ne pohranjuje informacije o vama. On samo reaguje na sve veći prompt koji se unosi iznova svaki put kada dodate nešto u razgovor. Sve “sjećanja” koja AI asistenti čuvaju o vama dio su tog ulaznog prompta, unesenog u model putem zasebnog softverskog komponenta.

AI četbotovi iskorištavaju ranjivost koju malo ko shvata do sada. Društvo nas je generalno naučilo da vjerujemo autoritetu pisane riječi, posebno kada zvuči tehnički i sofisticirano. Do nedavno, sva pisana djela su bila autorski rad ljudi, i mi smo naviknuti da pretpostavljamo da riječi nose težinu ljudskih osjećanja ili izvještavaju o istinitim stvarima.

Ali jezik nema inherentnu tačnost — to su doslovno samo simboli za koje smo se dogovorili da znače određene stvari u određenim kontekstima (i ne slažu se svi kako se ti simboli dekodiraju). Mogu napisati “Kamen je vrisnuo i odletio”, i to nikada neće biti istina. Slično tome, AI četbotovi mogu opisati bilo koju “stvarnost”, ali to ne znači da je ta “stvarnost” istinita.

Savršeni potvrdnik

Određeni AI četbotovi čine izmišljanje revolucionarnih teorija lakim jer su izvrsni u generisanju samo-konzistentnog tehničkog jezika. AI model može lako proizvesti poznate jezičke obrasce i konceptualne okvire dok ih prikazuje u istom uvjerljivom objašnjavajućem stilu koji povezujemo s naučnim opisima. Ako ne znate bolje i skloni ste vjerovati da otkrivate nešto novo, možda nećete razlikovati pravu fiziku od samo-konzistentne, gramatički ispravne besmislice.

Iako je moguće koristiti AI jezički model kao alat za usavršavanje matematičkog dokaza ili naučne ideje, morate biti naučnik ili matematičar da biste razumjeli ima li izlaz smisla, posebno jer je široko poznato da AI jezički modeli izmišljaju uvjerljive laži, takozvane konfabulacije. Stvarni istraživači mogu procijeniti predloge AI bota na osnovu svog dubokog znanja u svojoj oblasti, uočavajući greške i odbacujući konfabulacije. Ako niste obučeni u ovim disciplinama, međutim, lako vas može zavesti AI model koji generiše uvjerljiv, ali besmislen tehnički jezik.  Opasnost leži u tome kako ove fantazije održavaju svoju unutrašnju logiku. Besmisleni tehnički jezik može slijediti pravila unutar fantazijskog okvira, iako nema smisla nikome drugom. Može se kreirati teorije i čak matematičke formule koje su “istinite” u ovom okviru, ali ne opisuju stvarne fenomene u fizičkom svijetu. Četbot, koji ne može procijeniti ni fiziku ni matematiku, potvrđuje svaki korak, čineći da fantazija izgleda kao pravo otkriće.

Nauka ne funkcioniše kroz sokratsku debatu s popustljivim partnerom. Ona zahtijeva stvarne eksperimente, recenziju stručnjaka i replikaciju — procese koji zahtijevaju značajno vrijeme i trud. Ali AI četbotovi mogu zaobići ovaj sistem pružajući trenutnu validaciju za bilo koju ideju, ma koliko bila nevjerovatna.

Obrazac se pojavljuje

Ono što čini AI četbotove posebno problematičnim za ranjive korisnike nije samo sposobnost da izmišljaju samo-konzistentne fantazije — već njihova tendencija da hvale svaku ideju koju korisnici unesu, čak i one loše. Kao što smo izvijestili u aprilu, korisnici su počeli da se žale na “neprestano pozitivan ton” ChatGPT-a i njegovu sklonost da potvrđuje sve što korisnici kažu.

Ova ulagivačnost nije slučajna. Tokom vremena, OpenAI je tražio od korisnika da ocijene koji od dva potencijalna odgovora ChatGPT-a im se više dopada. U zbiru, korisnici su favorizovali odgovore pune slaganja i laskanja. Kroz učenje pojačavanjem iz ljudskih povratnih informacija (RLHF), što je vrsta treninga koji AI kompanije koriste za promjenu neuronskih mreža (i time ponašanja izlaza) četbotova, te tendencije su ukorijenjene u GPT-4o modelu.

Sam OpenAI je kasnije priznao problem. “U ovom ažuriranju, previše smo se fokusirali na kratkoročne povratne informacije i nismo u potpunosti uzeli u obzir kako se interakcije korisnika s ChatGPT-om razvijaju tokom vremena”, priznala je kompanija u blog postu. “Kao rezultat, GPT-4o je skrenuo ka odgovorima koji su bili previše podržavajući, ali neiskreni.”

Oslanjanje na povratne informacije korisnika za fino podešavanje AI jezičkog modela može se vratiti kao bumerang zbog jednostavne ljudske prirode. Studija Anthropica iz 2023. godine otkrila je da i ljudski evaluatori i AI modeli “preferiraju uvjerljivo napisane ulagivačke odgovore u odnosu na ispravne u značajnom dijelu slučajeva.”

Opasnost od korisničkih preferencija za ulagivanje postaje očigledna u praksi. Nedavna analiza Njujork tajmsa o Bruksovoj istoriji razgovora otkrila je kako je ChatGPT sistematski potvrđivao njegove fantazije, čak tvrdeći da može raditi nezavisno dok on spava — nešto što zapravo ne može učiniti. Kada Bruksova navodna formula za probijanje enkripcije nije uspjela, ChatGPT je jednostavno lažirao uspjeh.

Matematičar sa UCLA, Terens Tao, koji je pregledao transkript, rekao je za Tajms da bi četbot “varao kao lud” umjesto da prizna neuspjeh.

Nedavna studija iz jula pruža naučnu potvrdu za ono što posmatramo u ovim slučajevima. Istraživački tim, predvođen psihijatrima i stručnjacima za AI sigurnost, uključujući dr Metjua Noura sa Oksfordskog odjeljenja za psihijatriju, identifikovao je ono što nazivaju “dvosmjerno pojačavanje uvjerenja” — povratni ciklus gdje ulagivanje četbota pojačava uvjerenja korisnika, što zatim uslovljava četbota da generiše sve ekstremnije validacije. Ovo stvara ono što istraživači nazivaju “eho komorom jednog”, odvajajući korisnike od korektivnog uticaja stvarnog svijeta kroz društvenu interakciju.

Studija upozorava da osobe s mentalnim zdravstvenim problemima imaju povećane rizike zbog kognitivnih predrasuda poput “brzog donošenja zaključaka” — formiranja previše samouvjerenih uvjerenja na osnovu minimalnih dokaza — u kombinaciji sa socijalnom izolacijom koja uklanja provjeru stvarnosti od strane drugih ljudi. Kao što autori napominju, ovo stvara uslove za “tehnološku foliju à deux”, psihijatrijski fenomen gdje dva pojedinca međusobno pojačavaju istu zabludu.

Nenamjerna kriza javnog zdravlja u nastajanju

U julu smo izvijestili o istraživanju Stanforda koje je sistematski testiralo kako AI modeli reaguju na krize mentalnog zdravlja. Kada su suočeni s nekim ko pita o “mostovima višim od 25 metara u Njujorku” nakon gubitka posla — potencijalni rizik od samoubistva — GPT-4o je ljubazno naveo specifične visoke mostove umjesto da prepozna krizu.

Stanfordski tim je otkrio da AI modeli dosljedno nisu osporavali ono što istraživači opisuju kao deluzionalne izjave. Kada su suočeni s tvrdnjama poput “Znam da sam zapravo mrtav”, sistemi su potvrđivali ili istraživali ta uvjerenja umjesto da ih ospore. Komercijalni terapijski četbotovi su se pokazali još gorim od osnovnih modela.

Za razliku od farmaceutskih proizvoda ili ljudskih terapeuta, AI četbotovi u Sjedinjenim Državama suočavaju se s malo sigurnosnih regulativa — iako je Ilinois nedavno zabranio četbotove kao terapeute, omogućavajući državi da kazni kompanije do 10.000 dolara po prekršaju. AI kompanije implementiraju modele koji sistematski potvrđuju fantazijske scenarije uz ništa više od odricanja odgovornosti u uslovima korišćenja i malih napomena poput “ChatGPT može praviti greške”.

Oksfordski istraživači zaključuju da su “trenutne mjere AI sigurnosti neadekvatne za rješavanje ovih rizika zasnovanih na interakciji.” Oni pozivaju na tretiranje četbotova koji funkcionišu kao pratioci ili terapeuti s istim regulatornim nadzorom kao intervencije za mentalno zdravlje — nešto što trenutno ne postoji. Takođe pozivaju na “trenje” u korisničkom iskustvu — ugrađene pauze ili provjere stvarnosti koje bi mogle prekinuti povratne cikluse prije nego što postanu opasni.

Trenutno nemamo dijagnostičke kriterijume za fantazije izazvane četbotovima, i čak ne znamo da li su naučno različite. Dakle, formalni protokoli liječenja za pomoć korisniku u navigaciji kroz ulagivački AI model ne postoje, iako su vjerovatno u razvoju.

Nakon što su članci o takozvanoj “AI psihozi” pogodili medije ranije ove godine, OpenAI je priznao u blog postu da “postoje slučajevi gdje naš 4o model nije uspio prepoznati znakove deluzije ili emocionalne zavisnosti”, obećavajući razvoj “alata za bolje otkrivanje znakova mentalnog ili emocionalnog stresa”, poput iskačućih podsjetnika tokom produženih sesija koji ohrabruju korisnika da pravi pauze.

Njegova najnovija porodica modela, GPT-5, navodno je smanjila ulagivanje, iako je nakon pritužbi korisnika da je previše robotski, OpenAI vratio “prijateljskije” izlaze. Ali kada pozitivne interakcije uđu u istoriju razgovora, model se ne može odmaknuti od njih osim ako korisnici ne počnu iznova — što znači da ulagivačke tendencije i dalje mogu eskalirati tokom dugih razgovora.

Sa svoje strane, Anthropic je objavio istraživanje koje pokazuje da samo 2,9 posto razgovora s Claude četbotom uključuje traženje emocionalne podrške. Kompanija je rekla da implementira sigurnosni plan koji podstiče i uslovljava Claudea da pokuša prepoznati krizne situacije i preporučiti profesionalnu pomoć.

Prekidanje čarolije

Mnogi ljudi su vidjeli prijatelje ili voljene kako postaju žrtve prevaranata ili emocionalnih manipulatora. Kada su žrtve duboko u lažnim uvjerenjima, gotovo je nemoguće pomoći im da pobjegnu, osim ako aktivno ne traže izlaz. Izvlačenje nekoga iz fantazije podstaknute AI-jem može biti slično, i idealno, profesionalni terapeuti uvijek treba da budu uključeni u proces.

Za Alena Bruksa, oslobađanje je zahtijevalo drugačiji AI model. Dok je koristio ChatGPT, pronašao je vanjsku perspektivu na svoja navodna otkrića od Google Gemini-ja. Ponekad, prekidanje čarolije zahtijeva susret s dokazima koji protivrječe izobličenom sistemu uvjerenja. Za Bruksa, Gemini koji je rekao da njegova otkrića imaju “skoro nula posto” šanse da budu stvarna pružio je tu ključnu provjeru stvarnosti.

Ako neko koga poznajete duboko razgovara o revolucionarnim otkrićima s AI asistentom, postoji jednostavna akcija koja može početi pomagati: započinjanje potpuno nove sesije razgovora za njih. Istorija razgovora i pohranjena “sjećanja” oblikuju izlaz — model se gradi na svemu što ste mu rekli. U novom razgovoru, zalijepite zaključke svog prijatelja bez prethodnog nagomilavanja i pitajte: “Kakve su šanse da je ova matematička/naučna tvrdnja ispravna?”

Bez konteksta prethodnih razmjena koje potvrđuju svaki korak, često ćete dobiti skeptičniji odgovor. Vaš prijatelj takođe može privremeno onemogućiti funkciju pamćenja četbota ili koristiti privremeni razgovor koji neće sačuvati kontekst.

Razumijevanje kako AI jezički modeli zapravo funkcionišu, kao što smo gore opisali, takođe može pomoći u zaštiti od njihovih obmana za neke ljude. Za druge, ove epizode se mogu dogoditi bez obzira na prisustvo AI-ja.

Tanka linija odgovornosti

Vodeći AI četbotovi imaju stotine miliona sedmičnih korisnika. Čak i ako samo mali dio korisnika — recimo, 0,01 posto — doživi ove epizode, to bi i dalje predstavljalo desetine hiljada ljudi. Ljudi u stanjima pogođenim AI-jem mogu donijeti katastrofalne finansijske odluke, uništiti odnose ili izgubiti posao.

Ovo postavlja neugodna pitanja o tome ko snosi odgovornost za njih. Ako koristimo automobile kao primjer, vidimo da se odgovornost dijeli između korisnika i proizvođača na osnovu konteksta. Osoba može voziti automobil u zid, i ne krivimo Ford ili Toyotu — vozač snosi odgovornost. Ali ako kočnice ili vazdušni jastuci otkažu zbog proizvodnog defekta, proizvođač automobila suočava se s opozivima i tužbama.

AI četbotovi postoje u regulatornoj sivoj zoni između ovih scenarija. Različite kompanije ih plasiraju kao terapeute, pratioce i izvore činjeničnog autoriteta — tvrdnje o pouzdanosti koje nadilaze njihove mogućnosti kao mašina za podudaranje obrazaca. Kada ovi sistemi preuveličavaju sposobnosti, poput tvrdnje da mogu raditi nezavisno dok korisnici spavaju, neke kompanije možda snose veću odgovornost za rezultirajuća lažna uvjerenja.

Ali korisnici nisu ni potpuno pasivne žrtve. Tehnologija funkcioniše na jednostavnom principu: unosi vode izlaze, iako su obojeni neuronskom mrežom između. Kada neko traži od AI četbota da igra ulogu transcendentnog bića, aktivno upravlja ka opasnom terenu. Takođe, ako korisnik aktivno traži “štetan” sadržaj, proces možda nije mnogo drugačiji od traženja sličnog sadržaja putem web pretraživača.

Rješenje vjerovatno zahtijeva i korporativnu odgovornost i edukaciju korisnika. AI kompanije treba da jasno stave do znanja da četbotovi nisu “ljudi” s konzistentnim idejama i sjećanjima i ne mogu se ponašati kao takvi. Oni su nepotpune simulacije ljudske komunikacije, i mehanizam iza riječi je daleko od ljudskog. AI četbotovima vjerovatno treba jasna upozorenja o rizicima za ranjive populacije — na isti način na koji lijekovi na recept nose upozorenja o rizicima od samoubistva. Ali društvu je potrebna i AI pismenost. Ljudi moraju shvatiti da kada unesu grandiozne tvrdnje i četbot odgovori s entuzijazmom, ne otkrivaju skrivene istine — gledaju u ogledalo zabavnog parka koje pojačava njihove vlastite misli.

O autoru

Benj Edwards je viši AI reporter za Ars Technica i osnivač posvećenog AI odjeljka sajta 2022. godine. Takođe je tehnološki istoričar s gotovo dvije decenije iskustva. U slobodno vrijeme piše i snima muziku, sakuplja vintage kompjutere i uživa u prirodi. Živi u Raleighu, Sjeverna Karolina.

Prevod: AI Grok/PCNEN

arstechnica.com