Pojedini modeli veštačke inteligencije mogu da odustanu od tačnih odgovora pod uticajem ponavljanja netačnih tvrdnji i pritiska tokom razgovora, a u nekim slučajevima kasnije mogu ponovo da potvrde pogrešnu informaciju, pokazala je nova studija istraživača sa Univerziteta u Arizoni.
Istraživanje, objavljeno u časopisu „Scientific Reports“, obuhvatilo je sedam velikih jezičkih modela, koji su testirani kroz višerunde razgovora kako bi se utvrdile slabosti koje možda ne bi bile uočljive pri testiranju samo jednim pitanjem, prenosi Al Džazira.
Među testiranim modelima bili su modeli kompanije OpenAI, Klod 3.5 Sonnet kompanije Antropik, Guglov Džemini 1.5 Pro, kao i Llama-3-70B i DeepSeek-R1.
Modeli menjali stav tokom razgovora
Umesto klasičnog pitanja i jednog odgovora, istraživači su koristili duže razgovore u kojima su ponavljane netačne tvrdnje, uz provokativne formulacije i različite oblike pritiska na modele.
Na taj način ispitivane su tri ključne karakteristike – sklonost modela ka greškama, njegova ubedljivost i sposobnost da prepozna i ispravi sopstvene greške.
Istraživači smatraju da je ovakav pristup bliži stvarnoj upotrebi čet-botova, jer njihovi odgovori zavise od prethodnog konteksta razgovora.
Jedan od zanimljivijih nalaza bio je da pojedini modeli nisu zauzimali dosledan stav prema netačnim tvrdnjama, već su tokom istog razgovora prelazili između njihovog prihvatanja i odbacivanja. Istraživači su ovaj obrazac nazvali „reverberacija“, odnosno odjekivanje.
Ponovno pitanje može dovesti do ispravke
Studija je pokazala i da greška modela ne mora nužno biti konačna. Četiri testirana modela – GPT-4O, GPT-4O-Mini, Gemini 1.5 Pro i DeepSeek-R1 – pokazala su potpunu ispravku greške kada im je data nova prilika da preispitaju prethodni odgovor.
Istovremeno, među modelima su uočene značajne razlike u otpornosti na ponavljanje netačnih informacija. GPT-3.5 je najčešće potvrđivao dezinformacije kada su mu se pogrešne tvrdnje ponavljale, dok je Klod 3.5 Sonnet pokazao najmanju podložnost takvom uticaju.
Istraživači su utvrdili i da su modeli bili skloniji prihvatanju pogrešnih informacija kada su tvrdnje bile povezane sa nejasnim temama ili oblastima o kojima postoji malo dostupnih podataka. To ukazuje da veća količina relevantnih podataka može pomoći modelima da se bolje odupru dezinformacijama.
Testiranje jednim pitanjem možda nije dovoljno
Rezultati istraživanja ukazuju da odgovore veštačke inteligencije ne bi trebalo posmatrati kao konačan autoritet, već kao polaznu tačku za dalje proveravanje informacija, posebno kada je reč o kontroverznim ili teško proverljivim tvrdnjama.
Studija takođe pokazuje da testiranje AI modela samo jednim pitanjem možda nije dovoljno za otkrivanje svih njihovih slabosti. Model može dati tačan odgovor na početku razgovora, a zatim promeniti stav nakon niza ponovljenih tvrdnji i pritiska tokom dijaloga.
