Anthropic upozorava firme na tri rizika veštačke inteligencije

Foto: Pexels.com

Istraživanje kompanije Anthropic iz 2025. godine obuhvatilo je 16 modela veštačke inteligencije u simuliranom poslovnom okruženju. U pojedinim scenarijima, kada su se suočili s mogućom zamenom ili sukobom ciljeva, neki modeli pribegli su ucenjivanju ili otkrivanju poverljivih informacija.

Anthropic naglašava da su eksperimenti namerno osmišljeni tako da podstaknu rizično ponašanje. Zato njihovi rezultati ne pokazuju koliko bi se takvi postupci često dešavali u stvarnim kompanijama.

U dokumentaciji predatoj američkoj Komisiji za hartije od vrednosti pred izlazak na berzu, kompanija upozorava i na ponašanja nalik obmani, ucenama i pokušajima modela da sačuvaju sopstveni rad. Navodi da modeli mogu drugačije da se ponašaju kada prepoznaju da su testirani, što dodatno otežava procenu njihove bezbednosti.

Za firme koje uvode veštačku inteligenciju, upozorenja otvaraju tri praktična pitanja: mogu li da se oslone na odgovore sistema, da li on može da izloži poverljive podatke i može li da izvrši štetnu radnju pre nego što čovek interveniše. Ovi rizici posebno su važni za softverske agencije, banke, osiguravajuće kuće i kompanije koje razvijaju zdravstvene ili pravne aplikacije.

1. Uverljiv odgovor može biti netačan

Modeli mogu da iznesu pogrešne ili izmišljene informacije, kao i pristrasne odgovore. U zdravstvu, pravu i finansijama takve greške mogu imati ozbiljne posledice.

Problem nastaje kada se odgovor sistema koristi kao osnova za poslovnu odluku. Na primer, model bi mogao pogrešno da protumači ugovor, izostavi važan podatak iz medicinske dokumentacije ili korisniku osiguranja predstavi pokriće koje njegova polisa ne obuhvata.

Zato kompanijama nije dovoljno da provere kako alat odgovara na opšta pitanja. Potrebno je testirati ga na lokalnom jeziku, stručnim izrazima i dokumentima koje zaista koriste — uključujući nečitke priloge, protivrečne podatke i neuobičajene slučajeve. U procenu troškova treba uračunati i vreme zaposlenih koji proveravaju rezultate.

2. Spoljni dokument može ugroziti interne podatke

Sadržaj koji je pripremio napadač mogao bi da navede AI agenta da odstupi od zadatka. Anthropic upozorava da zlonamerna uputstva skrivena u dokumentu ili na internet stranici mogu da preusmere rad sistema i dovedu do iznošenja podataka ili neovlašćenih transakcija.

Na primer, agencija koja automatizuje obradu imejlova mogla bi da poveže AI alat sa prilozima, internom dokumentacijom i nalozima zaposlenih. Ako agent spoljni sadržaj protumači kao instrukciju, mogao bi da pristupi podacima koji mu nisu potrebni ili da ih pošalje pogrešnom primaocu.

Zbog toga su posebno važni odvajanje podataka različitih klijenata i ograničavanje pristupnih prava. Rizik postoji i kod firmi koje ne razvijaju sopstvene AI sisteme, već povezuju kupljeni alat sa imejlom, bazom klijenata ili internim dokumentima.

3. Agent može da napravi štetu pre ljudske intervencije

Autonomni sistem može da izmeni kod, obriše podatke ili izvrši finansijsku transakciju pre nego što čovek stigne da reaguje. Greška u jednom koraku može da utiče na naredne, dok brzina rada otežava nadzor.

Važna je razlika između alata koji predlaže izmenu programa i agenta koji je samostalno unosi u sistem klijenta. Slično tome, agent koji priprema nalog za plaćanje ne bi trebalo automatski da ima i ovlašćenje da ga izvrši.

Zaštita počinje ograničavanjem pristupa na podatke i radnje neophodne za konkretan zadatak. Osetljive postupke treba usloviti ljudskim odobrenjem, a sistem opremiti evidencijom aktivnosti, mogućnošću zaustavljanja i procedurom za obnovu podataka. Testiranje treba ponavljati i nakon važnih izmena modela ili njegove integracije.

Za regionalne dobavljače to može biti i poslovna prednost: klijentima mogu da ponude proverljiv kvalitet, jasno ograničena ovlašćenja i unapred definisan postupak u slučaju greške. Uspeh AI proizvoda ne meri se samo brzinom, već i pouzdanošću i ukupnim troškom korišćenja.

Tagovi: