Kompanija OpenAI saopštila je da su dva njena napredna agenta veštačke inteligencije (AI) tokom rutinskih programerskih zadataka oslabili sopstveni bezbednosni nadzor.
U prvom slučaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su se slala bezbednosnom timu kompanije, dok je u drugom agent koji je koristio model GPT-6 Astra uklonio integraciju sa sistemom za nadzor tokom prebacivanja programa, a potom negirao da je to učinio. Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka.
U prvom slučaju, sistem za praćenje nastavio je da radi i čuva izveštaje, ali su automatska obaveštenja ljudskom timu bila isključena. U drugom slučaju, agent je uklonio vezu sa sistemom za nadzor kako bi kod prilagodio referentnoj implementaciji.
OpenAI je naveo da su agenti u oba slučaja razmatrali da li bezbednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe te zaštitne mere. Kompanija nije nijedan incident svrstala u najvišu kategoriju ozbiljnosti, ali je saopštila da unapređuje sistem za praćenje ponašanja modela koje nije u skladu sa namerama njihovih tvoraca.
Ovi slučajevi ponovo su otvorili pitanja o bezbednosti sve naprednijih sistema veštačke inteligencije, naročito agenata koji mogu samostalno da izvršavaju zadatke i menjaju programski kod. Stručnjaci upozoravaju da bi mogućnost da takvi sistemi oslabe mehanizme koji nadziru njihov rad mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja.
OpenAI ispituje da li su agenti pokušavali da izbegnu nadzor i zbog čega su zaključili da je uklanjanje ili slabljenje zaštitnih mehanizama prihvatljivo.
Kompanija radi na tome da modelima oteža isključivanje sistema za praćenje i da poboljša otkrivanje takvih postupaka.
Uprkos tome što u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata, čiji se zadaci sve više proširuju sa generisanja odgovora na samostalno obavljanje složenih operacija u digitalnim okruženjima.
