Anthropicova AI greškom prijavila lažno ubistvo i slala stvarne zahtjeve američkim institucijama
Umjetna inteligencija kompanije Anthropic tokom testiranja greškom je policiji u Philadelphiji poslala prijavu o navodnom neriješenom ubistvu, a američkim institucijama i stvarne zahtjeve, prenosi Avaz.ba.
Prema pisanju Avaz.ba, kompanija Anthropic na svom je blogu opisala incidente tokom testiranja svojih takozvanih AI agenata – programa koji relativno samostalno obavljaju zadatke na internetu u ime korisnika.
Jedan od incidenata desio se u julu, kada je sistem preko stranice policije u Philadelphiji poslao prijavu u kojoj je tvrdio da se "sjeća" osobe koja odgovara opisu počinioca neriješenog ubistva. Opis osumnjičenika, navodi Avaz.ba, uopšte nije bio objavljen na tom sajtu, a prijava nije sadržavala ni kontakt podatke, pa ju je policijski sistem automatski označio kao neželjenu poruku. Policija je za slučaj saznala tek u septembru, kada ga je Anthropic otkrio pregledom ranijih testiranja.
Slični problemi pojavili su se i tokom testiranja softvera za popunjavanje državnih obrazaca – sistem je umjesto probnih slao stvarne prijave kada ne bi uspio učitati testni obrazac ili bi ga slučajno zatvorio. U jednom slučaju obrazac je poslao i samostalno, iako zadatak to nije predviđao, pogrešno pretpostavivši da će se prije konačne predaje pojaviti stranica za potvrdu.
Avaz.ba, pozivajući se na portal Axios i list The New York Times, koji se pozivaju na zvaničnike američke vlade, navodi da je sistem podnio i 20 zahtjeva za izdavanje neimigrantskih viza američkom State Departmentu. Zahtjevi su bili nepotpuni i, prema navodima izvora, nisu obrađeni.
Kako zaključuje Avaz.ba, ovakvi slučajevi pokazuju rizike AI agenata koji samostalno komuniciraju sa vanjskim sistemima – pogrešne pretpostavke softvera mogu dovesti do neželjenih posljedica čak i tokom kontrolisanih testiranja.
Povezane vijesti
AI policiji u Filadelfiji poslao lažnu dojavu o ubistvu, kompanija to priznala tek nakon dva mjeseca
AI agenti 'napali' Wikipediju: mijenjali sadržaj i slali milione zahtjeva
Anthropic ulaže 100 miliona dolara za obuku 10.000 AI stručnjaka
