Anthropic poroča o zlorabi Claude za razvoj raket v Jemnu
Ameriško podjetje Anthropic je v poročilu o grožnjah razkrilo, da je skupina akterjev v severnem Jemnu poskušala uporabiti KI-pogovorni bot Claude za razvoj vojaške programske opreme za krmiljenje.
Po ujemnih medijskih analizah je veliko kazalcev, da gre za Huthije, ki jih podpira Iran, čeprav jih Anthropic ne omenja neposredno po imenu.
Skupina je po poročilu uporabila hkrati več instanc Claude: ena je pisala kodo, ena je raziskovala, tretja pa je preverjala rezultate – podobno kot pravo razvojno ekipo. Cilj je bila programska oprema za krmiljenje raket, vključno z balistično raketo z dosegom več kot 2.000 kilometrov.
Da so zaobšli varnostne ukrepe podjetja Anthropic, so uporabniki razdelili svoja vprašanja na veliko posameznih seans, tako da ni bilo mogoče prepoznati skupnega namena. Anthropic je povedal, da so ujeli veliko, a ne vsa vprašanja.
Pri pravi preizkusni izstrelitvi rakete je prišlo do neuspeha. Le nekaj ur kasneje so uporabniki nanesli podatke o strmosu v Claude, da bi ugotovili vzrok.
Anthropic je zaprl prizadeta računa in obvestil varnostne organe. Predstavnik Huthijev je po poročilu zanikal, da bi skupina odvisna od javno dostopnih virov za razvoj orožja. Strokovnjak za orožje pa dvomi, da bi skupina kljub pomoč KI res zmožna zgraditi delujoče hipersonično orožje.
Anthropic opozarja, da so uporabniki pred zaprtjem ustvarili samostojno programsko paket za delo brez povezave, ki ga bodo lahko nadaljevali brez dostopa do Claude.
ZAKAJ JE TO POMEMBNO
Primer kaže, da se lahko sistemi KI kljub varnostnim ukrepom zlorabijo za razvoj nevarnega orožja in tako omogočijo sposobnosti manjšim akterjem, ki so jih prej potrebovala velika strokovna ekipa.
KAJ LAHKO NARDIŠ ZDAJ
- Ostani skeptičen do obljub varnosti KI Noben sistem KI ni za 100 % varen pred zlorabo. Ne zanašaj se slepo na to, da lahko proizvajalci preprečijo vsako zlorabo.
- Informiraj se o poročilih o zlorabi Velika podjetja KI redno objavljajo poročila o odkritih primerih zlorabe svojih sistemov. Pogled v zanesljive novičarske vire ti pomaga bolje oceniti aktualna tveganja.
- Preveri vire pri novicah o konfliktih Poročila o razvoju orožja in konfliktih so pogosto kompleksna in delno protislovna. Pazljivo preveri, ali več neodvisnih medijev potrjuje iste dejstva.
- Prijavi sumljivo uporabo KI Če veš za morebitno zlorabo storitve KI, to lahko poroči ponudniku prek njegove funkcije za prijavo. Tako pomagajo uporabniki podjetjem zapreti varnostne vrzel.