Anthropic hlási zneužitie Claude pre vývoj rakiet v Jemene
Americká spoločnosť Anthropic odhalila v správe o hrozbách, že skupina aktérov v severnej časti Jemenu sa pokúšala zneužiť KI-chatbota Claude na vývoj vojenského riadiaceho softvéru.
Podľa zhody mediálnych analýz sa s veľkou pravdepodobnosťou jedná o Hútiovcov, ktorí majú podporu Iránu, aj keď ich Anthropic priamo neuvádza.
Skupina podľa správy využívala súčasne viacero inštancií Claude: jedna písala kód, druhá vyhľadávala informácie a tretia overovala výsledky – podobne ako skutočný vývojársky tím. Cielom bol softvér na riadenie rakiet, vrátane balistickej rakety s doletom nad 2 000 kilometrov.
Aby obišli bezpečnostné opatrenia spoločnosti Anthropic, rozdelili používatelia svoje požiadavky do mnohých jednotlivých relácií, takže celkový účel nebol zrejmý. Anthropic uviedla, že sice zachytila mnohé, ale nie všetky požiadavky.
Pri skutočnom testovacom odpale rakety došlo k zlyhaniu. Len niekoľko hodín neskôr používatelia nahrali do Claude dáta o páde rakety, aby zistili príčinu.
Anthropic zablokovala dotknuté účty a informovala bezpečnostné orgány. Predstaviteľ Hútiovcov podľa správy poprel, že by skupina bola závislá od verejne dostupných zdrojov pre vývoj zbraní. Odborník na zbrane tiež pochybuje, či je skupina schopná vyrobiť funkčné hypersonické zbrane, aj napriek pomoci KI.
Anthropic varuje, že používatelia si ešte pred zablokovaním vytvorili samostatný offline balík programov, ktorý môžu ďalej používať aj bez prístupu k Claude.
PREČO JE TO DÔLEŽITÉ
Prípad ukazuje, že KI-systémy sa dajú napriek bezpečnostným opatreniam zneužiť na vývoj nebezpečných zbraní a tak dostať schopnosti do rúk niekoľkých aktérov, ktoré dříve vyžadovali veľké tímy odborníkov.
ČO MÔŽEŠ TERAZ UROBIŤ
- Ostaň skeptický k sľubom bezpečnosti KI Žiadny KI-systém nie je stoprocentne chránený pred zneužitím. Nespoliehaj sa slepo na to, že výrobcovia dokážu zabrániť každému zneužitiu.
- Informuj sa o správach o zneužívaní Veľké KI-spoločnosti pravidelne zverejňujú správy o odhalenom zneužívaní svojich systémov. Pohľad do dôveryhodných spravodajských zdrojov ti pomôže lepšie posúdiť aktuálne riziká.
- Preskúmaj zdroje pri správach o konfliktoch dôkladne Správy o vývoji zbraní a konfliktoch sú často zložité a čiastočne protichodné. Dávaj pozor, či viacero nezávislých médií potvrdzuje tie isté fakty.
- Nahlás podozrivé používanie KI Ak sa dozvieš o možnom zneužívaní KI-služby, môžeš to nahlásiť príslušnému poskytovateľovi cez jeho nahlásenie. Tak pomáhajú používatelia spoločnostiam odstraňovať bezpečnostné diery.