Anthropic hlásí zneužití modelu Claude pro vývoj raket v Jemenu
Americká společnost Anthropic zveřejnila ve své zprávě o hrozbách, že skupina aktérů na severu Jemenu se pokusila využít KI chatbota Claude k vývoji vojenského řídicího software.
Podle shodných mediálních analýz mnohé nasvědčuje tomu, že šlo o íránem podporované húthíovské rebely, ačkoli je Anthropic přímo nejmenuje.
Skupina podle zprávy využívala několik instancí modelu Claude současně: jedna psala kód, druhá prováděla výzkum a třetí ověřovala výsledky – podobně jako skutečný vývojářský tým. Cílem bylo vytvořit software pro řízení raket, včetně balistické rakety s doletem přes 2 000 kilometrů.
Aby obcházeli bezpečnostní opatření společnosti Anthropic, rozdělili uživatelé své dotazy do mnoha jednotlivých relací, takže celkový účel nebyl zřejmý. Anthropic uvedl, že sice zachytil mnoho, ale ne všechny dotazy.
Při jednom ostrém testu rakety došlo k neúspěchu. Pouze několik hodin poté uživatelé nahráli data o pádu rakety zpět do Claude, aby zjistili příčinu.
Anthropic zablokoval postižené účty a informoval bezpečnostní orgány. Zástupce Húthíů podle zprávy popřel, že by skupina byla závislá na veřejně dostupných zdrojích pro vývoj zbraní. Zbraňový expert navíc pochybuje, že by skupina byla schopna vyvinout funkční hypersonické zbraně i s pomocí KI.
Anthropic varuje, že uživatelé před zablokováním vytvořili samostatný offline balíček programů, který lze v budoucnu používat i bez přístupu k Claude.
PROČ JE TO DŮLEŽITÉ
Tento případ ukazuje, že KI systémy mohou být navzdory bezpečnostním opatřením zneužity pro vývoj nebezpečných zbraní a tím dávají schopnosti do rukou několika aktérům, které dříve vyžadovaly velké týmy odborníků.
CO MŮŽETE UDĚLAT NYNÍ
- Zůstaň skeptický k slibům o bezpečnosti KI Žádný KI systém není stoprocentně chráněn proti zneužití. Nespoléhej se slepě na to, že výrobci dokáží zabránit veškerému zneužití.
- Informuj se o zprávách o zneužití Velké KI společnosti pravidelně zveřejňují zprávy o odhaleném zneužití svých systémů. Pohled do seriózních zpravodajských zdrojů ti pomůže lépe posoudit aktuální rizika.
- Přesně ověřuj zdroje u zpráv o konfliktech Zprávy o vývoji zbraní a konfliktech bývají často složité a částečně protichůdné. Dbej na to, zda stejná fakta potvrzují více nezávislých médií.
- Nahlas podezřelé využití KI Pokud se dozvíš o možném zneužití KI služby, můžeš to nahlásit příslušnému poskytovateli prostřednictvím jeho hlášení. Takto uživatelé pomáhají firmám uzavírat bezpečnostní mezery.