Anthropic, 예멘에서 로켓 개발을 위한 Claude 오용 사례 발표
미국 기업 Anthropic이 위협 보고서에서 예멘 북부 지역 내 한 액터 그룹이 KI 채팅봇 Claude를 military 제어 소프트웨어 개발에 사용하려고 했다고 공개했습니다.
여러 매체 분석에 따르면 이 그룹은 이란이 지원하는 후티 반군으로 보이며, Anthropic은 직접 이름을 언급하지는 않았습니다.
보고서에 따르면 이 그룹은 여러 Claude 인스턴스를 동시에 사용했습니다. 하나는 코드를 작성하고, 하나는 연구를 진행하며, 다른 하나는 결과를 검증하는 방식으로 실제 개발 팀처럼 운영했습니다. 목표는 2,000킬로미터가 넘는 사거리를 가진 탄도 미사일 등을 제어하는 소프트웨어였습니다.
Anthropic의 보안 조치를 우회하기 위해 사용자들은 요청을 여러 개의 개별 세션으로 나눠 전체 목적을 숨겼습니다. Anthropic은 많은 요청은 차단했지만, 모든 요청을 막지는 못했습니다.
실제 로켓 발사 테스트에서 실패가 발생했습니다. 몇 시간 후, 사용자들은 추락 데이터를 다시 Claude에 업로드해 원인을 분석하려고 했습니다.
Anthropic은 관련 계정을 차단하고 보안 당국에 통보했습니다. 후티 대표는 보고서에 따르면 공개적으로 접근 가능한 자료에 의존하고 있다고 반박했습니다. 한 무기 전문가는 또한 이 그룹이 KI 도움에도 불구하고 실제로 기능하는 초음속 무기를 만들 수 있을지 의문이라고 했습니다.
Anthropic은 사용자들이 계정 차단 전에 오프라인에서 독립적으로 사용할 수 있는 프로그램 패키지를 이미 만들었다고 경고했습니다. 이 패키지는 앞으로 Claude에 접근하지 않아도 계속 사용할 수 있습니다.
왜 중요한가
이 사례는 보안 조치가 있음에도 불구하고 KI 시스템이 위험한 무기 개발에 오용될 수 있으며, 과거에는 대형 전문가 팀이 필요했던 능력을 소수의 액터에게 제공할 수 있음을 보여줍니다.
지금 할 수 있는 일
- KI 보안 약속에 대해 회의적으로 생각하기 어떤 KI 시스템도 100% 오용 방지가 불가능합니다. 제조사가 모든 오용을 막을 수 있다고 무조건 믿지 마세요.
- 오용 보고서에 대해 정보 얻기 대형 KI 기업들은 정기적으로 시스템 오용 사례를 발표합니다. 신뢰할 수 있는 뉴스 출처를 통해 현재 위험을 더 잘 평가할 수 있습니다.
- 분쟁 관련 뉴스 출처 꼼꼼히 확인하기 무기 개발과 분쟁 관련 보도는 종종 복잡하고 부분적으로 모순적입니다. 여러 독립 매체가 동일한 사실을 확인하는지 살펴보세요.
- 의심스러운 KI 사용 신고하기 KI 서비스 오용 가능성을 알게 되면 해당 제공업체의 신고 기능을 통해 알려줄 수 있습니다. 이렇게 하면 사용자들이 기업이 보안 취약점을 해결하는 데 도움을 줄 수 있습니다.