Anthropic сообщает о злоупотреблении Claude для разработки ракет в Йемене
Американская компания Anthropic в отчёте об угрозах раскрыла, что группа акторов на севере Йемена пыталась использовать ИИ-чат-бот Claude для разработки военного программного обеспечения управления.
По анализу СМИ, с большой долей вероятности речь идёт о поддерживаемых Ираном хуситах, хотя Anthropic не называет их напрямую.
Согласно отчёту, группа использовала несколько экземпляров Claude одновременно: один писал код, другой занимался исследованиями, а третий проверял результаты — как настоящая команда разработчиков. Целью была программа для управления ракетами, включая баллистическую ракету с дальностью более 2000 километров.
Чтобы обойти меры безопасности Anthropic, пользователи распределили свои запросы по множеству отдельных сессий, чтобы общая цель оставалась скрытой. В компании пояснили, что им удалось перехватить многие, но не все запросы.
При реальном испытательном запуске ракеты произошёл сбой. Уже через несколько часов пользователи загрузили данные о крушении обратно в Claude, чтобы выявить причину.
Anthropic заблокировала задействованные аккаунты и проинформировала службы безопасности. Представитель хуситов, по данным отчёта, отверг обвинения, заявив, что группа полагается на общедоступные источники для разработки оружия. Эксперт по вооружениям также выразил сомнения, что группа способна создать работающее гиперзвуковое оружие, даже с помощью ИИ.
Anthropic предупреждает, что пользователи ещё до блокировки создали автономный офлайн-пакет программ, который можно будет использовать в будущем без доступа к Claude.
ПОЧЕМУ ЭТО ВАЖНО
Этот случай показывает, что ИИ-системы, несмотря на меры безопасности, могут быть использованы для разработки опасного оружия, передавая возможности в руки небольших групп, для которых раньше требовались большие команды экспертов.
ЧТО ДЕЛАТЬ СЕЙЧАС
- Оставайтесь скептичными к обещаниям безопасности ИИ Ни одна ИИ-система не защищена от злоупотреблений на 100%. Не полагайтесь слепо на то, что производители могут предотвратить любое злоупотребление.
- Изучайте отчёты о злоупотреблениях Крупные компании, работающие с ИИ, регулярно публикуют отчёты о выявленных случаях злоупотребления их системами. Ознакомление с надёжными источниками новостей поможет вам лучше оценивать текущие риски.
- Тщательно проверяйте источники новостей о конфликтах Сообщения о разработке оружия и конфликтах часто сложны и порой противоречивы. Убедитесь, что несколько независимых СМИ подтверждают одни и те же факты.
- Сообщайте о подозрительном использовании ИИ Если вы узнали о возможном злоупотреблении ИИ-сервисом, вы можете сообщить об этом его разработчику через функцию обращения. Так пользователи помогают компаниям устранять уязвимости в безопасности.