Anthropic повідомляє про зловживання Claude для розробки ракет у Ємені
Американська компанія Anthropic оприлюднила у звіті про загрози, що група осіб на півночі Ємену намагалася використати чатбот Claude для розробки військового програмного забезпечення керування.
За аналізом ЗМІ, з великою ймовірністю мова йде про хуситів, яких підтримує Іран, хоча Anthropic не називає їх безпосередньо.
Згідно зі звітом, група використовувала кілька екземплярів Claude одночасно: один писав код, інший здійснював дослідження, а третій перевіряв результати — подібно до справжньої команди розробників. Метою була розробка програмного забезпечення для керування ракетами, зокрема балістичною ракетою з дальністю понад 2000 кілометрів.
Щоб обійти заходи безпеки Anthropic, користувачі розподіляли свої запити на багато окремих сесій, щоб загальна мета не була помітною. У компанії зазначили, що їм вдалося заблокувати багато, але не всі запити.
Під час справжнього випробувального запуску ракети відбувся збій. Всього через кілька годин користувачі завантажили дані про аварію знову до Claude, щоб з’ясувати причину.
Anthropic заблокувала залучені облікові записи та повідомила служби безпеки. Представник хуситів, за даними звіту, заперечував, що група покладається на відкриті джерела для розробки зброї. Експерт зі зброї також сумнівається, що група зможе виготовити працездатну гіперзвукову зброю, навіть за допомогою ШІ.
Anthropic попереджає, що користувачі ще до блокування створили автономний офлайн-пакет програм, який можна буде використовувати і надалі без доступу до Claude.
ЧОМУ ЦЕ ВАЖЛИВО
Цей випадок показує, що системи ШІ, попри заходи безпеки, можуть бути використані для розробки небезпечної зброї, надаючи можливості невеликій групі осіб, для яких раніше знадобилися б великі команди експертів.
ЩО ВИ МОЖЕТЕ ЗРОБИТИ ЗАРАЗ
- Будь скептичним до обіцянок безпеки ШІ Жодна система ШІ не захищена від зловживання на 100%. Не покладайтеся сліпо на те, що виробники зможуть запобігти будь-якому зловживанню.
- Ознайомлюйтеся з повідомленнями про зловживання Великі компанії, що працюють зі ШІ, регулярно публікують звіти про виявлені випадки зловживання своїми системами. Ознайомлення з надійними джерелами новин допоможе вам краще оцінити поточні ризики.
- Ретельно перевіряйте джерела у новинах про конфлікти Повідомлення про розробку зброї та конфлікти часто бувають складними і іноді суперечливими. Звертайте увагу на те, чи підтверджують ті самі факти кілька незалежних ЗМІ.
- Повідомляйте про підозріле використання ШІ Якщо ви дізналися про можливе зловживання послугою ШІ, ви можете повідомити про це постачальнику послуги через його функцію звітності. Так користувачі допомагають компаніям усувати вразливості безпеки.