Anthropic съобщава за злоупотреба с Claude при разработването на ракети в Йемен
Американската компания Anthropic разкри в доклад за заплахи, че група актьори в Северен Йемен е опитала да използва ИИ-чатботът Claude за разработване на военен софтуер за управление.
Съгласно съвпадащи медийни анализи, много неща сочат към поддържаните от Иран хутитски бунтовници, макар Anthropic да не ги споменава директно по име.
Групата е използвала според доклада няколко инстанции на Claude едновременно: една е писала код, друга е правила проучвания, а трета е проверявала резултатите – подобно на истински екип от разработчици. Целта е била софтуер за управление на ракети, включително балистична ракета с обсег над 2000 километра.
За да заобиколят сигурностните мерки на Anthropic, потребителите са разпределили своите заявки в много отделни сесии, така че общата цел да не е видима. Anthropic обясни, че са пресекли много, но не и всички заявки.
При истински тестов изстрел на ракета е имало провал. Само няколко часа по-късно потребителите са качили данните от катастрофата отново в Claude, за да открият причината.
Anthropic блокира засегнатите акаунти и информира службите за сигурност. Представител на хутите отхвърли според доклада твърдението, че групата разчита на обществено достъпни източници за разработване на оръжия. Един експерт по оръжия също се съмнява, че групата може да създаде функционални хиперзвукови оръжия дори с помощта на ИИ.
Anthropic предупреждава, че потребителите са създали офлайн програмно пакет още преди блокирането, който може да бъде използван и без достъп до Claude.
ЗАЩО Е ВАЖНО
Случаят показва, че ИИ-системите, дори с предпазни мерки, могат да бъдат злоупотребени за разработване на опасни оръжия и по този начин да дадат възможности на малко групи, за които преди са били необходими големи екипи от експерти.
ЧЕ МОЖЕШ ДА НАПРАВИШ СЕГА
- Остани скептичен към обещанията за сигурност на ИИ Никоя ИИ-система не е 100% сигурна срещу злоупотреба. Не се разчитай слепо на това, че производителите могат да предотвратят всяка злоупотреба.
- Информирай се за доклади за злоупотреба Големите компании за ИИ публикуват редовно доклади за открита злоупотреба на техните системи. Един поглед в сериозни източници на новини ти помага да оцениш по-добре актуалните рискове.
- Проверете източниците при новини за конфликти внимателно Съобщенията за разработване на оръжия и конфликти често са сложни и частично противоречиви. Обърни внимание дали няколко независими медии потвърждават същите факти.
- Съобщи за подозрителна употреба на ИИ Ако научиш за възможна злоупотреба на ИИ-услуга, можеш да я съобщиш на съответния доставчик чрез неговата функция за сигнали. Така потребителите помагат на компаниите да затварят сигурностните дупки.