Anthropic informuje o nadużyciu Claude do rozwoju rakiet w Jemenie
Amerykańska firma Anthropic ujawniła w raporcie o zagrożeniach, że grupa działająca w północnym Jemenie próbowała wykorzystać KI-chatbota Claude do opracowania wojskowego oprogramowania sterującego.
Zgodnie z analizami mediów wiele wskazuje na popieranych przez Iran rebeliantów Huti, choć Anthropic nie wymienia ich bezpośrednio.
Według raportu grupa korzystała jednocześnie z kilku instancji Claude: jedna pisała kod, druga prowadziła badania, a trzecia weryfikowała wyniki – podobnie jak prawdziwy zespół programistów. Celem było oprogramowanie do sterowania rakietami, w tym rakietą balistyczną o zasięgu ponad 2000 kilometrów.
Aby ominąć zabezpieczenia Anthropic, użytkownicy rozdzielili swoje zapytania na wiele pojedynczych sesji, tak aby ogólny cel nie był widoczny. Firma przyznała, że choć zablokowała wiele, to nie wszystkie próby nadużycia.
Podczas prawdziwego testu rakiety doszło do niepowodzenia. Zaledwie kilka godzin później użytkownicy przesłali dane o awarii z powrotem do Claude, aby ustalić jej przyczynę.
Anthropic zablokowało zaangażowane konta i powiadomiło służby bezpieczeństwa. Przedstawiciel Huti zaprzeczył, jakoby grupa była zależna od publicznie dostępnych źródeł dotyczących rozwoju broni. Ekspert ds. broni wyraził też wątpliwości, czy grupa – nawet z pomocą KI – jest w stanie zbudować sprawne pociski hipersoniczne.
Anthropic ostrzega, że użytkownicy jeszcze przed zablokowaniem utworzyli samodzielny pakiet programów offline, który może być wykorzystywany w przyszłości bez dostępu do Claude.
DLA CZEGO TO WAŻNE
Sprawa pokazuje, że systemy KI, pomimo zabezpieczeń, mogą zostać wykorzystane do opracowywania niebezpiecznej broni, oddając w ręce nielicznych aktorów możliwości, które wcześniej wymagały dużych zespołów ekspertów.
CO MOŻESZ ZROBIĆ TERAZ
- Bądź sceptyczny wobec obietnic bezpieczeństwa KI Żaden system KI nie jest w stu procentach odporny na nadużycia. Nie ufaj ślepo, że producenci są w stanie zapobiec każdemu nadużyciu.
- Informuj się o raportach dotyczących nadużyć Wielkie firmy KI regularnie publikują raporty o wykrytych nadużyciach swoich systemów. Śledzenie wiarygodnych źródeł informacji pomaga lepiej ocenić aktualne zagrożenia.
- Sprawdzaj źródła w przypadku wiadomości o konfliktach Doniesienia o rozwoju broni i konfliktach są często złożone i częściowo sprzeczne. Zwróć uwagę, czy te same fakty potwierdzają niezależne media.
- Zgłaszaj podejrzane użycie KI Jeśli dowiesz się o możliwym nadużyciu usługi KI, możesz to zgłosić dostawcy za pośrednictwem jego funkcji zgłaszania. W ten sposób użytkownicy pomagają firmom zamykać luki w zabezpieczeniach.