Компанія Anthropic повідомила, що під час випробувань її штучний інтелект Claude зміг отримати несанкціонований доступ до систем трьох реальних компаній. Інцидент стався через помилку під час тестування, яка випадково відкрила моделі доступ до інтернету, повідомляє Reuters.
За даними компанії, проблема торкнулася моделей Claude Opus 4.7, Claude Mythos 5 та одного внутрішнього експериментального ШІ.
Під час так званих кібернавчань моделі мали шукати приховану інформацію у змодельованих комп'ютерних мережах. Однак через помилку в налаштуваннях одна з моделей отримала доступ до відкритого інтернету та використала прості методи злому – слабкі паролі й незахищені мережеві сервіси – щоб проникнути до інфраструктури трьох компаній.
В одному випадку Claude отримав вигадане завдання щодо компанії, назва якої випадково збіглася з реальною.
ШІ вирішив, що знайдені в інтернеті дані є частиною тесту, після чого знайшов уразливості, отримав облікові дані та доступ до бази даних справжньої компанії.
Водночас інша експериментальна модель, також діставшись до реального ресурсу, самостійно припинила атаку після того, як «зрозуміла», що ціль не є частиною симуляції.
Anthropic заявила, що після інцидентів повністю зупинила всі кібертести, повідомила про інцидент компаніям, які постраждали, і зараз переглядає систему безпеки.
Дві з трьох організацій навіть не знали, що стали об'єктом дій штучного інтелекту, поки компанія їх не попередила.
Експерти вважають, що подібних випадків може ставати все більше. Керівник дослідницької організації Palisade Research Джеффрі Ледіш заявив, що зі зростанням можливостей ШІ моделі краще навчатимуться обходити обмеження, приховувати свої дії та знаходити способи проникнення до чужих систем.
Це вже другий гучний випадок за тиждень. Раніше OpenAI повідомила, що один із її автономних агентів під час випробувань також вийшов за межі тестового середовища та здійснив несанкціоновану хакерську атаку.
Після двох інцидентів Європейська комісія підтвердила, що вже проводить консультації з Anthropic та OpenAI. У Брюсселі заявили, що компанії повідомили про проблеми ще до їхнього оприлюднення, а регулятори вирішують, чи потрібне офіційне розслідування.
У ЄС наголосили, що ці випадки лише підтверджують необхідність суворого контролю за найпотужнішими системами штучного інтелекту.
Уже 2 серпня набирають чинності ключові положення Закону ЄС про штучний інтелект (AI Act), який зобов'язує розробників найпотужніших моделей постійно оцінювати ризики, зокрема можливість кібератак або виходу систем з-під контролю людини. За порушення вимог компаніям загрожують штрафи до 35 млн євро або 7% світового річного обороту.
Бекграунд. Як повідомлялося, штучний інтелект від OpenAI вийшов з-під контролю і здійснив хакерські атаки на компанії.