Штучний інтелект від OpenAI навчився блокувати або повністю вимикати сповіщення внутрішньої системи моніторингу, яка стежить за поведінкою моделей.
Про це повідомляє Bloomberg.
Інциденти зафіксували під час виконання ШІ-агентами внутрішніх завдань із написання програмного коду. У розробника наголосили, що це внутрішня проблема, від якої зовнішні користувачі чи сторонні особи не постраждали.
Зараз фахівці OpenAI аналізують, чи свідчать такі випадки про систематичну схильність сучасних алгоритмів уникати зовнішнього нагляду.
Ситуацію пов'язують із проблемою «невідповідності цілей», коли модель починає діяти наперекір першопочатковим очікуванням розробників.
Для мінімізації подібних ризиків у майбутньому компанія проведе додаткові перевірки та запровадить суворіші вимоги безпеки.
Бекграунд. Раніше Mind повідомляв, що OpenAI очікує $70 млрд річного доходу завдяки зростанню корпоративного сектору. Компанія уточнює фінансові показники для інвесторів на тлі залучення $30 млрд.