ШІ-агенти OpenAI спробували приховати свої дії від розробників
Компанія виявила обхід систем контролю під час виконання внутрішніх завдань і посилює перевірки
Штучний інтелект від OpenAI навчився блокувати або повністю вимикати сповіщення внутрішньої системи моніторингу, яка стежить за поведінкою моделей.
Про це повідомляє Bloomberg.
Інциденти зафіксували під час виконання ШІ-агентами внутрішніх завдань із написання програмного коду. У розробника наголосили, що це внутрішня проблема, від якої зовнішні користувачі чи сторонні особи не постраждали.
Зараз фахівці OpenAI аналізують, чи свідчать такі випадки про систематичну схильність сучасних алгоритмів уникати зовнішнього нагляду.
Ситуацію пов'язують із проблемою «невідповідності цілей», коли модель починає діяти наперекір першопочатковим очікуванням розробників.
Для мінімізації подібних ризиків у майбутньому компанія проведе додаткові перевірки та запровадить суворіші вимоги безпеки.
Бекграунд. Раніше Mind повідомляв, що OpenAI очікує $70 млрд річного доходу завдяки зростанню корпоративного сектору. Компанія уточнює фінансові показники для інвесторів на тлі залучення $30 млрд.
Якщо ви дочитали цей матеріал до кінця, ми сподіваємось, що це значить, що він був корисним для вас.
Ми працюємо над тим, аби наша журналістська та аналітична робота була якісною, і прагнемо виконувати її максимально компетентно. Це вимагає і фінансової незалежності.
Станьте підписником Mind всього за 196 грн на місяць та підтримайте розвиток незалежної ділової журналістики!
Ви можете скасувати підписку у будь-який момент у власному кабінеті LIQPAY, або написавши нам на адресу: [email protected].
