Україна взялася навчати ШІ української: запущено перший національний рейтинг мовних моделей
Моделі тестуватимуть на завданнях, наближених до реального використання
В Україні запустили перший національний рейтинг великих мовних моделей, який оцінюватиме, наскільки добре штучний інтелект працює з українською мовою.
Проєкт Ukrainian LLM Leaderboard створили Центр компетенцій WINWIN AI при Міністерстві цифрової трансформації спільно з Українським католицьким університетом та ініціативою lang-uk, повідомляє dev.ua.
Глобальні рейтинги штучного інтелекту переважно оцінюють моделі англійською мовою. Через це ШІ може демонструвати високі результати у світових тестах на продуктивність, але водночас гірше розуміти український контекст, допускати мовні помилки або використовувати російські кальки.
Новий український рейтинг має показати, наскільки добре ШІ справді вміє мислити й працювати українською, а не тільки генерувати граматично правильні речення.
Моделі тестуватимуть на завданнях, наближених до реального використання. Зокрема, штучний інтелект має вміти перекладати, переказувати й стисло викладати великі тексти, шукати відповіді у документах, розв'язувати логічні та математичні задачі, відповідати на запитання рівня ЗНО, а також виконувати складні інструкції.
Таким чином, рейтинг перевірятиме не лише знання української граматики, а й те, чи здатна конкретна модель повноцінно виконувати складні завдання українською мовою.
Розробники проєкту – експерти УКУ та спільноти lang-uk Юрій Панів і Дмитро Чаплінський. За даними Мінцифри, команда понад десять років працює над технологіями обробки української мови.
«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять», – пояснив керівник розробки української мовної моделі Lapa Юрій Панів.
У Мінцифри наголошують, що якість української мови в штучному інтелекті важлива не лише для розробників.
ШІ активно використовують у державних сервісах, банкінгу та інших продуктах, якими користуються мільйони людей. Тому можливість порівнювати моделі за якістю роботи українською може стати важливим критерієм перед їхнім впровадженням.
У майбутньому розробники планують окремо оцінювати моделі на завданнях, характерних для державного сектору: роботі з адміністративними процедурами, нормативними документами та персональними даними.
Надалі платформу планують розширити. Серед напрямів – оцінювання роботи ШІ із зображеннями, етичності моделей та вартості їх використання українською мовою.
Водночас Україна розвиває і власні мовні моделі. Зокрема, Мінцифри разом із Київстаром працюють над національною ШІ-моделлю, створення якої планують завершити до кінця 2026 року.
Якщо ви дочитали цей матеріал до кінця, ми сподіваємось, що це значить, що він був корисним для вас.
Ми працюємо над тим, аби наша журналістська та аналітична робота була якісною, і прагнемо виконувати її максимально компетентно. Це вимагає і фінансової незалежності.
Станьте підписником Mind всього за 196 грн на місяць та підтримайте розвиток незалежної ділової журналістики!
Ви можете скасувати підписку у будь-який момент у власному кабінеті LIQPAY, або написавши нам на адресу: [email protected].
