В Україні запустили перший національний рейтинг великих мовних моделей, який оцінюватиме, наскільки добре штучний інтелект працює з українською мовою.
Проєкт Ukrainian LLM Leaderboard створили Центр компетенцій WINWIN AI при Міністерстві цифрової трансформації спільно з Українським католицьким університетом та ініціативою lang-uk, повідомляє dev.ua.
Глобальні рейтинги штучного інтелекту переважно оцінюють моделі англійською мовою. Через це ШІ може демонструвати високі результати у світових тестах на продуктивність, але водночас гірше розуміти український контекст, допускати мовні помилки або використовувати російські кальки.
Новий український рейтинг має показати, наскільки добре ШІ справді вміє мислити й працювати українською, а не тільки генерувати граматично правильні речення.
Моделі тестуватимуть на завданнях, наближених до реального використання. Зокрема, штучний інтелект має вміти перекладати, переказувати й стисло викладати великі тексти, шукати відповіді у документах, розв'язувати логічні та математичні задачі, відповідати на запитання рівня ЗНО, а також виконувати складні інструкції.
Таким чином, рейтинг перевірятиме не лише знання української граматики, а й те, чи здатна конкретна модель повноцінно виконувати складні завдання українською мовою.
Розробники проєкту – експерти УКУ та спільноти lang-uk Юрій Панів і Дмитро Чаплінський. За даними Мінцифри, команда понад десять років працює над технологіями обробки української мови.
«Після появи великих мовних моделей було незрозуміло, як добре вони працюють для української мови: які їхні сильні та слабкі сторони, для яких завдань які моделі краще підходять», – пояснив керівник розробки української мовної моделі Lapa Юрій Панів.
У Мінцифри наголошують, що якість української мови в штучному інтелекті важлива не лише для розробників.
ШІ активно використовують у державних сервісах, банкінгу та інших продуктах, якими користуються мільйони людей. Тому можливість порівнювати моделі за якістю роботи українською може стати важливим критерієм перед їхнім впровадженням.
У майбутньому розробники планують окремо оцінювати моделі на завданнях, характерних для державного сектору: роботі з адміністративними процедурами, нормативними документами та персональними даними.
Надалі платформу планують розширити. Серед напрямів – оцінювання роботи ШІ із зображеннями, етичності моделей та вартості їх використання українською мовою.
Водночас Україна розвиває і власні мовні моделі. Зокрема, Мінцифри разом із Київстаром працюють над національною ШІ-моделлю, створення якої планують завершити до кінця 2026 року.