Компанія Nvidia оголосила про відкриття вихідного коду своєї технології Audio2Face, що дозволяє створювати реалістичні цифрові аватари для ігор, віртуальних сервісів s 3D-застосунків.
Про це повідомляє компанія.
Audio2Face працює на базі великих мовних і мовленнєвих моделей, перетворюючи аудіосигнал на анімацію обличчя та синхронізацію губ у реальному часі. Система аналізує мовні особливості – такі, як фонеми та інтонація – і трансформує їх у набір даних, які відповідають міміці персонажа. Це дає змогу створювати як заздалегідь прописаний контент, так і динамічних ШІ-персонажів із правдоподібними емоційними реакціями.
Разом із моделями компанія відкрила й SDK, що дозволяє розробникам інтегрувати технологію у власні продукти, а також фреймворк для навчання, який дає змогу налаштовувати вже наявні моделі під конкретні сценарії використання. Отже, Nvidia робить крок до масового впровадження генеративних аватарів, які зможуть природно взаємодіяти з користувачами в різних сферах – від геймінгу до клієнтського сервісу.
Бекграунд. Раніше Mind повідомляв, що Nvidia оголосила, що вкладе в розробника ChatGPT $100 млрд інвестицій. Перші інвестиції у розмірі $10 млрд надійдуть після угоди про покупку обладнання.