У роботі працює новий набір створених 3D-моделей Unity, що використовує захоплення продуктивності Live2D за допомогою інструментарію розширеної реальності Google ARCore. Програмне забезпечення дозволяє відслідковувати обличчя в режимі реального часу за допомогою веб-камери чи іншого пристрою зйомки, при цьому відображається вихід, коли візуалізуються продуктивність або рухи.
Denchi Soft продемонстрував майже десятихвилинне відео, щоб продемонструвати, як працює програмне забезпечення, і продемонструвати, що ви можете очікувати від комплекту, коли він врешті-решт вийде для публіки в якийсь момент у першому кварталі 2020 року.
Ви можете переглянути демонстрацію відео нижче.
Отже, як наводиться відео, дані обличчя читаються і зберігаються ARCore, а потім подаються в нейронний навчальний конвеєр Tensor Flow, який підключений до Barracuda Unity 3D. Звідти дані передаються через протокол UDP до основного Студія VTube інтерфейс під час використання анімації Live2D та елементів керування інтерфейсом користувача.
Після висвітлення основ роботи програмного забезпечення, ми демонструємо, як кольорове відтінок та фізично виправлене освітлення також можна застосовувати до моделей Live2D, створюючи сприйняття динамічного освітлення в режимі реального часу.
Ви також можете налаштувати фон, імпортувати різні сцени та навіть налаштувати гарячі клавіші, щоб ви могли змінювати вирази обличчя, завантажувати в користувацькі макроси та створювати конкретні реакції, щоб оживити живий потік.
Вже є деякі 3D-рішення, які ведуть себе подібними до того, що Студія VTube можна зробити, але якщо ви більше зацікавлені у використанні намальованих персонажів, як зображено на відео вище, то Студія VTube це, безумовно, шлях.
Якби YouTube не розгортався, то, напевно, я б сказав, що перед віртуальними бульбами попереду хвилюючі часи, але на даний момент це не надто добре для ентузіастів, які хочуть увійти в створення контенту, якщо, звичайно, ви просто це робили для чортви від цього, а не фактично отримувати будь-який значний дохід від починання.
Ви можете дізнатися більше про Студія VTube від Denchi Soft, перевіривши Сторінка GitHub.
(Дякуємо за пораду новин Wondy Bergers)
