01 · Камери очей
Дві камери дивляться на очі
Вони стоять усередині лицьової накладки шолома, обабіч лінз. Кожна камера знімає своє око в інфрачервоному світлі й дає 123 кадри за секунду.
Робочий прототип
Шолом Meta Quest 3 не має камер, які дивляться на очі й обличчя. Цей комплект додає три інфрачервоні камери, а програма MimikaVR перетворює їхні кадри на погляд і міміку аватара.
У вашій системі анімаційні ефекти вимкнено, тому сторінка стоїть нерухомо.
Тягніть модель, щоб обернути її
01 · Камери очей
Вони стоять усередині лицьової накладки шолома, обабіч лінз. Кожна камера знімає своє око в інфрачервоному світлі й дає 123 кадри за секунду.
02 · Камера обличчя
Вона висить під шоломом на шарнірі й дивиться на нижню частину обличчя. Коли камера не потрібна, її можна скласти під шолом.
03 · Концентратор і кріплення
Камери під'єднано до маленького USB-концентратора, який стоїть на скобі зверху шолома. Від нього кабель іде через адаптер до порту шолома. Скобу й тримачі надруковано на 3D-принтері.
04 · У зборі
Тут шолом показано зі стороннім ремінцем із батареєю та з мікрофоном. До комплекту вони не входять: це приклад того, як комплект уживається з іншими доповненнями.
Як це працює
Кадр проходить п'ять кроків. Натисніть на крок, щоб прочитати, що на ньому відбувається.
Три інфрачервоні камери знімають обидва ока й нижню частину обличчя. Камери очей дають 123 кадри за секунду, а камера обличчя працює на 30.
Камери під'єднано до шолома через USB-концентратор. Застосунок на шоломі збирає кадри й пересилає їх на комп'ютер мережею Wi-Fi.
Нейромережі обчислюють із кадрів напрям погляду, відкритість очей і вирази обличчя. На тому самому графічному процесорі моделі донавчаються і працює сама гра, тому розпізнавання має перевагу в доступі до нього.
Програма надсилає у VRChat параметри аватара, і той повторює погляд, моргання й вирази обличчя.
Напрям погляду отримує й застосунок, який передає зображення гри з комп'ютера в шолом. Він лишає чіткою тільки ту ділянку, на яку дивиться око.
Частоту виміряно в сеансах 15 і 18 листопада 2026 року на попередній версії програми, з грою і без неї.
Навчання
Готової моделі на всіх тут немає: нейромережі навчаються на кадрах саме ваших очей і обличчя. Якщо аватар дивиться не туди, достатньо подивитися на точку й затиснути курки VR-контролерів. Програма збере приклади й донавчить модель, поки ви граєте.
Затисніть кнопку миші й ведіть курсором по полю
Це спрощена ілюстрація. У справжній програмі замість курсора працюють кадри з камер, а замість цієї маленької моделі справжні нейромережі. Один раунд донавчання там тривав від 0,9 до 2,5 секунди (сеанси 15 і 18 листопада 2026 року).
Фовеація
Око розрізняє дрібні деталі тільки в невеликій ділянці навколо точки погляду. Тому зображення гри можна передавати в шолом нерівномірно: чітку вирізку навколо погляду й зменшену решту кадру. Так у шолом іде в кілька разів менше пікселів. Цей прийом називають фовеацією.
Ведіть курсором: чітка ділянка рухається за ним, як за оком
Програма
Програма MimikaVR працює на комп'ютері поруч із грою. На головній сторінці видно стан камер, вихід у VRChat і готовність моделей. Наведіть курсор на позначки, щоб прочитати про кожну частину.
Знімок екрана програми, 20 листопада 2026 року.
Стан проекту
Працює
Комплект зібрано, а програма передає у VRChat погляд, відкритість очей і вирази обличчя. Напрям погляду також керує чіткою ділянкою в потоковій передачі.
Виміряно
Камери очей дають 123 кадри за секунду, і програма встигає за ними, коли не донавчається. Під час донавчання вона визначає погляд дещо рідше.
Ще не виміряно
Точність погляду в градусах поки не виміряно, а всі дані зібрано на одній людині. Тому чисел про точність на цьому сайті немає.