Робочий прототип

Очі й міміка
для Quest 3

Шолом Meta Quest 3 не має камер, які дивляться на очі й обличчя. Цей комплект додає три інфрачервоні камери, а програма MimikaVR перетворює їхні кадри на погляд і міміку аватара.

Комплект на шоломі Quest 3
  • 3інфрачервоні камери
  • 123кадри за секунду з кожної камери очей
  • 0,9–2,5 стриває одне оновлення моделі на нових прикладах

Тягніть модель, щоб обернути її

Завантажується 3D-модель

01 · Камери очей

Дві камери дивляться на очі

Вони стоять усередині лицьової накладки шолома, обабіч лінз. Кожна камера знімає своє око в інфрачервоному світлі й дає 123 кадри за секунду.

02 · Камера обличчя

Третя камера знімає обличчя

Вона висить під шоломом на шарнірі й дивиться на нижню частину обличчя. Коли камера не потрібна, її можна скласти під шолом.

03 · Концентратор і кріплення

Один концентратор на всі камери

Камери під'єднано до маленького USB-концентратора, який стоїть на скобі зверху шолома. Від нього кабель іде через адаптер до порту шолома. Скобу й тримачі надруковано на 3D-принтері.

04 · У зборі

Разом із ремінцем і мікрофоном

Тут шолом показано зі стороннім ремінцем із батареєю та з мікрофоном. До комплекту вони не входять: це приклад того, як комплект уживається з іншими доповненнями.

Як це працює

Шлях кадру від камери до аватара

Кадр проходить п'ять кроків. Натисніть на крок, щоб прочитати, що на ньому відбувається.

Три інфрачервоні камери знімають обидва ока й нижню частину обличчя. Камери очей дають 123 кадри за секунду, а камера обличчя працює на 30.

Камери під'єднано до шолома через USB-концентратор. Застосунок на шоломі збирає кадри й пересилає їх на комп'ютер мережею Wi-Fi.

Нейромережі обчислюють із кадрів напрям погляду, відкритість очей і вирази обличчя. На тому самому графічному процесорі моделі донавчаються і працює сама гра, тому розпізнавання має перевагу в доступі до нього.

Програма надсилає у VRChat параметри аватара, і той повторює погляд, моргання й вирази обличчя.

Напрям погляду отримує й застосунок, який передає зображення гри з комп'ютера в шолом. Він лишає чіткою тільки ту ділянку, на яку дивиться око.

Що виміряно

  • 123кадри за секунду дає кожна камера очей
  • 121–123рази за секунду програма визначає погляд, коли не донавчається
  • 107–119разів за секунду програма визначає погляд під час донавчання

Частоту виміряно в сеансах 15 і 18 листопада 2026 року на попередній версії програми, з грою і без неї.

Навчання

Програма вчиться на ваших очах

Готової моделі на всіх тут немає: нейромережі навчаються на кадрах саме ваших очей і обличчя. Якщо аватар дивиться не туди, достатньо подивитися на точку й затиснути курки VR-контролерів. Програма збере приклади й донавчить модель, поки ви граєте.

Затисніть кнопку миші й ведіть курсором по полю

Це спрощена ілюстрація. У справжній програмі замість курсора працюють кадри з камер, а замість цієї маленької моделі справжні нейромережі. Один раунд донавчання там тривав від 0,9 до 2,5 секунди (сеанси 15 і 18 листопада 2026 року).

Фовеація

Чітко лише там, куди дивиться око

Око розрізняє дрібні деталі тільки в невеликій ділянці навколо точки погляду. Тому зображення гри можна передавати в шолом нерівномірно: чітку вирізку навколо погляду й зменшену решту кадру. Так у шолом іде в кілька разів менше пікселів. Цей прийом називають фовеацією.

Ведіть курсором: чітка ділянка рухається за ним, як за оком

Що насправді передається Застосунок пакує зменшений кадр і чітку вирізку в одне зображення, а шолом складає з них повну картинку. Контур показує розмір повного кадру в тому самому масштабі.
Запис із шолома Чітку ділянку обведено зеленою рамкою: вона рухається за поглядом.

Програма

Усе видно на одному екрані

Програма MimikaVR працює на комп'ютері поруч із грою. На головній сторінці видно стан камер, вихід у VRChat і готовність моделей. Наведіть курсор на позначки, щоб прочитати про кожну частину.

Головна сторінка програми MimikaVR
  1. Стан відстеженняВідкритість кожного ока, напрям погляду й найсильніший вираз обличчя в цю мить.
  2. КамериТри камери й частота кадрів кожної з них.
  3. Вихід у VRChatЧи під'єднано гру, який аватар завантажено і скільки параметрів він приймає.
  4. Панель у шоломіЗ неї записують приклади для навчання, не знімаючи шолома.
  5. Готовність моделейСкільки прикладів зібрано і що ще не навчено.

Знімок екрана програми, 20 листопада 2026 року.

Стан проекту

Що вже є, а чого ще немає

Працює

Комплект зібрано, а програма передає у VRChat погляд, відкритість очей і вирази обличчя. Напрям погляду також керує чіткою ділянкою в потоковій передачі.

Виміряно

Камери очей дають 123 кадри за секунду, і програма встигає за ними, коли не донавчається. Під час донавчання вона визначає погляд дещо рідше.

Ще не виміряно

Точність погляду в градусах поки не виміряно, а всі дані зібрано на одній людині. Тому чисел про точність на цьому сайті немає.