В Корнелле разработали наушники, способные понимать выражение лица человека - «Гаджеты»

C-Face – так называются необычные наушники, разработанные учеными Корнеллского университета, обладающие помимо основной функции способностью «подглядывать» за выражением лица пользователя. При этом им не мешает даже ставшая привычной защитная маска.

Принцип работы C-Face заключается в фиксации контуров щек с последующим преобразованием выражения лица пользователя в эмодзи. Благодаря необычной новой функции, пользователи смогут делиться друг с другом своими эмоциями при групповых звонках даже при выключенной камере.

Функцию фиксации эмоций в момент сокращения лицевых мышц выполняют RGB-камеры, закрепленные под каждым ухом. Затем в дело вступает система машинного зрения с элементами ИИ, которая восстанавливает изображение, а нейронная сеть после анализа 2D-изображения преобразует его в 42 опорные точки, соответствующие определенному выражению лица пользователя.

Гаджет преобразует эти выражения лица в восемь смайликов, включая те, что изображают нейтральное и сердитое настроение. Система также может использовать лицевые сигналы для управления параметрами воспроизведения в музыкальных приложениях.

Источник — Cornell University