Технология Typealike использует существующие веб-камеры компьютеров для управления жестами

Хотя уже существует возможность управлять компьютерами с помощью жестов рук, для этого обычно используются периферийные электронные устройства или специальное встроенное оборудование.

Система Typealike, однако, предоставляет такую функциональность существующим компьютерам, не требуя дополнительной электроники.

Технология Typealike

В настоящее время Typealike разрабатывается в канадском Университете Ватерлоо и состоит из двух компонентов: небольшого наклоненного вниз зеркала, которое размещается над веб-камерой компьютера, и программного обеспечения на основе машинного обучения, которое работает на этом компьютере.

Подписывайтесь на наш youtube канал!

Когда пользователь хочет увеличить громкость динамика - это лишь один из примеров возможностей системы - он просто делает жест "большой палец вверх" одной рукой, которая остается рядом с клавиатурой. Программное обеспечение распознает этот жест и соответствующим образом увеличивает громкость.

"Все началось с простой идеи о новых способах использования веб-камеры", - говорит Налин Чиббер, недавний выпускник магистратуры Черитонской школы компьютерных наук Ватерлоо. "Веб-камера направлена на ваше лицо, но большинство взаимодействий на компьютере происходит вокруг ваших рук. Поэтому мы подумали, что можно сделать, если веб-камера будет улавливать жесты рук?".

Кроме того, благодаря тому, что веб-камера направлена на руки, у пользователей не будет проблем с конфиденциальностью, которые могут возникнуть, если Typealike будет постоянно видеть их лицо.

Поскольку руки у всех выглядят и двигаются по-разному, исследователи использовали 30 добровольцев для создания базы видеозаписей 36 жестов, которые в настоящее время используются системой. Затем на этой базе данных был обучен алгоритм машинного обучения, который научился последовательно распознавать каждый жест, несмотря на различия в руках и условиях освещения.

В настоящее время точность распознавания жестов составляет 97 %. Предполагается, что после дальнейшей разработки Typealike можно будет использовать и в виртуальной реальности, сделав ненужными ручные контроллеры.

"Мы всегда стремимся создавать вещи, которыми люди смогут легко пользоваться", - говорит доцент Даниэль Фогель. "Люди смотрят на что-то вроде Typealike или других новых технологий в области взаимодействия человека и компьютера и говорят, что это просто имеет смысл. Это то, чего мы хотим".

Исследование описано в статье, которая недавно была опубликована в журнале ACM Human Computer Interaction.опубликовано econet.ru по материалам newatlas.com

Лучшие публикации в Telegram-канале Econet.ru. Подписывайтесь!

P.S. И помните, всего лишь изменяя свое потребление - мы вместе изменяем мир! © econet