Глухонемые увидят друг друга в сотовых телефонах
В недалеком будущем слабослышащие пользователи и глухонемые сотовых сетей США смогут общаться по сотовому телефону не только посредством SMS, но и жестами. Дабы предложить подобную услугу, учёным было нужно много потрудиться.
Так как передать видео по сети легко, но как сделать так, дабы поток данных вписался в низкую пропускную свойство беспроводных сетей?
Подобные системы уже действуют в Швеции и японии. Сейчас же команда исследователей из университета Вашингтона (University of Washington — UW) взяла грант от Национального научного фонда (National Science Foundation — NSF) на реализацию в следующем году проекта, что в прямом и переносном смысле соединит 20 человек.
Ранее люди с ограниченными возможностями имели возможность обмениваться лишь текстовыми сообщениями, но, как отметила доктор наук Ив Рискин (Eve Riskin), ведущая проект, «все люди желают общаться на родном для них языке, для американцев это американский язык жестов (American Sign Language — ASL)».
Вверху: Анна Кавендер выучила язык жестов по окончании того, как была включёна в состав группы разработчиков.
Внизу: так выглядит общение по различные сторон соединения (фото и иллюстрация University of Washington).
Продолжительное время учёные разрабатывали ПО, которое разрешило бы преодолеть существующие ограничения. В первую очередь это низкая пропускная свойство сотовых сетей и не сильный производительность самих сотовых телефонов (по большей части количество и качество снимаемых в секунду кадров).
Данной весной удалось в первый раз наладить связь между несколькими аппаратами разработчиков. И данный опыт стал по сути первой в Соединенных Штатах двусторонней видеосвязью в настоящем времени, организованной посредством простых мобильников.
По окончании того как видео, говорящее о новых возможностях для глухонемых, выложили на YouTube (обратите внимание на субтитры), вопросы и отклики от граждан страны стали приходить чуть ли не каждый день, пишут в пресс-релизе университета учёные.
без сомнений, передавать данные посредством видео получается куда стремительнее, а эмоции лучше, считает Джессика Девитт (Jessica DeWitt), студентка UW. Сама она не слышит звуки окружающей действительности и потому участвует в развитии проекта MobileASL.
Необходимые области видеоизображения выделяются посредством метода определения кожи (фото University of Washington).
Учёные сравнили возможности пользователей сотовых сетей Европы, Азии и США (по всей видимости, имеются в виду отнюдь не все страны) и узнали, что американцы «медленнее» практически вдесятеро.
Но разработчикам было нужно решать не только эту проблему. Кроме того имея в запасе скоростные сети, не все люди смогут позволить себе дорогие (более «сообразительные») мобильники, каковые имели возможность бы установить надёжную видеосвязь.
Посредством векторов перемещения определяются макроблоки, а после этого и значимые области видеоизображения (иллюстрации University of Washington).
«Широкополосная сеть дешева до тех пор пока ещё далеко не везде, — говорит аспирантка Анна Кавендер (Anna Cavender), — но и в том месте, где такая сеть имеется, она стоит громадных денег. А мы думаем, что это несправедливо, в то время, когда люди, имеющие неприятности со слухом, должны платить за сотовую сообщение больше».
Что прячется за этими громкими словами? То, что программистам было нужно изрядно попотеть, дабы создать ПО, талантливое снизить количество обрабатываемой информации и сжать поток передаваемых данных.
Команда разработчиков постаралась воссоздать видеоизображение «говорящего» человека, которое, с одной стороны, было бы прекрасно различимым, с другой, – имело не через чур высокое разрешение.
К компромиссу пришли, в то время, когда осознали, что основное – передать чёткое изображение рук и лица «говорящего». Учёные отыскали в памяти, что совершённые ранее изучения продемонстрировали: на протяжении общения посредством языка жестов люди солидную часть времени наблюдают друг другу в лицо.
Сегодняшний вариант MobileASL применяет стандартные разработки сжатия видеосигнала, дабы не выходить за допустимые пределы передачи данных. Но будущие версии программного обеспечения будут трудиться на собственных собственных методах, каковые разрешат ещё больше улучшить уровень качества картины.
Так, компьютерщики создали программы, показывающие руки и лицо «говорящего» в высоком разрешении, а всю другую картину — в низком.
Тут для сравнения продемонстрировано изображения лица «говорящего» в различных разрешениях (фото University of Washington).
Сейчас идёт разработка ПО, талантливого самостоятельно определять, в то время, когда человек жестикулирует, а в то время, когда «слушает» собеседника. Такая функция разрешит снизить энергопотребление телефона на протяжении беседы.
Более детально о технологии MobileASL возможно почитать в её презентации (PPT-документ, 9,57 мегабайта), а также в данной статье (PDF-документ, 430 килобайт).
Кстати, последние собственные успехи разработчики представят в Амстердаме на Интернациональной конференции автоматических жестов распознавания и систем лица (8th IEEE International Conference on Automatic Face and Gesture Recognition).
Скорость смены кадров подбирается в зависимости от того, «говорит» пользователь либо «слушает».
Слева направо: сначала количество кадров в секунду большое, после этого оно понижается и опять возрастает до приемлемых размеров (иллюстрация University of Washington).
До тех пор пока команда исследователей применяет мобильные телефоны европейских производителей, поскольку среди них несложнее отыскать совместимые с новым программным обеспечением и оборудованные дисплеем и видеокамерой на одной стороне аппарата. Это принципиально важно, потому, что разрешает снимать себя и одновременно с этим видеть на экране собеседника.
По окончании того как эксперты всецело реализуют задумку на практике (а это случится не раньше начала будущего года), им нужно будет договариваться с ведущими производителями сотовых телефонов, дабы те внедрили MobileASL в собственные аппараты, поскольку лишь тогда сервис станет вправду широкодоступным.
Но, как заявляют разработчики, кое-какие компании уже заинтересовались проектом. Так что общение по сотовому, как минимум для глухонемых американцев, возможно, не вынудит себя продолжительно ожидать.
