Умная заколка Ontenna поможет глухим людям чувствовать звук

Одним из перспективных направлений развития носимой электроники, помимо отслеживания биометрических показателей, является создания альтернативных способов взаимодействия с окружающим миром. Во-первых, это может расширить человеческие возможности. Во-вторых, позволит множеству людей жить обычной жизнью. Например, людям, утратившим способность воспринимать звуки.

Искуственный интеллект читает по губам лучше человека

Чтение по губам нельзя назвать точной научной дисциплиной. Однако благодаря возможностям современных компьютеров, а в частности нейросетям, можно разработать искусственный интеллект, который справится с чтением по губам намного лучше человека. Watch, Attend and Spell (WAS) – это новая система программного обеспечения с искусственным интеллектом, разработанная учеными из Оксфорда в сотрудничестве с компанией DeepMind, Google. Система WAS использует компьютерное зрение и методы машинного обучения, чтобы научиться читать по губам, смотря телевизионные передачи длительностью более 5000 часов.

Исследовательская группа сравнивала способности машины и человека-эксперта разбираться в том, что говорилось в видео, сосредоточившись лишь на движениях губ людей в кадре. В результате ученые обнаружили, что новое программное обеспечение было более точным по сравнению с профессионалом. Человек правильно распознавал лишь 12 процентов слов, в то время как искусственный интеллект WAS был способен распознать более 50 процентов слов. Ошибки машины заключались только в потере буквы «с» на концах слов.

Новое программное обеспечение может повлиять на ряд новейших разработок, в том числе помочь слабослышащим и глухим в ориентации в пространстве. Также в будущем подобную систему можно будет использовать для создания субтитров к видео в реальном времени. Кроме того, подобные технологии могут повысить точность и скорость преобразования речи в текст, особенно в шумных местах, где микрофоны просто не слышат пользователя.

Источник: Naced-Science

Parke Pleasants представил Bone Case — небольшое устройство, которое крепится на смартфон и позволяет людям, у которых есть проблемы со слухом, разговаривать по телефону.

Устройство работает благодаря специальной технологии, которая позволяет использовать костную проводимость для того, чтобы исключить необходимость использовать слуховой канал для приема звуковых волн.


Bone Case начинает работать при совершении звонка и передает звуковые волны непосредственно в кости внутреннего уха, что позволяет людям с поврежденной ушной мембраной разговаривать по телефону.

Источник: Fainaidea
В России увеличивается количество социальных изобретений

В России производят все больше оборудования для инвалидов. Оно помогает сделать жизнь людей с ограничениями по здоровью более комфортной.

В этой комнате собрано самое современное оборудование для инвалидов. Люди с ограничением по слуху и зрению здесь могут научиться пользоваться более чем 70 изобретениями.

Проект «Полигон» работает в московском фонде поддержки слепоглухих «Соединение» почти год. Российские компании привозят сюда свои изобретения бесплатно. Для них это возможность узнать мнение тех, кому они предназначены. Техникой можно научиться пользоваться в центре, или даже ненадолго забрать домой, а после решить, стоит ли покупать.

Иван Бирюков, генеральный директор Центра поддержки социальных инноваций «Технологии Возможностей»: «Мы помогаем им научиться, а в том случае, когда им необходимо это приобрести, либо фонд помогает, в том числе покупает, потому что у фонда есть такая программа поддержки слепо-глухих в части закупки технических средств реабилитации для них, либо рекомендуем включить это в индивидуальный план реабилитации».

Здесь есть измеритель уровня жидкости. Он пищит и вибрирует, когда стакан наполняется водой. Вибрирующая трость помогает понять, что рядом препятствие, не прикасаясь к нему. А по вибрирующим часам можно узнать время на ощупь. Нужно только провести рукой по циферблату. Одна вибрация - человек поставил палец на верный час, а две указывают на минуты. Есть даже приложение для телефонов и планшетов - связь с сурдопереводчиком в режиме реального времени.

Игорь Гусев, разработчик сервиса для глухих людей: «Система сейчас ищет переводчика, ближайшего свободного переводчика с языка жестов, сурдопереводчика. Вот она нашла его, сейчас происходит соединение. Мария Середа – наш переводчик, в данный момент она работает из Петрозаводска».

Сертифицированных сурдопереводчиков на всю Россию 900 человек. И специалиста проще найти в интернете, чем в своем городе. Приложение может войти в список технических средств реабилитации инвалидов.

Количество приборов постоянно увеличивается. Скоро здесь может проявиться новинка – нейрокоммуникатор. Прибор с помощью электродов может буквально читать мысли и переводить их в текст.


Источник: ОТР
Нейросеть научилась читать по губам лучше человека

Разработчики из Оксфордского университета создали первую в мире программу, которая распознает речь по губам на уровне целых предложений и делает это намного лучше человека. Ее работа основана на использовании нейросетей и методов глубинного обучения. Научная статья исследователей, которая была подготовлена к конференции ICLR 2017, опубликована в открытом доступе.

Автоматические системы распознавания речи на основе мимики человека имеют большой практический потенциал: они могут быть использованы для создания слуховых аппаратов нового поколения, биометрической идентификации или расследования преступлений. Поэтому ученые уже много лет пытаются разработать программу для «чтения» по губам, но до сих пор им не удавалось добиться успеха. Современные системы распознавания речи на основе мимики хорошо «считывали» отдельные слова и словосочетания, однако они не могли справиться с целыми предложениями.

Авторы нового исследования преодолели это ограничение с помощью программы LipNet, в основе которой лежит использование LSTM-нейросети. Эта нейросеть представляет собой подвид рекуррентных нейросетей, для которых характерно наличие обратной связи. Ее главная особенность заключается в том, что она способна обучаться долговременным зависимостям. На практике это означает, что LSTM-нейросеть по умолчанию хранит информацию в течение продолжительного периода времени и способна работать с контекстом в длинных предложениях (подробнее о LSTM и рекуррентных нейросетях вы можете прочитать в материале). Кроме того, исследователи также использовали специальную сверточную нейросеть (STCNN), которая хорошо справляется с задачей анализа видео, и обучение методом нейросетевой темпоральной классификации (Connectionist Temporal Classification, CTC).


В качестве исходного материала авторы работы взяли базу данных Grid, в которой было собрано более 32 тысяч видеозаписей. На них 13 человек произносили на английском языке предложения, построенные по одинаковому принципу: команда (4) + цвет (4) + предлог (4) + буква (25) + число (10) + наречие (4). В скобках указано количество вариантов слов для каждой из шести словесных категорий. Разнообразие вариантов обуславливается тем, что разные звуки (например, [p], [b], [m]) во время произношения выглядят почти одинаково, то есть имеют общую визему. Всего каждое предложение имело по 64 тысячи вариантов.

В ходе тренировки LipNet училась следить за губами говорящего на видео, и на основе этого понимать, что он сказал. Программу обучали на 88 процентах выборки, оставшиеся 12 процентов были использованы для проверки ее работы.

 

Сравнение работы LipNet с работой других программ, которые распознают буквы, слова или словосочетания  
 
Результаты тестирования показали, что LipNet может правильно распознавать речь по губам в 93,4 процентах случаев. Таким образом, системе удалось не только обойти другие программы, но и специально обученных людей (их точность распознавания речи достигает 52,3 процентов). Тем не менее, сами авторы работы отмечают, что условия проверки работы LipNet были весьма «тепличными», при распознавании произвольной человеческой речи результат может быть значительно хуже.

Ранее компания Microsoft усовершенствовала систему распознавания устной речи, работа которой также основана на использовании сверточных и LSTM-нейросетей. Теперь система, которую планируется использовать в в голосовом помощнике Cortana, игровой приставке Xbox One и других программах, делает меньше ошибок, чем профессиональный специалист по набору текста.

Источник: N+1
Новый прибор поможет глухим слышать

Мы привыкли к тому, что человек принимает информацию через глаза и уши. Однако ученые говорят, что человек — это приемник информации в целом, и даже глухие могут услышать, а слепые увидеть, вопрос только в том каким именно образом это будет происходить.

Нейробиолог Дэвид Иглман работал в команде со Скоттом Новичем над созданием прибора, который помог бы слышать и видеть при помощи кожи.

«У нас есть этот гигантский входной канал, который называется нашей кожей», – говорит изобретатель, – и мы не используем его».


Ученые создали жилет, в котором находится 32 крошечных моторчика, преобразующих звуковые волны в вибрацию со стороны спины. Таким образом, глухой человек понимает, что к нему обращаются или слышит какой-то сигнал. Жилет работает в комплекте со смартфоном, так как именно он преобразует звуковые волны в понятные для человека сигналы, которые передают те самые моторчики. Сначала не совсем понятно, что именно имеют ввиду смартфон и жилет, но со временем все становится интуитивно понятным.

В конечном счете нейробиолог мечтает научить глухих слышать слова через жилет.
Источник: Faina Idea
С новым устройством глухие люди смогут насладиться музыкой

Звуки — это вибрация, которую можно воспринимать так или иначе, этим фактом решил воспользоваться создатель наушников для глухих Лиро Джино. Его наушники вместо звуковых частот передают вибрации, которые глухой человек может ощущать.

Vibeat можно носить как обычные наушники, а также как браслет или ожерелье. До того момента как наушники не будут подключены не будет понятно, что это передатчики музыки в совсем необычном формате.


Vibeat работает не как смартфон в режиме вибрации, а передает вибрацию несколько изящнее. Для каждой звуковой волны у него есть свой отклик, потому пользователь будет ощущать на себе целый спектр музыкальной вибрации.


Можно подумать, что все это ненужно и не работает, однако при создании Vibeat, Джино активно сотрудничал с клубом глухих DJ-ев и общался с людьми страдающими нарушениями слуха, на них же и тестировал эти наушники.


Источник: Faina Idea
Как обеспечить полноценную жизнь человеку с нарушением слуха

Современная медицина, диагностика и слухопротезирование позволяют жить полной и счастливой жизнью со слуховыми аппаратами. По данным Всемирной организации здравоохранения, в мире более 360 миллионов человек страдают глухотой или нарушением слуха.

Отчего снижается слух
Причинами снижения слуха могут быть не только старение и воспалительные заболевания наружного и среднего уха, но и:
  • родовые травмы
  • звуковые травмы, возникающие от постоянного воздействия шума (работа в шумном цехе, на железной дороге, прослушивание музыки на высокой громкости и т. д.)
  • генетически обусловленная тугоухость
  • снижение слуха за счет нарушения работы слуховых рецепторов и слухового нерва.

Кто поможет
Если вы заметили за собой, что стали хуже слышать родных и друзей, чаще переспрашиваете, чаще напрягаете слух в различных ситуациях, то это повод обратиться к специалисту. Нарушение слуха может быть различным – от снижения разборчивости речи до полной глухоты. В большинстве случаев единственное средство снова хорошо слышать - слуховые аппараты.

Для подбора слухового аппарата необходимо выполнить проверку слуха, выявить нарушения, осуществить индивидуальный подбор и настройку аппарата. Современные цифровые слуховые аппараты настраиваются индивидуально под каждого человека в зависимости от особенностей снижения слуха, образа жизни и компенсируют именно те частоты и диапазоны, которые человек не слышит. Самый главный акцент делается на разборчивость речи собеседника в любой шумовой обстановке - а что может быть лучше, чем слышать своих близких ясно и разборчиво?
Кстати

По типу ношения выделяют три основных вида аппаратов: заушные, внутриушные и внутриканальные (совсем незаметные). Приняв решение приобрести слуховой аппарат, вы должны помнить, что слуховой аппарат надо не просто купить, а обязательно подобрать и настроить под себя, так как разный характер и разная степень снижения слуха требуют разной компенсации.

Важно
В случае показаний к ношению слухового аппарата ни в коем случае нельзя пользоваться усилителями слуха.  Бытовые портативные усилители не являются медицинским слуховым аппаратом. Их можно применять только тогда, когда нет патологических изменений и различных заболеваний. В случае применения усилителей вы можете нанести непоправимый вред здоровью, существует опасность усугубить уже существующее снижение слуха и вызвать внезапную стойкую его потерю.
Слепоглухие помогут тестировать роботов

Эта работа позволяет выделить сильные и слабые стороны продуктов, определить направления по их доработке или расширению функционала.

Слепоглухие люди будут тестировать новейшие ассистивные системы, в том числе роботов, в открывшемся в четверг в Москве Центре внедрения технологий для помощи гражданам с ограничениями по слуху и зрению «Полигон», сообщил ТАСС после торжественного открытия площадки руководитель проекта заведующий лабораторией головного учебно-исследовательского и методического центра МГТУ им. Н. Э. Баумана Денис Кулешов.

«При испытании конкретного устройства мы просим разработчика заполнить анкету, там он указывает, какую обратную связь ему нужно получить. Самое главное – какую поддержку со стороны фонда "Со-единение" нужно оказать, чтобы привлечь нужную группу слепоглухих. Постоянно собранной группы нет, потому что все формируется по потребностям. Слишком разные устройства, слишком разные нарушения у самих людей, поэтому сейчас порядка 12 человек слепоглухих активно задействованы в мероприятиях по тестированию продукции», – сказал Кулешов.

Тестирование новых разработок совместно со слепоглухими проходит на специально оборудованной площадке. Эта работа позволяет выделить сильные и слабые стороны продуктов, определить направления по их доработке или расширению функционала.

Площадка «Полигон» объединяет целый ряд разработчиков и производителей, создающих технологии-помощницы для слепоглухих. Сейчас на ней представлено более 50 современных устройств для инвалидов по слуху и зрению из России и других стран.

Например, на «Полигоне» можно увидеть интеллектуального робота-помощника для слепых и слепоглухих Lexy, которого научили распознавать человеческую речь и отвечать на вопросы. Например, он может рассказать последние новости, помочь быстро выйти в интернет, кроме того, он может стать частью умного дома и контролировать включение и выключение электроприборов. Поскольку у слепоглухих часто развиваются дефекты речи, в дальнейшем робота планируют научить распознавать особенности своего хозяина, рассказал разработчик робота Дмитрий Суворов на открытии центра «Полигон».

Проект «Полигон» реализуется фондом поддержки слепоглухих «Со-единение», на площадке которого он и был спроектирован, и МГТУ им. Н.Э.Баумана при поддержке центра «Технологии возможностей». Финансирование проекта полностью обеспечивает благотворительная организация.

Источник: ТАСС
Умная гарнитура позволит людям, которые не могут говорить, озвучивать свои мысли

Согласно статистике, количество людей, лишённых дара речи по различным причинам, уже давно перевалило за отметку в несколько десятков миллионов человек. И это ещё без учёта слабослышащих людей, которым также очень сложно выразить свои мысли вслух. По положению на 2013 год в мире одних только слабослышащих и глухонемых детей насчитывалось 32 миллиона (статистика Всемирной организации здравоохранения). Что было бы, если все они вновь обрели возможность делиться с окружающими своими мыслями? Компания Smartstones работает над созданием программного обеспечения, которое может воплотить эту мечту в реальность.

За основу проекта была взята гарнитура производства Emotiv. Она считывает мозговые волны человека, а затем транслирует их на смартфон, который, в свою очередь, превращает их в слова. Проще всего в мозгу человека отследить его намерения совершить то или иное движение. К примеру, приподнять ногу или кивнуть головой. Гарнитура запоминает определённые паттерны и связывает их с конкретными словами. Конечно, говорить целыми предложениями при помощи этого гаджета будет довольно сложно, но какие-то наиболее важные фразы человек произносить сможет практически сразу. Достаточно лишь вспомнить комбинацию мыслей, привязанную к тому или иному слову.


В данный момент гарнитура активно тестируется на немых людях, включая тех, кто полностью парализован. Первые результаты уже очень впечатлили группу исследователей, так как один из участников испытаний практически сразу сумел выразить свои мысли с помощью гарнитуры. Учитывая, что на обучение использованию других подобных технологий у человека могли уйти месяцы и даже годы, для разработчиков из Smartstones это действительно огромный успех. Правда, они пока не спешат делиться с нами стоимостью гаджета и датой его поступления в продажу.

Источник: Hi-News.ru
Томские студенты разработали мобильное приложение, превращающее речь в «мультики» для глухих

Магистранты Томского политехнического университета (ТПУ) разрабатывают мобильное приложение, которое позволит при помощи обычного смартфона переводить звучащую речь на русский жестовый язык, чтобы глухие люди могли общаться с окружающими без сурдопереводчика, сообщила в понедельник пресс-служба вуза.

«Приложение, над которым работают магистранты Института кибернетики ТПУ Виталий Видман и Александра Репецкая, станет посредником в общении с собеседниками, имеющими дефекты слуха. Программа будет моментально переводить звучащую речь на язык жестов и выводить анимацию на экран смартфона», – говорится в сообщении.

Уточняется, что приложение будет преобразовывать звучащие слова в текст, а текст – в анимированные картинки с жестами. Самая большая сложность – сделать так, чтобы программа верно переводила синтаксические конструкции, так как в языке жестов особый грамматический строй. Чтобы решить эту проблему, авторы проекта планируют сотрудничать с профессиональными сурдопереводчиками.

По информации пресс-службы, приложение будет отображать не только целые слова, но и работать с дактильной (пальцевой) азбукой, благодаря которой можно проговаривать по буквам сложные слова – например, имена собственные. В настоящее время разработчики уже создали прототип приложения, однако «словарный запас» программы пока ограничен, а вводить слова можно только с клавиатуры.

Добавляется, что приложение можно также использовать как словарь или средство адаптации сложных текстов – например, художественной или научной литературы. Это поможет глухим людям в учебе.

«Программа будет помогать в изучении новых жестов. В повседневном общении человек использует лишь ограниченный набор и поэтому может не знать каких-то слов. Мы загрузим в приложение обширный словарь, который будет включать и специальную терминологию. Просматривая жестовый перевод, люди с нарушениями слуха смогут изучать новые слова», – поясняется в сообщении.

Источник: РИА ТОМСК
Слабослышащие петербуржцы жалуются на плохие слуховые аппараты

Предлагаемые слабослышащим устройства зачастую не подходят тем, кто ведет активную жизнь и пользуется мобильными телефонами. Нужен индивидуальный подход, который отсутствует.

3 марта – Международный день охраны слуха. По данным Всемирной организации здравоохранения, его потеря считается самой распространенной сенсорной формой инвалидности в мире. От глухоты и нарушений слуха страдают примерно 360 миллионов человек.

В Петербурге таких людей почти 20 тысяч. Основных причин потери слуха несколько: генетика и инфекция. Но больше всего врачей беспокоит растущий уровень воздействия громких звуков и шума.

В Северной столице для слабослышащих создают мобильные приложения, например, для записи в медицинские учреждения. В театрах появляются адаптированные постановки. Но самое главное — правильно и в индивидуальном порядке подобрать слуховой аппарат.

Карина Чупина — эксперт Совета Европы, бывший президент Международной федерации слабослышащей молодежи и человек, который не слышит с детства, — считает: подбирая устройство, докторам нужно обращать внимание не только на медицинские, но и на социальные факторы. Развитие речи, образование, род занятости.

Сейчас же, по ее мнению, государство просто выбрасывает деньги на ветер. Главный врач петербургского центра коррекции слуха признается: привыкать к неподходящим аппаратам, действительно, многие пациенты не готовы.

Марина Орлова, главный врач центра коррекции слуха: «К сожалению, взрослые, как правило, складывают их в баночку-коробочку и начинают копить деньги на аппарат, который им подходит. Мы настраиваем несколько моделей аппаратов, даем им попробовать их в тех условиях, в которых они будут пользоваться. И только после этого оформляем покупку».

Если человек приобретает самостоятельно слуховой аппарат, то от государства может получить компенсацию. Но даже в фонде социального страхования признают: сумма это небольшая. А стоимость подходящего устройства порой достигает 300 тысяч рублей.

Александр Образцов, заместитель управляющего регионального отделения Фонда социального страхования: «Уже больше пяти лет действует механизм, когда цена ограничивается ценой контракта. Цена формируется на основании торгов по 44-му ФЗ о закупках. И здесь зачастую бывает, что человек тратит больше денег, чем ему может быть компенсировано».

Между тем в Петербурге неслышащие могут получить слуховой аппарат и за счет регионального бюджета. Устройства закупает уже не фонд социального страхования, а медицинское учреждение.

Начиная с XIX века слуховые аппараты прошли огромный путь. От громоздких устройств до почти незаметных. И сегодня неслышащие люди хотят не просто слышать звуки, но и общаться. Сделать это можно только с подходящим помощником.


Источник: НТВ