В век высоких технологий, различными устройствами и программами, облегчающими жизнь людей с инвалидностью, никого не удивишь. В частности, для глухих и слабослышащих, как грибы после дождя растут различные проекты, которые переводят устную или письменную речь в жестовый язык. Способы перевода разные: анимированные персонажи, предварительно записанные на видео фразы на жестовом языке, или просто онлайн сурдопереводчик на другом конце провода. Мы не раз рассказывали о таких сервисах. Сегодня же мы поговорим о принципиально другом решении – переводе жестового языка в текст и устную речь.

DeafKIT – это автоматическое решение для сурдоперевода. Оно позволяет производить перевод с жестового языка в режиме реального времени.

Создателями являются трое студентов различных московских вузов: Амалия Копылова, Максим Потенко и Иван Тескер.

Функционирует программа на основе нейронных сетей. Для работы автоматического сурдоперевода необходимо любое устройство с возможностью записи видео: смартфон, вебкамера. Процесс перевода выглядит следующим образом. Человек на камеру «произносит» жесты, и на мониторе моментально отображается текстовый перевод.

Такая проблема, как перевод с жестового языка, существует, как минимум, у 1% населения, это абсолютно глухие, живущие в полной тишине. Также до 6-10% людей, в зависимости от страны, слабослышащие, сталкиваются с подобной трудностью. DeafKIT решает их проблему.

Ребята начали свою работу в декабре 2017 года. За короткое время существования проекта они успели показать его уже очень большому числу людей. И даже обзавелись достижениями и победами. Яркий пример — первое место на Хакатоне 2025. Это была первая победа команды. Данное событие принесло им огромное воодушевление продолжать работу и заставило по-новому посмотрели на проект. Именно тогда ребята решили, что обязательно доведут работу до конца.

Идея проекта зародилась вместе с командой, на Хакатоне Imagine Cup. Иначе как судьба назвать их соединение нельзя. Максим должен был идти на Хакатон с другой командой, но она расформировалась. Также произошло и с командой Амалии. Встретившись, они решили объединиться.

Идею проекта придумала Амалия. Она предложила список идей, и команда выбрала такой полезный для общества проект. По словам Амалии, она долго думала, какую идею взять для реализации. Это был не единовременный процесс. Амалия очень долго думала о проблеме глухих людей.

На сегодняшний день разработано большое количество инклюзивных инноваций, но сурдоперевод до сих пор происходит при помощи переводчика. Ребята почувствовали, что способны повлиять на это и взялись за проект. Целью создания DeafKIT было не только решить проблему сурдоперевода, но и показать людям, для чего создаются такие решения, почему так важно заниматься социальной сферой. Это не просто помощь, волонтёрство или благотворительность, этот проект может помочь людям, у которых серьёзные проблемы со слухом, с речью.

Для ребят стало неожиданностью, что подобным решением ещё никто не занялся всерьёз. Позднее, когда команда начала сталкиваться с проблемами, они поняли причину: это очень сложный в реализации проект. Как технически, так и эмоционально.

Одной из причин появления DeafKIT стала учебная программа Амалии. Именно она подтолкнула девушку к размышлениям об инклюзивной среде. «У нас как раз в это же время проходил курс на нашем факультете, на котором мы узнавали о проблемах, с которыми сталкивается человек сейчас, и с проблемами таких же обычных людей. В мире вообще довольно много проблем. В ООН даже есть специальная программа с семнадцатью целями для развития, с проблемами, которые нужно решить. Решение глобальных проблем, таких как голод или нехватка воды, это не в нашей компетенции. Но если мы можем использовать нейронные сети для решения вопроса сурдоперевода, то почему бы не заняться именно этим. Если ты можешь взяться за реализацию какой-то своей мечты, или мечты кого-то ещё, то ты должен сделать именно это», – поясняет Амалия выбор темы проекта.

Почти у всех участников команды был опыт общения с людьми с нарушением слуха, что добавило аргументов «за». Максим учится со слабослышащим юношей в институте. А Амалия в детстве общалась с глухим соседом. Этот опыт позволил ребятам приблизиться к проблемам барьера в общении, понять мир людей с нарушением слуха.

Так работает процесс перевода жестового языка в текст.

На данный момент создатели занимаются формированием вокабуляра их системы. Для формирования базы данных им необходимы фото и видеопримеры жестов. Для обучения программы важно, чтобы фон, рука, характер «произношения» были разные и их было как можно больше. Поэтому ребята сначала снимают себя, затем «выходят в массы»: просят студентов или даже случайных прохожих повторить жесты на камеру. Иногда разработчикам удаётся заручиться помощью волонтёров.

Не обходится и без испытаний. С ними ребята сталкиваются ежедневно. «Как в работе с любым большим проектом, трудности есть, были и будут случаться. Но мы их преодолевали. Либо путём обсуждения наших проблем в команде, либо самостоятельным изучением новых материалов», – делится Иван.

«Разработка программы вообще это одна большая трудность. Когда делаешь какую-то систему, поначалу она вроде бы работает. Но потом появляются какие-то проблемы, которые сначала не понятно, как решить. Почему они вообще появляются. Но потом выясняется, что это просто из-за какой-то глупости, и исправляется. И так раз за разом. Бывают моменты, когда просто устаёшь от накопившихся проблем, от большой ответственности. Не знаешь, хочешь ли ты всё это продолжать. Но когда видишь, что у людей действительно проблемы с общением, ты хочешь помочь им и поэтому продолжаешь. Ты видишь, что нету решения и поэтому кто, если не ты», – дополняет Максим.

Команда DeafKIT ведёт переговоры с создателями информационных стоек, с МФЦ, представителями аэропортов и другими предприятиями, где необходимо внедрение их инновации. Создатели медицинских роботов уже предложили внедрение продукта в свои устройства. DeafKIT хотят также внедрять своё решение в социальные сети. Они могут облегчить жизнь миллионов людей, общающихся при помощи социальных сетей. По мнению Амалии: «Это уже не столько единовременное какое-то вложение. Это шаг в будущее. Это игра на опережение. Я думаю, что те люди, которые создавали социальные сети, понимают, насколько важна данная инновация».

Ребятам остаётся только не потерять веру и двигаться дальше.

«Глухих.нет» предлагает посмотреть документальный фильм «Поговорим молча? DeafKIT», в котором рассказывается с какими трудностями в общении сталкиваются глухие и слабослышащие люди, как образовалась команда DeafKIT и как создаётся это решение. Приятного просмотра.

Документальный фильм «Поговорим молча? DeafKIT» от Арины Гайдук.