Лого Сделано у нас
54

Ученые НГТУ НЭТИ впервые добились от программы 90% распознаваемости русского жестового языка

 © scientificrussia.ru

Ученые Новосибирского государственного технического университета НЭТИ завершают создание системы компьютерного распознавания русского жестового языка. Система с помощью камер и нейронных сетей узнает жесты глухих и переводит их в текст или голос. Подобных программ в мире еще не существует.

«Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения. В России подобной системы раньше не было, это первая в мире разработка. Сделали программное обеспечение распознавания жестов и их компонент, точность которого составляет до 90%. Сейчас мы работаем над улучшением этого показателя», — рассказал профессор кафедры автоматизированных систем управления Новосибирского государственного технического университета Михаил Гриф.

По его словам, сейчас продолжается разработка программы распознавания дактилем (буквы из дактильного алфавита). Точность распознавания дактилем составляет 92%. Разработка компьютерного переводчика поддержана РФФИ в рамках русско-индийского гранта (рук. М.Г. Гриф), а также Фондом президентских грантов (рук. А.Л. Приходько). Сейчас ведутся переговоры об индустриальном партнерстве и с Министерством промышленности, торговли и развития предпринимательства.

«Мы также вели работу над выделением эпентезы (межжестовое движение). Сейчас точность выделения жестов в видеопотоке составляет 85—90%. Пока эта работа ведется в формате эксперимента. У нас было 350 предложений, которые были записаны на камеру. Мы их размечали, выделяли жесты, промежуточные движения и обучали на них нейронную сеть. Теперь нейросеть может сама определять, где начало жеста, а где завершение. Кроме того, мы занимаемся разработкой биологически подобных нейронных сетей, которые работают аналогично человеку, зрительно воспринимающему жестовый язык», — добавил Михаил Гриф.

Сейчас ученые вуза сосредоточены на разработке и внедрении работы компьютерного переводчика в обе стороны, чтобы его качество удовлетворяло требованиям глухих людей. Сначала планируется разработать переводчик для русского жестового языка, а в дальнейшем и для других жестовых языков мира.

Разработка переводчика позволит создать удобное приложение для коммуникации с глухими людьми, а также позволит им проще адаптироваться в обществе и рабочих коллективах.

Напомним, что ранее НГТУ НЭТИ вышел во второй этап конкурса «Приоритет 2020» Минобрнауки РФ. Один из стратегических проектов в заявке — «Новые инженерные решения и искусственный интеллект для биомедицины». Успех разработки М. Грифа подтверждает сильные компетенции инженеров НГТУ НЭТИ в этой области.

 © scientificrussia.ru

Справка

В мире насчитывается около 130 жестовых языков. В каждом из языков около 3—5 тысяч жестов, которые производятся руками в сочетании с мимикой и положением тела. По данным Всероссийского общества глухих, численность носителей жестового языка в России превышает 300 тысяч человек. По данным Всемирной организации здравоохранения, более 466 миллионов человек в мире страдают от инвалидизирующей потери слуха.

Информация и фото предоставлены Управлением информационной политики Новосибирского государственного технического университета

Разместила Наталья Сафронова

Статья Ученые обучили нейросеть распознавать русский язык жестов по видеозаписям с помощью алгоритмов ИИ

Пост сделан с содействием блогера Лес!

  • 1
    Clausson Clausson
    05.10.2113:44:02

    Не очень понятно, зачем? В чем практический смысл разработки, что им мешает пользоваться стандартной клавиатурой?

    • 6
      Roman Wyrzykowski Roman Wyrzykowski
      05.10.2115:31:39

      Точно так же можно было бы сказать — зачем вообще речевой ввод когда есть клавиатура?    

      Отредактировано: Roman Wyrzykowski~19:33 05.10.21
      • 3
        Clausson Clausson
        05.10.2122:00:28

        Пожалуй, что да, соглашусь с вами. Посмотрел тему внимательней.

        При прочих равных скорость речи быстрее нормальной скорости набора (200 знаков минуту) и даже больше профессиональной скорости (350+ знаков).

        Мировой рекорд составляет около 750 знаков, такая скорость печати доступна очень не многим профессионалам, но оказывается именно такая скорость бывает нужна, для стенографирования диспутов и т. п.

        А вот жестовый язык, как оказывается может кратно превосходить обычную речь по скорости передачи информации. Хотя это конечно еще и от языка зависит.

  • 0
    Нет аватара commandor
    05.10.2122:05:15

    Подобных программ в мире еще не существует.

    а мужики то и не знают…

    тыц

    тыц

    тыц

    • 2
      Нет аватара Лес
      05.10.2122:36:00

      Это же не системы компьютерного распознавания для русского жестового языка.

      1.В новости представлена система компьютерного распознавания именно для русского жестового языка.

      2.Программа работает с эффективностью 90% (достигнутый показатель)

      3.Это уже работающая программа

      Отредактировано: Лес~22:48 05.10.21
      • 0
        Нет аватара commandor
        06.10.2100:49:54

        позволю себе оставить комментарии

        1. жесты они и в африке жесты, поверьте на слово, натренировать модель можно на жесты глухонемых любых национальностей, коль скоро принципиально задача худо бедно решена.

        2. не с эффективностью, а с точностью все же (причем немаловажно как именно эта метрика вычисляется, тут могут быть нюансы). точность нейронной модели декларируется на валидационном датасете, и на данных из реальной жизни может быть и больше и меньше, много влияющих факторов. Например, точность одной из уже упоминавшихся моделей заявляется 98%, что само по себе еще не выводит модель в мировые лидеры.

        3. как и другие, т. е. да, это тоже видимо работающая программа.

        не поймите меня не правильно, это здорово, что у нас занимаются проблемами ИИ и глубокого обучения, касательно этой конкретно модели очень здорово что заявлено больше 1000 распознаваемых жестов, хотя дальше по тексту мы читаем что модель тренировалась на 350-ти предложениях, этого конечно маловато для практического применения. так же важна вычислительная сложность модели, что напрямую коррелирует с производительностью, про это к сожалению ничего отмечено не было. Вообщем хорошо что занимаются, отлично что кое что даже получается, но вот это вот неимеетаналогов уже оскомину набило.

        Отредактировано: commandor~00:52 06.10.21
    • 2
      Roman Wyrzykowski Roman Wyrzykowski
      06.10.2112:58:33

      Третий линк у меня не работает, а эти два остальных совсем не конкуренты для данной разработки — они не относяться к системам распознавния для языка жестов для данного языка, а тем более русского. Если есть разработки для какого-то языка нужно привести подходящие ссылки.

      • 0
        Нет аватара commandor
        06.10.2120:18:47

        понятно, как раз ссылка на отечественные исследования (небезысвестный Нагапетян) и не работает… ну это то понятно, однако вот для тех кого в гугле забанили аннотация из статьи. Т. е. подобные программы в мире уже вполне себе существуют, уверяю вас. Что не означает что теперь не нужно ничего делать в этой области, просто поскромнее нужно быть, всего то делов. А то заберутся на плечи гигантов и уже типа бога за бороду держат…

        Автоматическое преобразование жестов русской ручной азбуки в текстовый вид

        Аннотация. Рассматривается задача сурдоперевода для жестов, используемых в русской ручной азбуке (РРА) глухонемых. Предлагается программно-аппаратная система, позволяющая в реальном времени преобразовывать статические и динамические жесты в текст; проведенные эксперименты показывают, что система в настоящее

        время обеспечивает достаточно уверенное распознавание всех статических и некоторых динамических жестов азбуки РРА. Намечены пути дальнейшего улучшения качества анализа динамических жестов.

        Ключевые слова: сурдоперевод, русская ручная азбука, распознавание жестов, дальностное изображение, трехмерный сенсор.

        при чем статья еще 2013 года, спокойная, технически аргументированная, без всяких неимеетаналогов, толькоунастолькодлявас и т. п.

        Отредактировано: commandor~20:19 06.10.21
        • 1
          Нет аватара Лес
          07.10.2100:23:11

          Нет смысла приводить аннотацию на разработку, которая не получила развития и не завершена как готовый продукт. Интерес только для архива. Важно есть в наличии или нет готовый продукт, который можно посмотреть и принять решение о приобретении.

          Отредактировано: Лес~00:23 07.10.21
Написать комментарий
Отмена
Для комментирования вам необходимо зарегистрироваться и войти на сайт,