Проекты участников финального этапа НТТМ-2017

← К списку проектов

Проект
Распознавание мимических жестов на основе анализа электромиографического сигнала
НТТМ-2017-0673 | Категория II

Автор:

Будко Раиса Юрьевна

Научный руководитель:
Старченко Ирина Борисовна
Организация:
Южный федеральный университет,
Ростовская область, Таганрог
Цель работы
Цель - распознавание мимических движений лица посредством лицевой электромиограммы (записи электрической активности мышц) методом машинного обучения для возможности управления внешними устройствами, например, инвалидным креслом.
Обзор предметной области
По данным предыдущих исследований лицевой ЭМГ, существуют некоторые ограничения при их анализе спектральными методами. Из-за сходства частотных составляющих лицевой ЭМГ такие алгоритмы не могут быть применены в задаче классификации мимических движений. В данном случае более подходящими является анализ во временной области на основе амплитуд сигнала, благодаря простоте вычислений и высокой положительной стабильности в распознавании образов.
Существуют разные методы для выделения признаков во временной области. Однако, для получения наиболее релевантных результатов, извлекаемый признак должен содержать достаточное количество информации для представления значимых свойств сигнала, но в тоже время быть достаточно простым в аспекте скорости вычисления и классификации. Согласно результатам связанных исследований распознавания жестов по ЭМГ, в настоящее время были исследованы лишь некоторые из методов временной обработки. Выделение признаков является важным шагом в процессе обработки ЭМГ, и в итоге имеет непосредственное влияние на конечную производительность системы.
Выделение признаков во временной области
Критерий должен удовлетворять следующим условиям: извлекать характерные параметры лицевой электромиограммы; иметь низкую вычислительную сложность для возможности использования в системах в режиме реального времени. В данном проекте предлагается использование девяти величин во временной области, измеренных как функция времени. Благодаря их вычислительной простоте, критерии временной области, или линейные методы, являются достаточно распространённым средством при распознавании ЭМГ. Для данного исследования были выбраны: интегральная ЭМГ, среднее арифметическое, среднее значение модуля, вычисление конечных разностей, сумма элементарных площадей, дисперсия, среднеквадратичное отклонение, длина сигнала, максимальное пиковое значение. Все эти функции достаточно просты в реализации. Критерии этой группы используются, как правило, для обнаружения начала сигнала, для выявления мышечной активности и сокращения мышц.
Классификация данных
Для того чтобы распознать мимические движения, извлеченные признаки должны быть классифицированы в отличительные классы. Классификатор должен быть в состоянии справиться с факторами, которые оказывают заметное влияние на паттерны ЭМГ в течение времени, такие, как существенное изменение сигналов ЭМГ, расположение электродов, пот и усталость. Что еще более важно, сам классификатор должен точно классифицировать новые образцы во время онлайн обучения с низкой стоимостью вычислений для удовлетворения требований обработки в режиме реального времени, как важнейшее условие для систем интерфейса «человек-машина». По данным предыдущих исследований известно об удачных реализациях классификаторов на основе нейронных сетей для классификации по миоэлектрическим признакам. В этом исследовании предполагается использование нейронной сети на основе радиальных базисных функций для классификации мимической ЭМГ. Этот метод был предложен Сайконом Джаеном, и его робастность была проверена и подтверждена на различных наборах данных. Основным преимуществом такой сети является то, что она может обучаться с помощью наборов данных в течение нескольких эпох, что делает ее мощным инструментом, чтобы обучать поступающие образцы в режиме реального времени. Эта процедура подготовки очень быстра по сравнению с традиционными нейронными сетями, такими как сети прямого распространения, и для нее требуется сравнительно небольшое количество памяти.
Описание результатов проекта
Съем электромиограммы осуществляется с помощью сертифицированного прибора для электромиографических исследований «Синапсис». Запись и предварительная фильтрация произведены с помощью программного обеспечения «Синапсис». Сигнал снимался поверхностными электродами в биполярном отведении. В исследовании участвовало десять добровольцев возраста 19-26 лет (5 мужчин и 5 женщин). Участники выполняли каждый мимический жест 5 раз по 2 секунды, с 5-секундным отдыхом.
Записаны мимические ЭМГ с группы испытуемых. В рамках предварительной обработки сигнала использованы процедуры обеспечившие снижение
уровня шума, фильтрации, сглаживанию, сегментации, понижения размерности, выделения признаков. Далее исследуются комбинации признаков. Затем ЭМГ классифицируется нейронной сетью.
Отфильтрованные сигналы сегментируются неперекрывающимися окнами. После создания входного вектора признаков в программном пакете Statistica было произведено построение нейронной сети на основе алгоритма РБФ. Сеть обучалась на половине исходных данных.
Предложен алгоритм классификации мимических движений и распознавания ЭМГ. Максимальная степень точности распознавания была достигнута при использовании для предобработки сигнала признака «Пиковое значение» (93.6%). Наименьшая средняя точность распознавания достигнута по признаку «Среднее арифметическое» - всего 53,6%.
На диаграмме рис. 7 показано сравнение классификаторов при использовании 6-ти функций, показавших наилучшие результаты. Сравнение алгоритма РБФ проводилось с методом опорных векторов и алгоритмом многослойного персептрона нейронной сети. Алгоритм радиальной базисной функции показал более высокую точность распознавания в большинстве случаев.
По результатам проекта защищена магистерская диссертация на «отлично», ведется работа по диссертационному исследованию на соискание степени кандидата технических наук. Основные результаты докладывались на конференциях различного уровня, имеется 13 опубликованных печатных работ, из них 4 из перечня ВАК, 2 входят в систему цитирования SCOPUS.
Полученный алгоритм и НС на его основе может использоваться в задачах построения интерфейсов человек-машина в режиме реального времени (например, для управления инвалидным креслом). Данный проект принадлежит к новому направлению в развитии интерфейсов человек-машина, наряду с такими нейроинтерфейсом, но является более практичным, т.к. не требует мощных вычислительных ресурсов и может быть реализован в портативных мобильных системах на микроконтроллере.
Описание применимости
Результаты данного исследования могут быть использованы для обработки сигнала ЭМГ и распознавания мимических движений при разработке интерфейсов «человек-машина». Также они могут быть применены в областях, требующих анализа и классификации ЭМГ для других целей, например диагностика и исследование нарушений моторных функций организма. Интерфейс человек-машина - это инновационный подход к решению проблемы адаптации инвалидов в обществе. С помощью этой системы человек может стать более независимым, повышается уровень его социальной активности.
Дальнейшее развитие проекта
Планируется создание системы, состоящей из 2-х конечных продуктов: 1. Портативное носимое устройство для распознавания активности мышц – электромиограф-обруч. 2. ПО для распознавания мышечных движений и формирования управляющих команд. Для оценки перспективы коммерциализации данного решения была проведена оценка рынка аналогичных изделий и потенциальных клиентов. В связи с небольшой предполагаемой численностью сотрудников на первых этапах и обширной географией России возможна поставка и установка около 3 систем в месяц, что при оценочной стоимость полной системы около 100 000, делает доступным рынок в 3-4 млн руб в год. Прямых коммерческих аналогов данному проекту нет ни только в России, но в настоящий момент и в мире. Большинство таких разработок не являются серийными, для россиян же они в подавляющем большинстве недоступны. В настоящее время ведется заключение договора по данному проекту по программе "УМНИК" Ростовской области.

Информация предоставлена участником конкурса. Организаторы конкурса не несут ответственности за содержание информации о проекте.

← К списку проектов




Список всех проектов финального этапа с датами защиты

 

© Всероссийский конкурс научно-технического творчества молодежи НТТМ