Бородатый В.В.
АВАТАРНАЯ СИСТЕМА: ВИЗУАЛИЗАЦИЯ РЕЧИ ДЛЯ ГЛУХИХ ПОЛЬЗОВАТЕЛЕЙ *
Аннотация:
в данной статье представлена разработка системы аватарных технологий для глухих, предназначенной для улучшения коммуникации и визуализации речи. Система основана на интеграции алгоритмов распознавания речи с библиотекой анимаций, позволяя аватару анимировать слова, фразы и предложения с использованием жестов русской дактильной азбуки. Разработанное программное обеспечение предоставляет пользователю удобный интерфейс для взаимодействия с аватаром, включая возможность изменения скорости анимации, паузу и очистку текста.
Ключевые слова:
аватарные технологии, глухие, распознавание речи, визуализация речи, дактильная азбука, коммуникация
ВВЕДЕНИЕ.Аватарные технологии представляют собой инновационный метод взаимодействия для глухих и слабослышащих людей, обеспечивая им доступ к информации и коммуникации. В современном мире, где цифровизация играет ключевую роль, обеспечение доступа к информации становится все более важным для включения всех членов общества.В рамках работы был разработан и реализован проект аватарных технологий, направленный на улучшение коммуникации для глухих. Этот проект представляет собой комплексное решение, включающее в себя использование современных технологий распознавания речи, виртуальных ассистентов и интерактивных пользовательских интерфейсов.Целью данной работы является исследование и разработка инструментов, способствующих облегчению коммуникации для глухих людей. В процессе работы были изучены существующие технологии и разработаны собственные решения, а также проведены тестирования с целью оценки эффективности и удобства использования разработанных инструментов.ОБЗОР ЛИТЕРАТУРЫ.Интеграция методов обучения: Для создания анимаций жестов на основе видеоуроков использовались методы адаптации видеоматериалов. Исследования в области адаптации жестовых уроков из видео для глухих играют ключевую роль в разработке алгоритмов для анализа и интерпретации жестов [3].Рис. 1. Видеоматериалы жестов для глухих.Технологии распознавания речи: Исследования в области распознавания речи играют важную роль в разработке технологий для глухих. Системы распознавания речи, такие как Vosk и Google Speech-to-Text, предоставляют возможность преобразования аудиосигналов в текст, что может быть использовано для автоматического перевода речи на язык жестов или текстовую форму [1].Виртуальные ассистенты и аватары: Виртуальные ассистенты, такие как Siri, Alexa и Google Assistant, а также аватары, являются эффективными средствами коммуникации для глухих. Эти технологии предоставляют возможность взаимодействия с компьютером или мобильным устройством через голосовые и текстовые команды.Применение аватарных технологий в реальной жизни: Существует ряд исследований и проектов, посвященных применению аватарных технологий в реальной жизни. Эти проекты включают в себя разработку приложений для мобильных устройств, интерактивных систем коммуникации и образовательных программ для глухих.Преимущества и ограничения технологий для глухих: Важно учитывать как преимущества, так и ограничения аватарных технологий в контексте их применения для глухих. Это включает в себя вопросы доступности, эффективности, приватности и безопасности таких технологий.МЕТОДИКА РАЗРАБОТКИ И РЕАЛИЗАЦИИ.Для разработки и реализации аватарных технологий для глухих был использован следующий подход:Дизайн и концепция: Определение потребностей пользователей и целей системы, а также анализ существующих технологий и методов коммуникации для глухих. Создание концепции системы, включая дизайн интерфейса и выбор методов распознавания речи.Разработка алгоритма распознавания речи: Применение современных методов распознавания речи для создания алгоритма, который эффективно преобразует аудиосигналы в текст. Важной частью этого процесса является добавление функционала распознавания цифр и преобразования их в соответствующие числовые значения.Создание библиотеки анимаций: Разработка библиотеки анимаций, включающей жесты и движения для каждой буквы русского алфавита. Анимации создаются на основе видео показа жестов человека, которые адаптируются в Blender для создания выразительных и понятных движений [2].Рис. 2. Создание анимации для аватара на основе видео показа жестов.Рис. 3. Дактиль алфавит глухонемых. Создание аватара для глухих: Разработка и внедрение аватара, который динамически отображает распознанный текст в виде соответствующих жестов, обеспечивая наглядную и эмоционально выразительную коммуникацию.Рис. 4. Аватар для глухих.Интеграция алгоритма и библиотеки: Связывание алгоритма распознавания речи с библиотекой анимаций для динамического отображения распознанного текста в виде соответствующих жестов. Это позволяет создавать анимацию слов, фраз и предложений в реальном времени.Разработка пользовательского интерфейса: Создание удобного и интуитивно понятного пользовательского интерфейса для взаимодействия с аватаром. В интерфейсе предусмотрены элементы управления скоростью анимации, возможностью постановки паузы и очистки текста.Тестирование и оптимизация: Проведение тестирования системы на целевой аудитории с целью выявления ошибок и несоответствий. Дальнейшая оптимизация производительности и качества работы системы.Доработка и улучшение: Внесение корректив в систему на основе обратной связи пользователей и выявленных недостатков. Постоянное совершенствование функционала и возможностей аватарных технологий.Весь процесс разработки проводился с использованием среды разработки Unity3D, что позволило создать интуитивно понятный и удобный пользовательский интерфейс, а также интегрировать все компоненты системы в единую работающую модель [4].РЕЗУЛЬТАТЫ.В результате разработки и реализации аватарных технологий для глухих были достигнуты следующие основные цели:Распознавание и преобразование речи в текст: Разработанная система способна распознавать речь пользователя и преобразовывать её в текстовый формат в реальном времени. Это позволяет глухим пользователям коммуницировать с аватаром с использованием речи.Анимация аватара и жесты: При распознавании речи аватар анимируется и отображает соответствующие жесты, соответствующие смыслу произнесенных фраз. Это делает коммуникацию более наглядной и эмоционально выразительной.Интерактивная обработка ввода с клавиатуры: Пользователь также может взаимодействовать с аватаром, вводя текст с клавиатуры. Введенный текст также обрабатывается системой и отображается в виде соответствующей анимации аватара.Контроль скорости анимации: Пользователь имеет возможность контролировать скорость анимации аватара, что позволяет адаптировать коммуникацию к индивидуальным потребностям и предпочтениям.Пауза во время показа жестов: Также предусмотрена функция постановки на паузу во время показа жестов. Это позволяет пользователям более удобно контролировать процесс взаимодействия с аватаром.Очистка текста: Пользователь может очищать текстовое поле, отображающее распознанный текст, для подготовки к новому вводу или начала новой коммуникации.Результаты разработки и реализации аватарных технологий предоставляют глухим пользователям эффективный и удобный инструмент для коммуникации и взаимодействия с окружающим миром.Рис. 5. Результат разработки аватарных технологий для глухих.ЗАКЛЮЧЕНИЕ.В рамках работы была разработана и реализована система аватарных технологий для глухих, предназначенная для улучшения коммуникации и обмена информацией с окружающим миром. Эта система представляет собой инновационный подход к визуализации речи и текста, позволяя пользователям взаимодействовать с аватаром, который анимирует слова, фразы и предложения с использованием жестов русской дактильной азбуки.В ходе работы была проведена аналитика существующих технологий и методов коммуникации для глухих, а также разработаны и интегрированы алгоритмы распознавания речи и библиотека анимаций для создания динамических анимаций слов и фраз. Созданный пользовательский интерфейс обеспечивает удобное управление системой, включая возможность изменения скорости анимации, паузу и очистку текста.Результаты работы демонстрируют эффективность и перспективность применения аватарных технологий для глухих в повседневной жизни, облегчая процесс коммуникации и улучшая доступность информации. Дальнейшее развитие системы позволит расширить ее функциональные возможности и повысить удобство использования, открывая новые возможности для социальной интеграции глухих людей.
Номер журнала Вестник науки №5 (74) том 2
Ссылка для цитирования:
Бородатый В.В. АВАТАРНАЯ СИСТЕМА: ВИЗУАЛИЗАЦИЯ РЕЧИ ДЛЯ ГЛУХИХ ПОЛЬЗОВАТЕЛЕЙ // Вестник науки №5 (74) том 2. С. 654 - 662. 2024 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/14427 (дата обращения: 09.12.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2024. 16+