ПРИМЕНЕНИЕ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ

Голиков Н.С.

57 просмотров

Голиков Н.С.

ПРИМЕНЕНИЕ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ *

Аннотация:
в данной статье рассматривается применение локальных бинарных шаблонов (LBP) к задаче распознавания эмоций на лицах. Распознавание эмоций является важной задачей в области компьютерного зрения и анализа изображений, имеющей широкий спектр применений. Локальные бинарные шаблоны представляют собой метод, основанный на текстурных характеристиках, который позволяет описать локальные текстурные особенности в изображениях. В статье представлен обзор принципов работы метода LBP и его применение в контексте анализа эмоций. Рассмотрены основные этапы процесса распознавания эмоций, включая извлечение признаков и классификацию. Проанализированы преимущества и ограничения метода LBP в задаче распознавания эмоций

Ключевые слова:
локальные бинарные шаблоны, распознавание эмоций, компьютерное зрение, анализ изображений, признаки, классификация

УДК 004

Голиков Н.С.
магистр второго курса кафедры «Компьютерные системы и сети»
Московский государственный технический университет имени Н.Э. Баумана
(г. Москва, Россия)

ПРИМЕНЕНИЕ ЛОКАЛЬНЫХ БИНАРНЫХ

ШАБЛОНОВ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ

Аннотация: в данной статье рассматривается применение локальных бинарных шаблонов (LBP) к задаче распознавания эмоций на лицах. Распознавание эмоций является важной задачей в области компьютерного зрения и анализа изображений, имеющей широкий спектр применений. Локальные бинарные шаблоны представляют собой метод, основанный на текстурных характеристиках, который позволяет описать локальные текстурные особенности в изображениях. В статье представлен обзор принципов работы метода LBP и его применение в контексте анализа эмоций. Рассмотрены основные этапы процесса распознавания эмоций, включая извлечение признаков и классификацию. Проанализированы преимущества и ограничения метода LBP в задаче распознавания эмоций.

Ключевые слова: локальные бинарные шаблоны, распознавание эмоций, компьютерное зрение, анализ изображений, признаки, классификация.

Распознавание эмоций на лицах является важной задачей в области компьютерного зрения и анализа изображений. Это привлекает все большее внимание в сферах, таких как социальные медиа, психологические исследования, реклама и безопасность. Одним из ключевых этапов в распознавании эмоций является извлечение информативных признаков из лицевых изображений, которые могут быть использованы для классификации и определения эмоционального состояния.

В последние годы, локальные бинарные шаблоны (Local Binary Patterns, LBP) привлекли значительное внимание в области компьютерного зрения и распознавания образов благодаря их простоте и эффективности [1]. LBP представляет собой метод, основанный на текстурных характеристиках, который описывает локальные текстурные особенности в изображениях.

Целью данной работы является исследование и оценка эффективности применения локальных бинарных шаблонов (LBP) в задаче распознавания эмоций. Основная цель заключается в изучении потенциала LBP в извлечении информативных признаков из изображений, связанных с эмоциональным состоянием человека, а также в проектировании классификационной модели на основе этих признаков.

Метод LBP является популярным подходом к извлечению текстурных признаков из изображений. Он основан на анализе локальных паттернов пикселей в изображении и позволяет выявить характеристики текстур, которые могут быть полезными для задачи распознавания эмоций.

LBP-признаки извлекаются путем анализа значений пикселей и их соседей в заданной окрестности. Для каждого пикселя определяется локальный паттерн, который представляет собой бинарную последовательность, где каждый бит указывает на разницу между значением центрального пикселя и значениями его соседей. Затем эти локальные паттерны агрегируются для создания глобального дескриптора текстуры, который представляет собой гистограмму распределения локальных паттернов в изображении. Гистограмма отображает количество встречающихся локальных паттернов, что позволяет охарактеризовать текстурные свойства изображения [2]. Таким образом, LBP-признаки предоставляют компактное представление текстурной информации, которое может быть использовано для задач классификации, распознавания или анализа текстурных данных.

Алгоритм LBP включает следующие шаги [3]:

Задание размера окрестности вокруг каждого пикселя. Обычно используется окрестность размером 3x3 или 5x5 пикселей.
Для каждого пикселя в изображении:
- Выбирается значения яркости пикселей в заданной окрестности.
- Сравнивается значение центрального пикселя с каждым из его соседей.
- Если яркость соседнего пикселя больше или равна яркости центрального пикселя, записывается 1, иначе записать 0.
- Составляется бинарная последовательность из полученных значений для окрестности пикселя. Эта последовательность называется локальным бинарным шаблоном (LBP) для данного пикселя.
Строится гистограмма распределения локальных бинарных шаблонов по всем пикселям в изображении. Гистограмма представляет собой вектор, где каждый элемент соответствует количеству пикселей с определенным локальным бинарным шаблоном.
Полученную гистограмма используется в качестве дескриптора текстуры для классификации или распознавания объектов.

Вычисление шаблона LBP для пикселя представлено на рисунке 1.

Рисунок 1 – Вычисление шаблона LBP для пикселя

В контексте задачи распознавания эмоций, LBP-признаки могут быть полезными для выявления текстурных особенностей, связанных с различными эмоциональными выражениями лица. Например, определенные текстурные шаблоны могут быть характерны для улыбки, грусти или злости. Использование LBP-признаков позволяет описать эти текстурные особенности и создать компактное представление, которое можно использовать для классификации изображений по эмоциональным категориям [4].

Задача распознавания эмоций включает в себя определение эмоционального состояния человека на основе его лицевых выражений. Целью данной задачи является автоматическое классифицирование изображений лиц на соответствующие эмоциональные категории, такие как радость, грусть, злость, страх и т. д.

Процесс применения LBP к задаче распознавания эмоций включает следующие шаги [5]:

Подготовка обучающего набора: собирается набор изображений лиц, содержащий различные эмоциональные выражения. Изображения должны быть размечены соответствующими эмоциональными категориями.
Извлечение LBP-признаков: для каждого изображения из обучающего набора извлекаются LBP-признаки, используя заданную окрестность пикселей. Локальные паттерны вычисляются для каждого пикселя, а затем агрегируются в гистограмму.
Обучение классификатора: извлеченные гистограммы LBP-признаков и соответствующие им эмоциональные категории используются для обучения классификатора, такого как SVM, Random Forest или нейронная сеть. Классификатор обучается на основе этих данных, чтобы научиться распознавать эмоциональные выражения на новых изображениях.
Тестирование и оценка модели: на отдельном тестовом наборе изображений проводится оценка эффективности модели. Модель классифицирует эмоциональные выражения на новых изображениях и их результаты сравниваются с эталонными метками эмоций. Оцениваются показатели точности, полноты, F-меры и другие метрики для оценки качества модели.

В задаче распознавания эмоций, помимо метода LBP, существует несколько других методов извлечения признаков, которые также применяются для анализа лицевых выражений и классификации эмоций. Рассмотрим некоторые из них [6]:

Методы на основе геометрических признаков: Эти методы анализируют форму лица и расположение его ключевых точек, таких как глаза, нос и рот. Они используются для извлечения геометрических признаков, таких как расстояния между ключевыми точками или углы между ними.
Методы на основе статистических признаков: Эти методы извлекают статистические характеристики изображений, такие как среднее значение, дисперсия или гистограммы интенсивности пикселей. Они позволяют анализировать текстурные свойства лица, такие как гладкость или шероховатость.
Методы глубокого обучения: Эти методы основаны на использовании глубоких нейронных сетей для извлечения признаков и классификации эмоций. Глубокие нейронные сети обучаются на больших объемах данных и способны автоматически извлекать сложные характеристики изображений, что может приводить к высокой точности распознавания эмоций.

Сравнение метода LBP с другими методами извлечения признаков в задаче распознавания эмоций имеет следующие аспекты [7]:

Устойчивость к вариациям освещения: LBP основан на анализе относительных различий между значениями пикселей и их соседей, что делает его устойчивым к изменениям освещения на изображении. Это позволяет более надежно извлекать текстурные свойства лица, не зависящие от освещения.
Локальность и пространственная информация: LBP работает на уровне локальных паттернов, что позволяет учесть пространственные отношения между пикселями. Это важно при анализе лицевых выражений, так как различные регионы лица могут содержать информацию о конкретных эмоциональных признаках.
Эффективность и простота вычислений: Вычисление LBP-признаков является вычислительно эффективным и требует небольшого количества ресурсов. Это позволяет применять метод LBP в реальном времени для обработки потокового видео или быстрой классификации больших наборов изображений.
Размер обучающей выборки: Метод LBP может быть эффективным в задачах с ограниченным объемом обучающих данных. Он показывает хорошую устойчивость к переобучению и может достаточно точно классифицировать эмоции, даже при относительно небольшом размере обучающей выборки. В то же время, некоторые другие методы, требующие большие объемы данных для обучения, могут проявлять более высокую точность при наличии большего разнообразия примеров.

Метод LBP обладает рядом преимуществ, однако, в некоторых случаях, более сложные и абстрактные признаки, представленные другими методами, могут достичь более высокой точности.

Например, комбинирование LBP с методом глубокого обучения, таким как сверточные нейронные сети (CNN), является одной из перспективных направлений для улучшения точности распознавания эмоций. LBP предоставляет информацию о локальных текстурных особенностях изображений, в то время как сверточные нейронные сети могут автоматически извлекать высокоуровневые признаки и улавливать сложные зависимости между признаками. Комбинирование этих методов позволяет объединить преимущества обоих подходов [8].

Процесс комбинирования LBP с CNN может быть реализован путем включения LBP-признаков как входа в сверточную нейронную сеть. LBP-признаки могут быть предварительно извлечены из изображений и использованы вместе с исходными пиксельными значениями входных изображений. Сверточные слои и полносвязные слои в сети будут обучаться для извлечения высокоуровневых признаков и классификации изображений по эмоциональным классам.

Такая комбинация методов может обеспечить более высокую точность распознавания эмоций, поскольку LBP-признаки способны захватывать текстурные детали, в то время как сверточные нейронные сети способны изучать более абстрактные признаки и зависимости между ними [9].

Таким образом, LBP-признаки позволяют извлекать текстурные особенности из изображений и использовать их для создания гистограммы распределения локальных паттернов. Этот подход имеет свои преимущества, такие как простота вычислений, инвариантность к освещению и возможность работы с небольшими наборами данных. Сравнение метода LBP с другими методами извлечения признаков в задаче распознавания эмоций показало, что LBP обладает хорошей производительностью и способен достаточно точно распознавать эмоции на лицах. Дальнейшие исследования в данной области могут включать улучшение метода LBP путем комбинирования его с методами глубокого обучения, такими как сверточные нейронные сети. Это может привести к повышению точности и обобщающей способности модели в распознавании эмоций. Также следует учитывать и другие факторы, такие как вычислительные ресурсы, сложность обучения и доступность данных. Использование метода LBP в сочетании с методами глубокого обучения представляет собой перспективное направление исследований, которое может привести к улучшению распознавания эмоций на лицах. В целом, метод LBP является полезным инструментом для извлечения текстурных признаков в задаче распознавания эмоций, и его комбинирование с другими методами может открыть новые возможности для более точного и эффективного анализа эмоций на лицах.

СПИСОК ЛИТЕРАТУРЫ:

Дмитриева Т.Б., Шишкова О.А. Распознавание эмоций в речевых сигналах на основе нейросетевых методов // Нейрокомпьютеры: разработка, применение. - 2018. - № 6. - С. 4-8. Ху Ж., Тан Ш., Ли Х. Распознавание эмоций на основе локальных бинарных шаблонов // Информационные технологии. - 2015. - № 11. - С. 25-29.

Крылов А.А., Борисов С.В. Распознавание эмоций на изображениях с использованием локальных бинарных шаблонов // Системы и средства информатики. - 2015. - Т. 25. - № 3. - С. 38-48.

Шигин Е.В., Таранов Д.А., Лукашевич Н.В. Анализ методов распознавания эмоций на основе локальных бинарных шаблонов // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. - 2014. - Т. 214. - № 1. - С. 70-76.

Жуков И.А., Шигин Е.В. Распознавание эмоций на изображениях с использованием локальных бинарных шаблонов // Системы и средства информатики. - 2014. - Т. 24. - № 1. - С. 77-87.

Кузнецов, К.В. Обработка изображений в задачах компьютерного зрения / К.В. Кузнецов, С.В. Козлов. - М.: Физматлит, 2016. - 240 с.

Журавлев, Р.С. Обработка изображений и компьютерное зрение / Р.С. Журавлев, С.В. Козлов. - М.: Физматлит, 2017. - 272 с.

Шигин Е.В., Таранов Д.А., Лукашевич Н.В. Сравнительный анализ методов распознавания эмоций на изображениях с использованием сверточных нейронных сетей и локальных бинарных шаблонов // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. - 2017. - Т. 7. - № 258. - С. 104-113.

Полная версия статьи PDF

Номер журнала Вестник науки №5 (62) том 4

Ссылка для цитирования:

Голиков Н.С. ПРИМЕНЕНИЕ ЛОКАЛЬНЫХ БИНАРНЫХ ШАБЛОНОВ В ЗАДАЧЕ РАСПОЗНАВАНИЯ ЭМОЦИЙ // Вестник науки №5 (62) том 4. С. 1191 - 1199. 2023 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/8545 (дата обращения: 29.04.2024 г.)

Альтернативная ссылка латинскими символами: vestnik-nauki.com/article/8545

Нашли грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики) ?
- напишите письмо в редакцию журнала: zhurnal@vestnik-nauki.com

* В выпусках журнала могут упоминаться организации (Meta, Facebook, Instagram) в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25 июля 2002 года № 114-ФЗ 'О противодействии экстремистской деятельности' (далее - Федеральный закон 'О противодействии экстремистской деятельности'), или об организации, включенной в опубликованный единый федеральный список организаций, в том числе иностранных и международных организаций, признанных в соответствии с законодательством Российской Федерации террористическими, без указания на то, что соответствующее общественное объединение или иная организация ликвидированы или их деятельность запрещена.