Астапов Р.Л., Дубатов Р.С.
КЛАССИФИКАЦИЯ ТЕКСТОВ С ПОМОЩЬЮСВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ *
Аннотация:
в данной статье рассматриваются основные методы использования сверточных нейронных сетей для задачи классификации тестов
Ключевые слова:
классификация, сверточные нейронные сети, глубокое обучение
В совершенном мире большой темпе роста объема информации в интернете и поэтому необходимо в ней ориентироваться. Классификация текста необходима для решения многих задач. К примеру, многим компаниям, производящим какой-либо продукт, нужно знать мнение людей об этом продукте. Это поможет определить его достоинства и недостатки, также улучшить качество продукта. Также можно узнать, как обстоят дела у конкурентов. Выявляя положительные отзывы, компания может их использовать для дальнейшего продвижения товара. Эту задачу и решает анализ тональности текста. Также анализ текста применим в политике, с его помощью можно выявлять отношение людей к кандидатам во время предвыборной кампании, мнения людей о принятых законах или реформах и т.д. Сверточные нейронные сети хорошо зарекомендовали себя в задачах распознавания объектов и машинного зрения. Это привело к дальнейшим исследованиям способа их применения, одна из которых является задача классификации текста. Для понимания работы архитектуры спроектированной нейронной сети рассмотрим каждой слой отдельно: Сверточный слой — это слой, который представляет из себя карт признаков, у каждой карты есть своё ядро. Количество карт признаков определяется требованиями к задаче, если взять большое количество карт, то повысится точность модели, но увеличится вычислительная сложность. Ядро представляет из себя фильтр или окно, которое «скользит» по всей области предыдущей карты и находит определенные признаки. В библиотеке Keras [1] данный слой имеет название «Conv1D». Cубдискретизирующий слой — это слой, который выполняет уменьшение размерности входной карты признаков. Слой свертки уже выделил некоторые признаки, то для последующей обработки настолько подробная карта признаков уже не нужна, и она уплотняется до менее подробного. К тому же фильтрация уже ненужных деталей помогает избежать переобучения. В библиотеке Keras [1] данный слой имеет название «GlobalMaxPooling1D». Полносвязный слой — это слой, в котором каждый нейрон соединен со всеми нейронами на предыдущего слоя, и каждая связь имеет свой весовой коэффициент. В библиотеке Keras [1] данный слой имеет название «Dense». Dropout слой — способ борьбы с переобучением в нейронных сетях. Данный слой исключает определённый процент (например, 20%) случайных нейронов (находящихся как в скрытых, так и видимых слоях) на разных итерациях во время обучения нейронной сети. Такой приём значительно увеличивает скорость обучения, качество обучения на тренировочных данных, а также повышает качество предсказаний модели на новых тестовых данных. В разрабатываемой архитектуре, в основе которой лежит сверточная нейронная сеть, будут использоваться ядра разного размера, которые предназначены для параллельной обработки n-граммы текста соответственно. После обработки слоями свертки, карты признаков поступают на слои субдискретизации, которые извлекают наиболее значимые n-граммы из текста. После, происходит объединение в общий вектор признаков. Затем полученный вектор подается в скрытый полносвязный слой. На последнем шаге полученная карта признаков подается на выходной слой нейронной сети с сигмоидальной функцией активации. Число последовательно идущих сверточных слоев, размер ядер сверточного слоя и субдискретизации определяется экспериментально. Ядра размером 1, 2, 3, 4 и 5 предназначены для обработки одного слова, биграмм, триграмм, 4-грамм и 5-грамм соответственно. На рисунке 1 представлена одна из возможных архитектур сверточной нейронной сети для классификации текста [2]
Номер журнала Вестник науки №8 (29) том 1
Ссылка для цитирования:
Астапов Р.Л., Дубатов Р.С. КЛАССИФИКАЦИЯ ТЕКСТОВ С ПОМОЩЬЮСВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ // Вестник науки №8 (29) том 1. С. 53 - 56. 2020 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/3483 (дата обращения: 26.04.2024 г.)
Вестник науки СМИ ЭЛ № ФС 77 - 84401 © 2020. 16+