Дудченко Д. В.
ПРИМЕНЕНИЕ МОДЕЛИ ГРАДИЕНТНОГО БУСТИНГА В ЗАДАЧАХ РЕГРЕССИИ *
Аннотация:
в работе рассмотрена модель градиентного бустинга Catboost. Представлен корреляционный и регрессионный анализ. Рассмотрена устойчивость и корреляция.
Ключевые слова:
машинное обучение, градиентный бустинг, технологии
Технология градиентного бустинага подходит для решения различных задач машинного обучения. К задачам градиентного бустинга относят регрессию, классификацию, мультиклассификацию и т.д. К задачам регрессии можно отнести задачу прогнозирования стоимости недвижимости. В качестве примера будет рассмотрена технология градиентного бустинга от компании Яндекс - Сatboost. Данная технология является open source software, то есть программным обеспечением со свободным доступом. Она была опубликована в 2018 и продолжает непрерывно развиваться. [2]В основе библиотеки применяется градиентный бустинг на основе деревьев решений. В основе дерева решений находится какой-то числовой фактор, который сравнивается со значением, после чего выполняется переход к другой вершине, в зависимости от результата сравнения, пока не будет достигнут один из листов с наиболее близким значением.Градиентный бустинг строит ансамбль деревьев (рисунок 1), чаще всего количество таких деревьев достигает десятков тысяч деревьев. По итогу модель способна находить сложные закономерности в данных.Рисунок 1 - Градиентный бустинг Для решения задачи определения стоимости недвижимости наилучшим образом подходит регрессия. Для этого необходимы данные с соответствующими метками, и задача градиентного бустинга заключатся в приближении этих меток, в итоге которой получается результирующая формула, которую уже можно использовать для решения своей задачи. [1]В заключении проектирования модели машинного обучения можно построить полную матрицу корреляции подготовленных данных (рисунок 2). Под матрицей корреляции понимается таблица квадратной формы, строки и столбцы являются заголовками анализируемых данных, которые в свою очередь представляют собой коэффициенты корреляции для соответствующей пары признаков. Под мультиколлинеарностью понимают сильную линейную зависимость между объясняющими переменными регрессионной модели.Наличие мультиколлинеарности негативно влияет на точность исследуемой модели. Так, например, для линейных моделей она может приводить к неустойчивости коэффициентов.Рисунок 2 - Полная матрица корреляции данных Делая выводы из представленной выше матрицы, следует, что в данных присутствует сильная мультиколлинеарность. В свою очередь, это свидетельствует о том, что лучше использовать более сложные модели в дальнейшем обучении для получения более точного результата определения стоимости недвижимости.
Номер журнала Вестник науки №6 (75) том 3
Ссылка для цитирования:
Дудченко Д. В. ПРИМЕНЕНИЕ МОДЕЛИ ГРАДИЕНТНОГО БУСТИНГА В ЗАДАЧАХ РЕГРЕССИИ // Вестник науки №6 (75) том 3. С. 1344 - 1347. 2024 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/16067 (дата обращения: 11.12.2025 г.)
Вестник науки © 2024. 16+