СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ L-BFGS И СОПРЯЖЁННЫХ ГРАДИЕНТОВ В ЗАДАЧАХ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ
Аннотация: актуальность исследования обусловлена широким применением методов безусловной оптимизации в задачах обучения моделей и инженерных расчётов, где выбор алгоритма напрямую влияет на скорость сходимости и вычислительные затраты. Целью работы является сравнительный анализ метода L-BFGS и методов сопряжённых градиентов Флетчера — Ривса и Полака — Рибьера. В исследовании использованы методы программной реализации алгоритмов на языке Python с графическим интерфейсом Tkinter и вычислительный эксперимент на стандартных тестовых функциях. Установлено, что L-BFGS демонстрирует более быструю сходимость на плохо обусловленных функциях за счёт накопления информации о кривизне, тогда как методы сопряжённых градиентов требуют меньшего объёма памяти на итерацию. Результаты могут быть использованы при выборе метода оптимизации для задач с ограничениями по памяти или по числу итераций.
Ключевые слова: безусловная оптимизация, алгоритм L-BFGS, сопряжённый градиентный метод, формула Флетчера — Ривса, формула Полака — Рибьера, сходимость алгоритма, язык Python.
Введение. Задача безусловной минимизации гладкой функции многих переменных лежит в основе широкого круга прикладных задач — от обучения моделей машинного обучения до решения инженерных задач наименьших квадратов и калибровки параметров физических моделей [4, с. 10]. Классический метод Ньютона, использующий точную матрицу вторых производных, обеспечивает быструю сходимость вблизи минимума, однако вычисление и хранение полного Гессиана становится непрактичным уже при нескольких сотнях переменных. Наиболее распространёнными альтернативами являются квазиньютоновские методы, в частности L-BFGS [3], и методы сопряжённых градиентов [1, 2, 5].
Оба семейства методов не требуют явного вычисления и хранения матрицы Гессе, что делает их пригодными для задач большой размерности, однако различаются по объёму используемой памяти, скорости сходимости и чувствительности к плохой обусловленности целевой функции. Целью данной работы является практическое сравнение метода L-BFGS с методами сопряжённых градиентов Флетчера — Ривса (CG-FR) [1] и Полака — Рибьера (CG-PR) [5] на наборе стандартных тестовых функций с различной степенью обусловленности. Методы и исследования. Для проведения исследования было разработано приложение на языке Python с графическим интерфейсом на Tkinter, реализующее три алгоритма оптимизации: L-BFGS [3], CG-FR [1] и CG-PR [5], с визуализацией траектории спуска на плоскости уровней целевой функции и графика убывания значения функции по итерациям в отдельном окне.
В качестве метода исследования использовался вычислительный эксперимент на стандартных тестовых функциях с различной степенью обусловленности, включая квадратичную функцию с вытянутыми линиями уровня и функцию Розенброка с узким изогнутым оврагом, для одинаковых начальных приближений и единого критерия остановки по норме градиента [4]. Линейный поиск шага во всех трёх методах выполнялся по условиям Вольфе для сопоставимости результатов между алгоритмами. Для каждого метода фиксировались число итераций до сходимости, количество вычислений функции и градиента, а также визуально отслеживалась траектория приближения к точке минимума и характер поведения на плохо обусловленных участках. Результаты.
На плохо обусловленных функциях, таких как функция Розенброка, метод L-BFGS сходился за существенно меньшее число итераций по сравнению с CG-FR и CG-PR благодаря накоплению приближённой информации о кривизне поверхности на основе истории последних пар векторов «изменение координаты — изменение градиента» [3]. Траектория L-BFGS заметно быстрее выходила на дно изогнутого оврага целевой функции, тогда как траектории методов сопряжённых градиентов демонстрировали более выраженные колебания в узкой части оврага [1, 2]. Метод CG-PR в большинстве тестов показывал более устойчивую сходимость, чем CG-FR, за счёт формулы обновления направления, учитывающей изменение градиента между итерациями [5], что снижало риск зацикливания на плохо обусловленных участках. При этом методы сопряжённых градиентов требовали хранения существенно меньшего объёма данных на каждой итерации, поскольку не накапливают историю пар векторов, как это делает L-BFGS, ограничиваясь текущим и предыдущим направлением спуска [2].
В ходе работы также были устранены ошибки сходимости и отображения траектории, связанные с некорректным пересчётом шага линейного поиска при переходе между итерациями, что первоначально приводило к расхождению визуализации с фактической последовательностью точек, вычисляемой алгоритмом. Заключение. Проведённое сравнение показало, что L-BFGS предпочтителен для задач с плохо обусловленной целевой функцией и умеренной размерностью, где доступна память для хранения истории итераций, тогда как методы сопряжённых градиентов, особенно CG-PR, целесообразно применять при жёстких ограничениях по памяти или в задачах очень высокой размерности [3, 4]. Разработанное приложение с визуализацией траекторий может использоваться как учебный инструмент для демонстрации особенностей поведения методов оптимизации на модельных функциях.
Направлением дальнейшей работы является добавление в сравнение метода Ньютона с ограниченной памятью и стохастических вариантов рассмотренных методов, применяемых при обучении нейронных сетей на больших наборах данных.
Полная версия статьи PDF
Номер журнала «Вестник науки» № 9 (102) том 2
Ссылка для цитирования:
СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДОВ L-BFGS И СОПРЯЖЁННЫХ ГРАДИЕНТОВ В ЗАДАЧАХ БЕЗУСЛОВНОЙ ОПТИМИЗАЦИИ // Журнал «Вестник науки» от 13 сентября 2026 г. № 9 (102) том 2. С. 568 - 572. 2026 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/33023 (дата обращения: 14.11.2026 г.)
Альтернативная ссылка латинскими символами: vestnik-nauki.com/article/33023
Нашли грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики) ?
- напишите письмо в редакцию журнала: zhurnal@vestnik-nauki.com
