Научный журнал «Вестник науки»

Режим работы с 09:00 по 23:00

zhurnal@vestnik-nauki.com

Информационное письмо
  1. Главная
  2. Архив
  3. Вестник науки от 20 сентября 2026 г.
  4. Научная статья № 44
Просмотры  25 просмотров

ПРИНЦИПЫ ПРОЕКТИРОВАНИЯ ПРЕДМЕТНО-ОРИЕНТИРОВАННЫХ ЯЗЫКОВ (DSL) НА ОСНОВЕ PYTHON ДЛЯ ОРКЕСТРАЦИИ КОРПОРАТИВНЫХ ETL-ПРОЦЕССОВ

Аннотация: в статье рассматриваются принципы проектирования предметно-ориентированного языка на основе Python для оркестрации корпоративных ETL-процессов. Проанализированы подходы к представлению рабочих процессов в Apache Airflow, Prefect и Dagster, особенности построения зависимостей между задачами и разделения описания процесса и его выполнения. Рассмотрена архитектура DSL и возможности реализации внутреннего предметно-ориентированного языка средствами Python с использованием функций, декораторов, классов данных, аннотаций типов и средств анализа программных объектов. Определены основные направления экспериментальной оценки предлагаемого подхода на основе показателей загрузки и выполнения рабочих процессов.

Ключевые слова: предметно-ориентированный язык, язык Python, ETL-процесс, оркестрация рабочих процессов, корпоративная информационная система, платформа Apache Airflow, ориентированный ациклический граф, обработка данных, автоматизация процессов.

https://doi.org/10.68367/33089

Актуальность исследования. Актуальность исследования обусловлена необходимостью повышения управляемости и сопровождаемости корпоративных ETL-процессов, включающих извлечение, преобразование и загрузку данных. На практике такие процессы состоят из множества взаимосвязанных задач, для которых требуется задавать порядок выполнения, зависимости, расписание, обработку ошибок и контроль состояния. Python широко применяется для разработки и оркестрации потоков обработки данных благодаря выразительности языка и наличию развитых программных средств.

Однако использование языка общего назначения не всегда обеспечивает достаточную наглядность при описании сложных ETL-процессов. Одним из способов решения этой задачи является применение предметно-ориентированных языков, конструкции которых соответствуют понятиям конкретной области и позволяют сделать описание процессов более понятным и структурированным. В связи с этим актуальной является разработка принципов проектирования DSL на основе Python, позволяющих формализовать структуру корпоративных ETL-процессов, упростить описание зависимостей между задачами и отделить логику обработки данных от механизмов их выполнения. Исследование таких принципов имеет значение для создания более удобных, расширяемых и сопровождаемых средств оркестрации данных.

Цель исследования. Цель исследования заключается в определении и обосновании принципов проектирования предметно-ориентированного языка на основе Python для описания и оркестрации корпоративных ETL-процессов, а также в рассмотрении архитектурных и программных средств его реализации. Материалы и методы исследования. Материалами исследования послужили архитектурные решения и программные механизмы, применяемые в системах оркестрации Apache Airflow, Prefect и Dagster, а также стандартные средства языка Python, используемые для построения внутреннего DSL.

В работе применялись методы сравнительного анализа, структурно-функционального анализа, обобщения и систематизации. Для оценки предлагаемого подхода определены показатели времени загрузки и выполнения рабочих процессов, продолжительности выполнения отдельных задач, а также количества успешных и неуспешных запусков. Результаты исследования. Для задач оркестрации ETL-процессов особый интерес представляют внутренние предметно-ориентированные языки.

В отличие от внешнего DSL, имеющего собственный синтаксис и отдельный механизм разбора, внутренний DSL создается средствами языка общего назначения и использует его синтаксические конструкции. В этом случае Python выступает как основной язык, внутри которого формируется специализированный программный интерфейс для описания процесса обработки данных. Такой подход позволяет использовать существующие средства разработки, тестирования и управления исходным кодом без создания отдельного компилятора или интерпретатора [3]. В современных средствах оркестрации применяются разные способы представления процесса.

Apache Airflow использует ориентированный ациклический граф, в котором задачи связаны зависимостями, определяющими очередность их выполнения. При этом исходное Python-описание проходит отдельную стадию обработки: процессор DAG разбирает файлы и сохраняет сериализованное представление графа в базе метаданных. Следовательно, программное описание процесса и его представление, используемое системой оркестрации, фактически образуют два разных уровня [1]. Prefect использует иной подход: структура рабочего процесса может формироваться непосредственно во время исполнения.

Документация системы предусматривает создание новых задач и ветвей в зависимости от фактических данных и условий выполнения. Кроме того, исполнение описывается через систему состояний, среди которых предусмотрены Scheduled, Pending, Running, Paused, Cancelled и Completed. Тип состояния используется системой при принятии решений об оркестрации [5]. Dagster ориентирован не только на отдельные вычислительные задачи, но и на создаваемые или обновляемые информационные объекты.

Зависимости между такими объектами образуют граф происхождения данных. В официальной документации рассматриваются различные способы моделирования ETL-процессов с разной степенью детализации отдельных этапов. Разделение этапов на самостоятельные объекты обеспечивает возможность их независимого повторного выполнения и отдельного контроля, однако увеличивает число элементов и связей, которыми необходимо управлять [2]. В таблице 1 представлены основные решения, которые необходимо определить при проектировании Python-DSL.

Таблица 1. Основные решения, которые необходимо определить при проектировании Python-DSL. Принципы проектирования Python-DSL следует формировать не только с точки зрения удобства записи программного кода, но прежде всего на уровне семантики исполнения. Основными вопросами становятся выбор базовой сущности языка, момент построения структуры процесса, правила преобразования Python-описания во внутреннее представление и необходимая степень детализации операций.

Эти решения определяют, насколько однозначно DSL сможет описывать ETL-процесс и передавать его системе оркестрации. Архитектуру DSL для оркестрации ETL-процессов целесообразно рассматривать отдельно от среды выполнения. В Apache Airflow 3 архитектура включает несколько компонентов с различными функциями. Планировщик отвечает за запуск рабочих процессов по расписанию и передачу задач исполнителю, DAG Processor разбирает файлы DAG и сериализует их в базе метаданных, API Server предоставляет программный интерфейс и пользовательский интерфейс, база метаданных хранит состояния задач, DAG и переменных.

Рабочие процессы могут выполняться локально или в распределенной среде. Компоненты Apache Airflow, значимые для архитектуры DSL, представлены в таблице 2. Таблица 2. Компоненты Apache Airflow, значимые для архитектуры DSL.

Источник: разработка автора на основе [1]. На рисунке 1 представлена архитектура Apache Airflow 3, в которой взаимодействие задач и рабочих процессов с базой метаданных осуществляется через API Server. Показаны основные компоненты системы, включая DAG Processor, Triggerer, Worker, API Server и базу метаданных, а также направление взаимодействия между ними. Рис. 1.

Архитектура Apache Airflow 3 [9]. Отдельным элементом архитектуры является передача небольших значений между задачами. В Apache Airflow для этой цели предусмотрен XCom. Он поддерживает сериализуемые значения, однако официальная документация прямо указывает, что XCom предназначен для небольших объемов данных и не должен использоваться для передачи крупных объектов, например таблиц данных [10].

Прототип предметно-ориентированного языка для описания ETL-процессов может быть реализован как внутренний DSL, использующий стандартный синтаксис и программные механизмы Python. Такой подход позволяет отказаться от разработки отдельного синтаксического анализатора и использовать существующую инфраструктуру языка: функции, классы, декораторы, аннотации типов и средства анализа программных объектов. Для обозначения отдельных операций обработки данных могут применяться декораторы. Подобный механизм используется в Apache Airflow TaskFlow API, где обычная Python-функция после применения декоратора @task становится задачей рабочего процесса.

Декоратор @dag, в свою очередь, используется для формирования описания всего процесса. Благодаря этому программный код сохраняет привычную структуру Python, но одновременно получает предметное значение, связанное с оркестрацией [7]. В прототипе каждая операция ETL может быть представлена функцией с явно заданными входными параметрами и возвращаемым результатом. Последовательное использование результатов отдельных функций позволяет устанавливать зависимости между этапами обработки данных.

Такой способ делает связи между операциями частью программного описания процесса и уменьшает необходимость отдельно задавать их в конфигурационных файлах. Для представления параметров и структурированных объектов могут использоваться классы данных Python. Модуль dataclasses позволяет описывать набор полей объекта и автоматически формировать стандартные методы класса. Это удобно при передаче параметров между отдельными компонентами DSL и при хранении настроек операций.

Дополнительную информацию о функциях можно получать с помощью стандартного модуля inspect. В частности, функция inspect.signature() позволяет определить параметры вызываемого объекта и его аннотацию возвращаемого значения. Это дает возможность анализировать интерфейс ETL-операции программно и использовать полученные сведения при формировании внутреннего представления процесса [4]. Аннотации типов могут применяться для явного описания ожидаемых входных и выходных данных.

При этом они сами по себе не обеспечивают обязательную проверку типов во время выполнения Python-программы, поэтому при необходимости фактическая проверка должна выполняться дополнительными средствами. После обработки конструкций DSL должно формироваться внутреннее представление рабочего процесса, содержащее перечень операций, их параметры и зависимости. Такое представление может передаваться оркестратору для дальнейшего планирования и выполнения. Пользователь при этом работает с предметными конструкциями Python-DSL, а технические механизмы запуска задач остаются на стороне системы оркестрации.

Таким образом, реализация прототипа Python-DSL может основываться на стандартных возможностях Python и уже применяемых в системах оркестрации подходах. Основными элементами прототипа выступают функции как единицы обработки данных, декораторы для придания им предметного значения, структурированные параметры, аннотации типов и механизм построения внутреннего представления ETL-процесса. Экспериментальная оценка Python-DSL должна проводиться при одинаковых условиях выполнения базового ETL-процесса и его варианта, описанного средствами DSL. Сравнивать следует время формирования и загрузки рабочего процесса, продолжительность выполнения задач и всего процесса, а также количество успешных и неуспешных запусков.

Для такой оценки в Apache Airflow могут использоваться показатели dag_processing.last_duration, task.duration, dagrun.duration.success, ti_failures и ti_successes. Они позволяют оценить время обработки DAG, продолжительность выполнения задач и результаты их запуска [6]. Визуальное сравнение продолжительности выполнения отдельных задач может выполняться средствами пользовательского интерфейса Apache Airflow. Такое представление позволяет оценивать изменение длительности задач между несколькими запусками процесса.

На рисунке 2 приведен официальный пример Task Duration, показывающий продолжительность выполнения отдельных задач в разных запусках DAG. Рис. 2. Представление продолжительности выполнения задач в интерфейсе Apache Airflow [8]. Для корректного эксперимента исходный и DSL-вариант одного ETL-процесса необходимо запускать на одинаковом оборудовании, с одинаковыми входными данными и одинаковой конфигурацией оркестратора.

Сравнению подлежат время загрузки описания процесса, продолжительность выполнения всего рабочего процесса и отдельных задач, а также количество успешных и неуспешных запусков. Такой порядок позволяет установить, создает ли дополнительный DSL-слой заметные накладные расходы при формировании и выполнении процесса. Фактические численные результаты сравнения могут быть приведены только после запуска разработанного прототипа. Без результатов такого испытания указывать конкретное сокращение времени, объема кода или числа ошибок некорректно.

Выводы. Проведенный анализ показал, что внутренний DSL на основе Python может использовать стандартные языковые механизмы для описания ETL-операций, их параметров и зависимостей без разработки отдельного синтаксиса. Существенное значение при его проектировании имеют разделение описания и выполнения процесса, формирование внутреннего представления, выбор основной сущности модели и определение степени детализации операций. Использование функций, декораторов, структурированных объектов и аннотаций типов позволяет сформировать программную основу такого языка и сохранить возможность интеграции с существующей системой оркестрации.

Окончательная оценка эффективности подхода должна основываться на результатах фактического запуска прототипа в одинаковых условиях с базовым вариантом ETL-процесса, поскольку без экспериментальных измерений количественные выводы о его преимуществах были бы необоснованными.


Полная версия статьи PDF

Номер журнала «Вестник науки» № 9 (102) том 3


Ссылка для цитирования:

Петров Д.С., Шестаков Д.О. ПРИНЦИПЫ ПРОЕКТИРОВАНИЯ ПРЕДМЕТНО-ОРИЕНТИРОВАННЫХ ЯЗЫКОВ (DSL) НА ОСНОВЕ PYTHON ДЛЯ ОРКЕСТРАЦИИ КОРПОРАТИВНЫХ ETL-ПРОЦЕССОВ // Журнал «Вестник науки» от 20 сентября 2026 г. № 9 (102) том 3. С. 401 - 412. 2026 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/33089 (дата обращения: 12.11.2026 г.)


Альтернативная ссылка латинскими символами: vestnik-nauki.com/article/33089



Нашли грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики) ?
- напишите письмо в редакцию журнала: zhurnal@vestnik-nauki.com


Вестник науки © 2026.    16+




* В выпусках журнала могут упоминаться организации (Meta, Facebook, Instagram) в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25 июля 2002 года № 114-ФЗ «О противодействии экстремистской деятельности» (далее - Федеральный закон «О противодействии экстремистской деятельности»), или об организации, включенной в опубликованный единый федеральный список организаций, в том числе иностранных и международных организаций, признанных в соответствии с законодательством Российской Федерации террористическими, без указания на то, что соответствующее общественное объединение или иная организация ликвидированы или их деятельность запрещена.