Аверкин А.К., Рабинович А.Е.
АНАЛИЗ ВИДЕОРЯДА БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ СРЕДСТВ С ЦЕЛЬЮ ВОССТАНОВЛЕНИЯ ПОТЕРЬ В ВИДЕОПОТОКЕ *
Аннотация:
в работе представлен метод восстановления видеопотоков с беспилотных летательных аппаратов (БПЛА), направленный на устранение потерь данных, вызванных шумами, артефактами сжатия и пропусками кадров. Основой разработки стала комбинация сверточных нейронных сетей (CNN) и методов оптического потока, интегрированных в единую архитектуру. Для обучения модели сформирован датасет из 1,2 млн изображений, синтетически искаженных гауссовым шумом, артефактами «соль и перец», размытием и пропусками кадров. Результаты демонстрируют повышение качества восстановления: PSNR до 32.1 дБ, SSIM до 0.89, MSE до 0.004. Разработанная система позволяет снизить влияние помех на видеопоток в реальном времени, что актуально для задач мониторинга, доставки и военных операций. Практическая значимость подтверждена тестированием с минимизацией задержки для восстановления видеопотока.
Ключевые слова:
беспилотные летательные средства, восстановление видеопотока, компьютерное зрение, сверточные нейронные сети, интерполяция кадров, машинное обучение, анализ видеоданных
Введение.Беспилотные летательные аппараты (БПЛА) утвердились как ключевой инструмент в разведке, мониторинге воздушного пространства, автономной логистике, агроскаутинге, пожаротушении и военных операциях [1]. Устойчивый рост инвестиций в отрасль (рис. 1) отражает стратегическую значимость технологий БПЛА: доля венчурного капитала и первичных размещений акций (IPO/PIPO) достигает пика в 2021 г., что коррелирует с расширением спектра задач, требующих высококачественного видеопотока.Рисунок 1. Инвестиции в развитие рынка БАС в 2011–2021 гг., млн долларов.Однако при радиопередаче в диапазонах 2,4–5 ГГц фиксируются потери кадров до 25 % и возникновение артефактов сжатия H.264/H.265, что критически снижает надёжность ситуационного анализа [2].Существующие методы восстановления, такие как интерполяция кадров [3] и фильтрация шумов [4], обладают ограниченной адаптивностью к динамическим сценам и не учитывают временную согласованность видеопотока. Нейросетевые подходы, включая GAN, требуют значительных вычислительных ресурсов, что затрудняет их применение на борту БПЛА.Целью данной работы является разработка системы восстановления видеопотока, сочетающей эффективность CNN и устойчивость к динамическим изменениям сцены. Практическая ценность исследования заключается в повышении надежности передачи данных для критически важных ситуаций.Задачи проекта включают в себя:формирование датасета из >1 млн изображений,- разработка алгоритмов для анализа видеоряда от беспилотных летательных средств,- разработка CNN-модели с интеграцией LSTM для анализа временных зависимостей,- тестирование и оптимизация разработанных методов на различных наборах данных,- тестирование разработанных решений в симуляции беспилотного летательного средства.Начало формы.Основная часть.Работа направлена на разработку комплексной системы анализа и восстановления видеопотока, передаваемого с БПЛА, с использованием современных методов глубокого обучения. В основе лежат сверточные нейронные сети (Convolutional Neural Networks, CNNs), обладающие высокой эффективностью при анализе двумерных и трёхмерных структурированных данных, включая изображения и видеоряды.Система предусматривает два ключевых модуля. Модуль обнаружения аномалий, основанный на предварительно обученных CNN-моделях, выполняющий сегментацию и классификацию кадров на нормальные и искажённые. Модуль восстановления, реализующий пространственно-временную интерполяцию с использованием U-Net архитектуры и механизмов оптического потока для компенсации пропущенных кадров.Данная архитектура позволяет осуществлять как обработку видеопотока в реальном времени, так и оффлайн-постобработку архивных данных.Формирование обучающего датасета. Процедура подготовки данных включает:- извлечение кадров из видеофайлов при помощи библиотеки OpenCV (cv2.VideoCapture → imwrite),- предобработка, включающая изменение размеров, нормализацию пикселей к диапазону [0, 1], усиление резкости,- генерация синтетических искажений: гауссов шум, артефакты «соль и перец», случайное размытие, выпадение последовательностей кадров,- разметка аномалий вручную и полуавтоматически (аннотации в формате JSON, CSV),- сохранение в формате HDF5/NumPy для эффективной загрузки в процессе обучения.Разработка алгоритма анализа видеопотока основана на использовании CNN-архитектур для выделения аномалий, вызванных такими факторами, как компрессионные артефакты, деградация сигнала из-за потерь в канале, резкие изменения освещённости и динамики сцены.Для детектирования указанных искажений применяется классификация фреймов в реальном времени с последующим выделением областей отклонения при помощи карты признаков последнего сверточного слоя. При этом производится сохранение только аномальных фрагментов, что оптимизирует использование памяти.Рисунок 2. Пример аномалии в видеопотоке.В случае обнаружения аномалий активируется модуль восстановления, включающий пространственную фильтрацию. медианный и гауссов фильтры (cv2.GaussianBlur, cv2.medianBlur) для удаления импульсных и равномерных шумов, оценку движения, экстракция оптического потока (PWC-Net) для компенсации движения камеры и объектов, интерполяция кадров, использование временного контекста с помощью ConvLSTM для генерации промежуточных фреймов и контроль целостности, сравнение SSIM между восстановленным и соседними реальными кадрами.Инструменты и программная реализация.Обработка видео. OpenCV, imageio, ffmpeg.Массивы и операции. NumPy, HDF5.Глубокое обучение. PyTorch (основная библиотека), TensorFlow, Keras (для прототипирования).Потоковая интеграция. Flask, Flask-SocketIO – взаимодействие веб-интерфейса с моделью, в том числе приём и отображение видеопотока в реальном времени.Результаты проекта.Разработанная система демонстрирует высокую эффективность в восстановлении видеопотоков с БПЛА, превосходя существующие аналоги по ключевым метрикам. Эксперименты подтвердили повышение ключевых метрик и устойчивость к сложным типам потерь. Технология обладает прикладной значимостью для воздушного мониторинга и спасательных операций и позволит повысить надежность автономных систем в условиях нестабильных каналов связи.Таблица 1. Сравнительный анализ качества восстановления видеопотока.Сравнительный анализ качества восстановления видеопотока, выполненный по трем основным метрикам: PSNR, SSIM и MSE, а также по скорости обработки одного кадра (в мс). В таблице приведены результаты для четырёх методов. Bicubic-interp – базовая билинейная интерполяция кадров.Flow-based – аналог из литературы с использованием оптического потока. Предлагаемый метод – разработанная в статье модель CNN + оптический поток. Предлагаемый (TensorRT) – оптимизированная версия модели с использованием TensorRT для ускоренного вывода на встраиваемых устройствах.Предложенный метод превосходит аналоги по точности восстановления (на 15% выше PSNR, ниже MSE) при приемлемой скорости обработки, особенно после оптимизации.Рисунок 3. Пример автоматического обнаружения артефактовв видеопотоке.Перспективы проекта.Проект имеет ряд перспективных направлений развития. В первую очередь расширение на мультиспектральные видеоданные (RGB+NIR), что позволит применять систему в сельском хозяйстве и экологическом мониторинге. Второе направление — внедрение трёхмерных архитектур (3D Attention, Transformers) для повышения устойчивости к динамике сцены и движениям камеры. Третье — оптимизация моделей для встраиваемых систем (Jetson, FPGA), что обеспечит восстановление видеопотока в режиме реального времени на борту БПЛА. Также перспективным является переход к самообучающимся моделям без необходимости ручной разметки. Эти улучшения расширят область применения технологии в автономных системах, медицине и видеонаблюдении.
Номер журнала Вестник науки №5 (86) том 4
Ссылка для цитирования:
Аверкин А.К., Рабинович А.Е. АНАЛИЗ ВИДЕОРЯДА БЕСПИЛОТНЫХ ЛЕТАТЕЛЬНЫХ СРЕДСТВ С ЦЕЛЬЮ ВОССТАНОВЛЕНИЯ ПОТЕРЬ В ВИДЕОПОТОКЕ // Вестник науки №5 (86) том 4. С. 1302 - 1309. 2025 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/23431 (дата обращения: 09.07.2025 г.)
Вестник науки © 2025. 16+