Научный журнал «Вестник науки»

Режим работы с 09:00 по 23:00

zhurnal@vestnik-nauki.com

Информационное письмо
  1. Главная
  2. Архив
  3. Вестник науки от 2 августа 2026 г.
  4. Научная статья № 32
Просмотры  14 просмотров

ПРИМЕНЕНИЕ ВЕКТОРНЫХ БАЗ ДАННЫХ ДЛЯ СЕМАНТИЧЕСКОГО ПОИСКА ПО ТЕКСТОВЫМ ДОКУМЕНТАМ

Аннотация: в статье исследуется применение векторных баз данных для семантического поиска по текстовым документам. Проведён сравнительный анализ моделей эмбеддингов и векторных систем управления базами данных (pgvector, Qdrant, Milvus), предложена архитектура гибридного поиска, сочетающего векторный и ключевой подходы. Экспериментально показано, что векторный поиск обеспечивает точность более 90%, значительно превосходя традиционные методы, основанные на совпадении ключевых слов.

Ключевые слова: семантический поиск, векторная база данных, текстовый эмбеддинг, поиск ближайших соседей, гибридный поиск, ранжирование релевантности, информационно-поисковая система, векторная СУБД, интеллектуальный анализ данных.

Современные информационные системы сталкиваются с задачей эффективного поиска по большим массивам неструктурированных текстов. Традиционные полнотекстовые поисковые движки, такие как инвертированные индексы и алгоритм BM25, демонстрируют высокую скорость, однако их точность сильно зависит от точного совпадения лексем. Пользовательский запрос часто содержит синонимы, перефразировки или описывает суть проблемы иначе, чем она изложена в документе, в результате чего релевантные материалы могут остаться незамеченными. Альтернативой выступает семантический поиск, который оперирует не словами, а их смысловыми векторами - эмбеддингами.

Тексты, близкие по смыслу, оказываются рядом в многомерном векторном пространстве, даже если у них нет общих ключевых слов. Благодаря прогрессу в области глубокого обучения и появлению специализированных векторных СУБД, семантический поиск становится доступным для практического применения в научных, корпоративных и веб-репозиториях. Цель данной работы - исследовать возможности векторных баз данных для организации семантического поиска по текстовым документам и предложить архитектуру гибридной поисковой системы, сочетающей преимущества векторного и ключевого подходов. Для достижения цели были поставлены следующие задачи: анализ современных моделей эмбеддингов текста, сравнительный обзор векторных СУБД по критериям производительности, масштабируемости и удобства интеграции, разработка архитектуры системы, включающей индексацию документов, хранение векторов и поиск, экспериментальная оценка качества поиска (точность, полнота) и времени отклика на реальном наборе данных, а также обсуждение вопросов безопасности и защиты данных при использовании векторных представлений.

Ключевым понятием семантического поиска является эмбеддинг - плотный вектор фиксированной размерности, получаемый в результате преобразования текста через нейросетевую модель-энкодер. В отличие от разреженных bag-of-words представлений, эмбеддинги кодируют семантическую информацию: близкие по смыслу тексты имеют близкие векторы, и косинусное расстояние между ними стремится к единице. Среди современных моделей выделяются Sentence-BERT (Reimers & Gurevych, 2019), адаптированная для получения осмысленных предложенческих эмбеддингов и хорошо зарекомендовавшая себя в задачах кластеризации и поиска, мультиязычная BGE-M3 (BAAI, 2024), поддерживающая более 100 языков, и LLM2Vec (BehnamGhader et al., 2024), использующая большие языковые модели для создания эмбеддингов и показывающая преимущества на сложных семантических задачах. Выбор модели определяет качество поиска и вычислительные затраты, в экспериментальной части данной работы используется Sentence-BERT как компромисс между точностью и скоростью [1].

При поиске вектор запроса сравнивается со всеми векторами документов в базе. Для корпусов размером более нескольких тысяч документов полный перебор (O(N)) становится неприемлемым, поэтому на практике применяются алгоритмы приближённого поиска ближайших соседей (ANN), которые обеспечивают субсекундное время отклика с незначительной потерей точности. Наиболее популярен алгоритм HNSW (Hierarchical Navigable Small World) - многослойная графовая структура, позволяющая эффективно выполнять поиск, масштабируясь до миллионов векторов, альтернативами являются IVF (Inverted File Index) и PQ (Product Quantization), часто используемые в комбинации. Отдельного внимания заслуживает гибридный поиск, объединяющий результаты векторного и ключевого поиска через взвешенное ранжирование.

Это позволяет, с одной стороны, находить документы по точному совпадению редких терминов (например, названий продуктов, кодов), а с другой - одновременно находить семантически близкие документы по смыслу запроса. Схема ранжирования имеет вид: Итоговая релевантность = ?⋅scoreвектор+1−?⋅scoreключ. где α - коэффициент, настраиваемый под предметную область. На рынке представлены как специализированные векторные БД, так и расширения для реляционных систем. В таблице 1 приведено сравнение основных решений.

Таблица 1. Сравнительная характеристика векторных СУБД. Для исследовательских задач и production-систем со средней нагрузкой оптимальным выбором является pgvector, так как он позволяет использовать существующую инфраструктуру PostgreSQL и знакомый SQL-синтаксис. Для высоконагруженных систем с миллионами векторов предпочтительнее Qdrant или Milvus [2].

Разработанная в рамках данной работы система состоит из четырёх модулей (рис. 1). Модуль индексации принимает исходные документы, очищает текст (удаление шума, стоп-слов, лемматизация), передаёт в модель Sentence-BERT для получения вектора размерности 384. Вектор вместе с метаданными (название, автор, дата, категория) сохраняется в таблицу documents базы данных. Модуль хранения представляет собой PostgreSQL с расширением pgvector, таблица documents содержит колонку embedding vector(384) с индексом HNSW для ускорения поиска.

Модуль поиска принимает пользовательский запрос, преобразует его в вектор через ту же модель, после чего выполняет два запроса параллельно: векторный поиск (ближайшие соседи по косинусному расстоянию) и полнотекстовый поиск (с использованием GIN-индекса по полю tsvector). Результаты объединяются в модуле ранжирования, который вычисляет итоговый релевантности по формуле, приведённой выше, и возвращает топ-K результатов. Рис. 1. Архитектура системы семантического поиска.Для экспериментальной оценки использовался открытый датасет arXiv (выборка из 10 000 статей по физике, математике и компьютерным наукам).

Для каждого документа доступны заголовок, аннотация, список авторов и категории, поиск выполнялся по полному тексту заголовка и аннотации. Модель эмбеддингов - sentence-transformers/all-MiniLM-L6-v2 (размерность 384), векторная СУБД - PostgreSQL 16 + pgvector 0.7, полнотекстовый движок - встроенный в PostgreSQL с GIN-индексом. Реализация выполнена на Python 3.11 с использованием библиотек psycopg2, sentence-transformers, pandas. Для 100 тестовых запросов, сформированных экспертами, вручную размечалась релевантность каждого документа из топ-20.

Использовались стандартные метрики: Precision@K (доля релевантных документов среди первых K), Recall@K (доля всех релевантных документов, попавших в топ-K) и MAP (средняя точность по всем запросам) [3]. Дополнительно фиксировалось среднее время выполнения запроса (в мс) для векторного, ключевого и гибридного подходов. Сравнивались три стратегии: только полнотекстовый поиск (BM25, стандартный ts_rank), только векторный поиск (косинусное расстояние) и гибридный поиск (α = 0,7 для векторов, 0,3 для BM25). Полученные результаты сведены в таблицу 2.

Таблица 2. Сравнение качества поиска. Векторный поиск показал значительное превосходство над полнотекстовым по точности (более чем в 3,6 раза). Гибридный подход дал дополнительный прирост точности (+3,5%) и полноты (+5,8%) за счёт учёта ключевых терминов, которые не были покрыты семантикой.

Среднее время выполнения запроса составило: полнотекстовый - 12 мс, векторный - 85 мс (с индексом HNSW при общем объёме 10 тыс. векторов), гибридный - 140 мс (два параллельных запроса + постобработка). Векторный поиск уступает полнотекстовому по скорости, но остаётся в пределах приемлемых значений для интерактивных систем. Увеличение объёма данных до 100 тыс. векторов повышало время до ~250 мс, что также допустимо. Отдельно изучался риск восстановления исходного текста по эмбеддингу: эксперименты показали, что при наличии открытой модели-энкодера и частичного знания текста возможна атака с инверсией.

В связи с этим рекомендуется для конфиденциальных данных использовать дополнительные методы защиты, такие как случайные проекции, гомоморфное шифрование или хранение эмбеддингов в изолированном контуре. В заключение можно сделать следующие выводы. Векторные эмбеддинги позволяют добиться высокой точности поиска (Precision@10 > 90%), что существенно превосходит классический полнотекстовый поиск. Среди векторных СУБД для большинства задач оптимальны pgvector (благодаря интеграции с PostgreSQL) либо Qdrant (для высоких нагрузок).

Гибридный поиск, объединяющий векторный и ключевой подходы, даёт наилучшие показатели качества и рекомендуется для использования в production-системах. Производительность векторного поиска при использовании индекса HNSW остаётся приемлемой для объёмов до 100 тыс. документов. При работе с чувствительными данными необходимо применять дополнительные меры защиты, так как эмбеддинги потенциально обратимы. Разработанная архитектура может быть внедрена в научных библиотеках, корпоративных базах знаний и системах поддержки принятия решений.

Перспективы дальнейших исследований включают адаптацию моделей под узкоспециализированные предметные области, использование мультивекторных индексов и квантования для ускорения, а также разработку методов дифференциальной приватности для векторных хранилищ.


Полная версия статьи PDF

Номер журнала «Вестник науки» № 8 (101) том 1


Ссылка для цитирования:

Медведев М.А. ПРИМЕНЕНИЕ ВЕКТОРНЫХ БАЗ ДАННЫХ ДЛЯ СЕМАНТИЧЕСКОГО ПОИСКА ПО ТЕКСТОВЫМ ДОКУМЕНТАМ // Журнал «Вестник науки» от 2 августа 2026 г. № 8 (101) том 1. С. 304 - 312. 2026 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/32660 (дата обращения: 11.11.2026 г.)


Альтернативная ссылка латинскими символами: vestnik-nauki.com/article/32660



Нашли грубую ошибку (плагиат, фальсифицированные данные или иные нарушения научно-издательской этики) ?
- напишите письмо в редакцию журнала: zhurnal@vestnik-nauki.com


Вестник науки © 2026.    16+




* В выпусках журнала могут упоминаться организации (Meta, Facebook, Instagram) в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25 июля 2002 года № 114-ФЗ «О противодействии экстремистской деятельности» (далее - Федеральный закон «О противодействии экстремистской деятельности»), или об организации, включенной в опубликованный единый федеральный список организаций, в том числе иностранных и международных организаций, признанных в соответствии с законодательством Российской Федерации террористическими, без указания на то, что соответствующее общественное объединение или иная организация ликвидированы или их деятельность запрещена.