Ниязбеков А.М.
РАЗРАБОТКА И РЕАЛИЗАЦИЯ АЛГОРИТМА ОБРАБОТКИ ДАННЫХ ЗАБОЛЕВАНИЙ НАСЕЛЕНИЯ *
Аннотация:
в последние годы наблюдается растущая тенденция использования наблюдательных исследований, которые используют регулярно собираемые данные в сфере здравоохранения. Эти исследования полагаются на применение алгоритмов для определения конкретных состояний здоровья (например, сепсиса) для проведения статистического анализа. Однако, наблюдались существенные различия в разработке и проверке алгоритмов, что часто приводило к неоптимальной производительности и создавало значительную угрозу для понимания достоверности результатов исследования. К сожалению, эти проблемы часто упускаются из виду.Ученые систематически разрабатывали и подготавливали к проверке реализации и оценки работы алгоритмов, предназначенных для определения состояния здоровья. Их первоначальные усилия включали проведение, как описательного обзора, так и систематического обзора опубликованных исследований по концепциям и методологическим вопросам, связанным с разработкой, проверкой и оценкой действия различных алгоритмов для определения конкретных состояний здоровья.Было проведено эмпирическое исследование реализации алгоритма по выявлению у населения сепсиса. Основываясь на этих результатах, было сформулировано конкретный рабочий процесс и рекомендации по разработке, проверке и оценке деятельности алгоритма по выявлению у населения сепсиса. Ученые провели независимую проверку группой из экспертов из различных отраслей медицины, ИТ сферы, которые объявили о достижении консенсуса для окончательного утверждения реализации алгоритма по выявлению у населения сепсиса.Был установлен стандартизированный рабочий процесс для разработки, проверки и оценки реализации алгоритма по выявлению у населения сепсиса. Была проведена оценка пригодности существующего алгоритма для целевого состояния здоровья. Кроме того, было сформулировано рекомендации по реализации алгоритма по выявлению у населения сепсиса. Проведенное эмпирическое исследование реализации алгоритма по выявлению у населения сепсиса было использовано для демонстрации применения действия этого рабочего процесса, что смогло бы помочь повысить достоверность результатов проведенных исследований регулярно собираемых данных в сфере здравоохранения.
Ключевые слова:
состояние здоровья, регулярно собираемые данные, стандартизированный рабочий процесс, оценка реализации алгоритма определения заболеваний населения, статистический анализ
DOI 10.24412/2712-8849-2025-182-1050-1065
Введение. Информатизация здравоохранения является важным направлением работ, во многом определяющим функционирование учреждений и качество управления здравоохранением. Успешное решение аналитических работ связано с накоплением информации. В здравоохранении часто исследователь ставит перед собой задачу выявления причинно-следственных связей. Решение столь сложной задачи требует тщательного выявления тех информационных признаков, которые необходимо накапливать в информационных базах. Ошибки на начальной стадии оборачиваются отсутствием информации и невозможностью решения поставленной задачи.Чаще всего накопление информации по какой-либо важной проблеме осуществляется в информационных базах (регистрах) много лет. Важной особенностью мониторинга является достоверность данных, которой определяются возможности углубленного анализа и правильность управленческих решений, принятых на основе этого анализа. В связи с этим постановка задачи исследований по проблеме требует оптимизации информационной базы, что и определяет актуальность выбранной тематики.Обзор литературы. Выбранная тематика ярко отражена в трудах таких ученых, как Л. Боднар [4, с. 1392−1396], М. Кох [6, с. 179−182], А. Ханиш [5, с. 1485−1492] и Р. Хубард [3, с. 264−268]. Вышеуказанные ученые рассматривали возможность использования различных алгоритмов для выявления конкретных состояний здоровья из регулярно собираемых данных в сфере здравоохранения. Несмотря на активное рассмотрение вопросов по выбранной тематике, ученым не удалось определить самый эффективный алгоритм для выявления конкретных состояний здоровья из регулярно собираемых данных в сфере здравоохранения, что и определяет необходимость продолжения изучение вопросов по выбранной тематике в будущем.Целью исследования является изучение особенностей разработки, применения на практике и оценки эффективности действия алгоритма для анализа данных заболеваний населения. Для выполнения поставленной цели требуется выполнение следующих задач исследования:рассмотрение принципов выбора алгоритма для анализа данных заболеваний населения,определение критериев отбора из регулярно собираемых данных в сфере здравоохранения,выбор ряда оценок, необходимых для определения эффективности работы выбранного алгоритма для анализа данных заболеваний населения.Объектом исследования являются базы данных, которые используются для анализа заболеваний населения. Предметом исследования выбрано оценки эффективности действия алгоритма для анализа данных заболеваний населения. Для проведение исследования было использовано ряд методов исследования, таких как анализ данных, системный метод и сравнительный анализ мнений 5 экспертов в сфере информационных технологий (ИТ) и 20 экспертов в сфере здравоохранения для изучения особенностей разработки, применения на практике и оценки эффективности действия алгоритма для анализа данных заболеваний населения.Изложение основного материала исследования. Как правило, важно установить структуру для целевого состояния здоровья перед разработкой алгоритма. Эта структура должна охватывать условия, в которых были получены регулярно собираемые данные, медицинское определение состояния здоровья и время определения проверки состояния здоровья. Например, при разработке алгоритма для выявления сепсиса следует понимать клинические критерии для определения сепсиса, определять тип данных (например, электронные медицинские записи, данные по претензиям) и решать, идентифицируется ли сепсис для последующего мониторинга или поддержки диагностики в режиме реального времени.При поиске конкретного состояния здоровья следует сначала выяснить наличие существующего алгоритма и оценить его пригодность для целевого состояния здоровья населения. Во многих случаях алгоритмы могут быть уже разработаны, причем рассмотрение этих существующих алгоритмов может помочь исследователям определить их пригодность для целевого состояния здоровья населения. Оценка пригодности будет основываться на производительности текущего алгоритма и его соответствии целевой структуре состояния здоровья населения. Если производительность алгоритма является плохой или если настройка, сроки или медицинское определение не соответствуют целевой структуре, он может быть признан непригодным. В частности, оценка пригодности иногда может быть субъективной и зависеть от того, насколько хорошо существующие алгоритмы соответствуют требованиям исследования [8, с. 457].Если существующий алгоритм считается непригодным или если подходящих алгоритмов нет, необходимо разработать, проверить и оценить новый алгоритм на предмет его влияния на результаты. Алгоритмы могут варьироваться от простых отдельных кодов, таких как коды диагнозов до сложного машинного обучения с использованием нескольких переменных. Важно тщательно выбирать потенциальные переменные для разработки алгоритма и выбирать соответствующие методы (например, основанные на кодах, основанные на правилах алгоритмы или методы машинного обучения).При проведении проверочного исследования крайне важно тщательно учитывать методологические аспекты, такие как подход к выборке населения, определение размера выборки, выбор подходящего эталонного стандарта и применение подходящих статистических методов для оценки точности (например, чувствительность, специфичность, положительная прогностическая ценность (PPV), отрицательная прогностическая ценность (NPV). Кроме того, важно оценить потенциальный риск неправильной классификации алгоритма и выяснить, как любое результирующее смещение может повлиять на оценку эффекта, что может быть достигнуто путем исправления количественной оценки потенциального смещения неправильной классификации и путем проведения анализа чувствительности для обеспечения надежности результатов исследования [2, с. 113].Стандартизированный рабочий процесс служит основой для разработки конкретных рекомендаций, направленных на консолидацию надлежащей практики. Исследователи должны оценить наличие уже существующих алгоритмов путем тщательного изучения опубликованных статей или баз данных. Хотя эти существующие алгоритмы не всегда могут быть непосредственно применимы, получение информации о них может значительно помочь в уточнении алгоритмов для будущих исследований [13, с. 38].После разработки алгоритма важно оценить, применимы ли существующие алгоритмы к текущему исследованию. Оценка должна учитывать тип состояния здоровья (например, участники, воздействие и исход), особенности состояния здоровья (например, легкое или тяжелое или трудно диагностируемое, игнорируемое или распознаваемое) и профиль базы данных (например, как медицинские коды были зарегистрированы в системе здравоохранения) для целей идентификации или классификации. Влияние точности алгоритма на оценку эффекта может быть реализована в разных сценариях. Например, при классификации воздействия высокая чувствительность, как правило, важнее специфичности и PPV.Наоборот, высокая специфичность имеет решающее значение для классификации результатов. Более того, высокий PPV является необходимым для идентификации участников исследования, в то время как высокий NPV является важным для исключения участников, которые соответствуют критериям исключения. Оценка точности требует доступа к информации о проверке и всеобъемлющему перечню алгоритмов. При отсутствии необходимой информации оценки могут стать невыполнимыми или неточными, что побуждает исследователей разрабатывать новые алгоритмы [10, с. 23].Характеристики участников, системы кодирования, временные рамки и ресурсы данных демонстрируют заметные различия в разных источниках данных. Производительность алгоритмов, также, может демонстрировать существенные различия между источниками данных. Поэтому исследователи должны потенциально влиять на производительность алгоритма по определению конкретных состояний здоровья. Такие оценки требуют всестороннего понимания базы данных, включая согласованность систем кодирования, временных рамок и характеристик участников в разных базах данных, а также клиническую детализацию источника данных [12, с. 227].Перед разработкой алгоритмов исследователи должны тщательно рассмотреть включение определенных элементов данных (например, код диагноза, результаты лабораторных исследований, запись о назначении) в алгоритмы по определению конкретных состояний здоровья. Крайне важно установить фундаментальный набор элементов данных и оценить, были ли эти основные компоненты точно и всесторонне зафиксированы в базе данных для разработки алгоритма. Точность относится к способности элементов данных точно представлять клиническое состояние пациента, документированное в ходе рутинного ухода, в то время как полнота относится к всесторонней документации всех необходимых элементов данных в базе данных [6, с. 182].Характеристика состояния здоровья включает спектр от простоты до сложности в зависимости от количества задействованных клинических факторов и того, является ли она объективной или субъективной. Исследователям рекомендуется выбирать подходящие методологии при разработке новых алгоритмов на основе конкретной природы целевого состояния здоровья. В целом, подходы к разработке новых алгоритмов включают коды, модели на основе правил и методы машинного обучения.Для простых и объективных состояний здоровья исследователи могут рассмотреть использование кодов или моделей на основе правил, тогда как в случаях, связанных со сложными или субъективными переменными исследования, методы машинного обучения могут быть предпочтительными. Необходимо явно описывать алгоритмы, чтобы обеспечить прозрачность результатов исследования и воспроизводимость исследования. Для облегчения воспроизводимости исследования ученые должны предоставить полный список алгоритмов либо в рукописи, либо в виде приложений. Этот подробный список должен включать, среди прочего, информацию относительно критериев, используемых для определения состояния здоровья, а также кодов или элементов данных, используемых при разработке алгоритма [11, с. 249].Разработка алгоритмов требует разнообразного спектра знаний. Исследовательская группа, состоящая из экспертов из разных дисциплин, является необходимой для обеспечения научной строгости алгоритмов. Обычно это включает участие клиницистов, эпидемиологов и информаторов. Клиницисты вносят соответствующие фоновые знания, связанные с рассматриваемыми гипотезами, эпидемиологи помогают в выборе соответствующих методов для разработки алгоритмов, а информаторы предоставляют всестороннее понимание профилей базы данных. В случаях, связанных с машинным обучением, важно привлекать специалистов по искусственному интеллекту.Соответствующий метод выборки должен гарантировать, что выборка точно представлена. Если используется неподходящий метод выборки, характеристики и распространенность лиц с положительным статусом здоровья могут отличаться от характеристик в целевой выборке, что приводит к смещенным оценкам. Поэтому исследователи должны тщательно рассмотреть используемый метод выборки. Как правило, методы выборки включают в себя поперечную выборку, выборку случай-контроль и выборку на основе результатов теста. Поперечная выборка включает в себя случайный выбор исследуемой выборки из базы данных. Выборка случай-контроль подразумевает случайный выбор из данных о состоянии здоровья с положительным и отрицательным статусом здоровья на основе золотого / эталонного стандарта, в то время как выборка на основе результатов теста относится к случайному выбору из базы данных с положительным и отрицательным алгоритмом [5, с. 1490].Из-за изменений в распространенности выборки случай-контроль часто смещает оценки PPV и NPV, аналогично, выборка на основе результатов теста может смещать оценки чувствительности и специфичности. Неправильный метод выборки может привести к смещению в любом направлении. Необходимо убедится, что размер выборки − достаточно большой для достижения желаемого уровня оценки точности обработки данных.Чтобы обеспечить адекватный размер выборки, исследователи должны оценить минимальный размер выборки, необходимый для исследований по проверке, указав желаемую точность. Размер выборки можно рассчитать на основе желаемой ширины 95% доверительного интервала (ДИ). Необходимо выбрать золотой стандарт или эталонный стандарт для классификации лиц с заданным состоянием здоровья или без него.Обоснованность алгоритмов следует оценивать по золотому стандарту или эталонному стандарту. Однако, настоящий золотой стандарт редко доступен, поэтому исследования по проверке часто полагаются на эталонные стандарты для классификации состояния здоровья или воздействия на людей. Использование несовершенного эталонного стандарта может привести к смещенным оценкам точности алгоритма, что подчеркивает важность тщательного выбора эталонного стандарта на основе его доступности, точности и полноты. Например, обзор медицинской карты обычно используется в качестве эталонного стандарта. При использовании обзора медицинской карты в качестве эталонного стандарта исследователи должны учитывать, включает ли абстракция карты всю необходимую информацию, связанную с классификацией состояния здоровья или воздействия, точно ли записана информация и является ли она полной как для ретроспективного, так и для перспективного периодов относительно даты потенциального состояния здоровья или воздействия [9, с. 1720].Подобно диагностическому тесту, стандартные параметры для оценки точности включают чувствительность, специфичность, PPV и NPV. Для улучшения понимания производительности алгоритма и их надлежащего применения в дальнейших исследованиях ученые должны рассчитывать и сообщать эти показателя производительности. Кроме того, для каждого из этих показателей следует рассчитывать и сообщать 95% ДИ [4, с. 1395].При использовании выборки случай-контроль или выборки на основе результатов теста исследователи должны применять соответствующий подход для смягчения любого потенциального смещения. Использование выборки случай-контроль и выборки на основе результатов теста часто вносят смещение в оценку точности. Для применения этих методов исследователи должны рассмотреть обоснованность оценок и возможность использования соответствующих методов для смягчения любого потенциального смещения. Например, в исследовании, в котором для оценки производительности алгоритма использовалась выборка на основе результатов теста, должны быть приняты корректирующие меры путем экстраполяции пропорций как из групп с положительными, так и из групп с отрицательными результатами теста для представления всего госпитализированного населения.Потенциальное влияние неправильной классификации состояния здоровья на оценки исследования может быть значительным. Исследователи должны рассмотреть потенциальный риск неправильной классификации, вносимый несовершенными алгоритмами, и оценить типы риска неправильной классификации. Как правило, смещение неправильной классификации включает недифференциальную и дифференциальную неправильную классификацию.Недифференциальная неправильная классификация относится к классификации воздействия, не связанного с заболеванием, в то время как дифференциальная неправильная классификация подразумевает классификацию воздействия как связанного с заболеванием. Эффекты недифференциальной и дифференциальной ошибочной классификации на оценки могут различаться. Недифференциальная ошибочная классификация в воздействиях и результатах имеет тенденцию смещать оценки эффекта лечения в сторону нулевой гипотезы, тогда как дифференциальная ошибочная классификация приводит к смещению в любом направлении [7, с. 948].Ученые используют статистические методы для исправления или количественной оценки потенциального смещения, возникающего из-за неправильной классификации. Чтобы оценить влияние неправильной классификации алгоритма на результаты исследования, необходимо использовать статистические методы для исправления или количественной оценки потенциального смещения неправильной классификации, внесенного несовершенными алгоритмами. Общие подходы к устранению смещения неправильной классификации включают методы, основанные на правдоподобии, такие как метод интегрированной оценки правдоподобия с учетом предшествующих знаний и процедуры расширенной оценки.Кроме того, исследователи могут использовать количественный анализ смещения для оценки влияния неправильной классификации на результаты исследования. Вместо исправления или снижения риска смещения неправильной классификации количественный анализ смещения направлен на оценку направления и величины смещения неправильной классификации. Ученые должны выполнить анализ чувствительности с использованием альтернативных алгоритмов для оценки надежности результатов исследования. Различия в алгоритмических подходах часто приводят к значительным расхождениям в оценках. Эти различия считаются заслуживающими внимания, когда существует несоответствие между оценками из первичного анализа и анализа чувствительности или когда 95% ДИ для коэффициентов оценки не охватывает единство выборки.Коэффициенты оценки выводятся путем деления коэффициентов, полученных с помощью первичного анализа, на коэффициенты из анализа чувствительности. Использование альтернативных алгоритмов и сравнение результатов может усилить контроль в отношении надежности результатов. Такие альтернативные подходы охватывают разнообразные списков кодов, а также различных переменных или методологий, используемых для разработки алгоритмов для оценки проявлений состояний здоровья населения. Чтобы обеспечить прозрачность в отношении риска смещения, исследователи должны рассмотреть потенциальное смещение неправильной классификации путем корректировки используемых оценок.Все вышеуказанное включает указание типа смещения неправильной классификации (дифференциальное против недифференциального) и обсуждение его потенциального влияния на оценки эффекта (как направление, так и величина потенциального смещения). Если результаты различаются в зависимости от альтернативных алгоритмов или если их интерпретация меняется на основе количественного анализа смещения, исследователи должны прозрачно сообщать об этих результатах и интерпретировать их осторожно [3, с. 267].Рассмотрено практический пример − исследование частоты возникновения сепсиса у пациентов, поступивших в отделение интенсивной терапии, с использованием реестра внутрибольничных инфекций (HAI) в отделении интенсивной терапии в Западном Китае. Реестр ICU-HAI включал всех пациентов, поступивших в отделение интенсивной терапии в больнице Западного Китая с 2012 года по 2021 год, и содержал подробную информацию о демографических данных, показателях жизнедеятельности, результатах лабораторных исследований, заметках о результатах лечения. Для достижения этой цели был использован алгоритм для идентификации сепсиса.Чтобы идентифицировать пациентов с сепсисом в реестре ICU-HAI, было проведено обширный обзор исследований, сосредоточившись на существующих алгоритмах для сепсиса. Впоследствии был разработан алгоритм для выявления случаев сепсиса у взрослых (ASE), адаптированный для применения с электронными медицинскими картами (EHR). По результатам комплексной оценки стало понятно, что эти существующие алгоритмы не подходят для применения в реестре ICU-HAI Китая.Было разработан новый алгоритм для идентификации пациентов с сепсисом на основе реестра ICU-HAI. В клинической практике диагностические критерии являются сложными и включают в себя множество клинических факторов, в том числе и диагностику инфекции, показатели жизнедеятельности, результаты лабораторных исследований, микробиологические образцы, применение противомикробных препаратов и вазопрессорных препаратов. Именно поэтому было выбрано методы машинного обучения для обработки большого количества переменных и выявления сложных взаимосвязей между этими переменными. Многопрофильная исследовательская группа состояла из 5 экспертов в сфере ИТ, 7 экспертов по эпидемиологии, 8 экспертов по клинической медицине, 3 экспертов по статистике и 2 экспертов по искусственному интеллекту. Учитывая сложные особенности данных, вовлеченных в это исследование, был выбран метод рекуррентного единичного дифференциального уравнения Т. Байеса (GRU-ODE-Bayes) для работы с данными временных рядов и сотнями характеристик.Учитывая относительно низкую распространенность сепсиса, был выбран подход выборки на основе алгоритма для обеспечения достаточного количества положительных образцов. В частности, 100 случаев и 150 случаев были случайным образом отобраны у пациентов с положительным результатом теста на сепсис и у пациентов с отрицательным результатом теста на сепсис соответственно. Стандартом для этой оценки был обзор медицинских записей, включая демографические данные, показатели жизнедеятельности, результаты лабораторных исследований.Оценивалась производительность алгоритмов GRU-ODE-Bayes и двух алгоритмов на основе правил (алгоритм ASE и коды ICD). Для устранения потенциального смещения в оценках чувствительности и специфичности, возникающих в результате выборки на основе результатов теста, были внесены корректировки путем экстраполяции пропорций обратно на всю исследуемую выборку с использованием бутстрепированных выборок для расчета ДИ для оценок.В ходе проверки было установлено, что алгоритм GRU-ODE-Bayes продемонстрировал 81,0% чувствительности (95% ДИ 74,5–88,3%), 80,5% специфичности (95% ДИ 76,5–85,0%), 60,3% PPV (95% ДИ 53,6–67,3%) и 92,1% NPV (95% ДИ 89,2–95,4%). Напротив, алгоритмы на основе правил продемонстрировали низкую чувствительность (коды ICD: 39,9%, 95% ДИ 35,2–46,0%, алгоритм ASE: 5,6%, 95% ДИ 3,6–7,7%).Используя коды MKB, алгоритм ASE и алгоритм GRU-ODE-Bayes, было идентифицировано 2646, 642 и 8164 пациентов с сепсисом соответственно. Частота сепсиса среди пациентов составила 11,7%, 2,8% и 36,2% согласно кодам МКB, алгоритму ASE и алгоритму GRU-ODE-Bayes соответственно. Было использовано формулу Дж. Рогана-Гладена для количественного анализа смещения распространенности, чтобы оценить скорректированный уровень заболеваемости, который составил 27,1%. На основании этой скорректированной оценки уровня заболеваемости было определено, что алгоритм GRU-ODE-Bayes переоценил заболеваемость сепсисом на 33,5%, в то время как алгоритм ICD привел к недооценке заболеваемости на 55% [1, с. 1457−1458].Для повышения прозрачности алгоритма и удобства использования было разработано руководство по использованию алгоритмов для определения состояния здоровья населения. Кроме того, было сформулировано рекомендации по надлежащей практике использования алгоритмов для определения состояния здоровья. Руководство по использованию алгоритмов для определения состояния здоровья населения имеет широкую применимость в исследованиях, основанных на регулярно собираемых данных.Заключение. Потенциальная компрометация результатов исследования из-за неправильной классификации состояния здоровья несовершенными алгоритмами является критической проблемой. Крайне важно использовать алгоритмы с высокой точностью и минимальной неправильной классификацией, чтобы гарантировать надежность результатов.Разработанное руководство по использованию алгоритмов для определения состояния здоровья населения позволяет всесторонне рассмотреть методологические вопросы, связанные с разработкой, проверкой и применением алгоритмов для определения состояния здоровья в исследованиях с анализом регулярно собираемых данных о состоянии здоровья населения.Был проведен описательный обзор и всесторонний опрос и предоставлено эмпирический пример в рамках концептуализации его первоначального руководства по использованию алгоритмов для определения состояния здоровья населения. Результаты исследования были структурированы систематически, поэтому были полезными на всех этапах разработки алгоритмов, проверки и применения для определения состояния здоровья населения.Тем не менее, это исследование имеет определенные ограничения. Во-первых, несмотря на разработку руководства по использованию алгоритмов для определения состояния здоровья населения с помощью систематического подхода и обширных консультаций на этапе его разработки, в будущем могут появиться дополнительные полезные элементы. Во-вторых, предлагаемые подходы не имеют широкой проверки в различных условиях исследования. В-третьих, из-за быстрого развития информационных технологий методы, используемые для разработки алгоритмов, стремительно развиваются. Следовательно, ожидается, что будут проводиться периодические обновления для охвата появляющихся разработок по выбранной тематике.Таким образом, ошибочная классификация состояния здоровья в результате использования вышеуказанных алгоритмов может представлять серьезную угрозу для оценки достоверности результатов исследования, и для решения этой проблемы требуется применение сложных методологических соображений. Руководство по использованию алгоритмов для определения состояния здоровья населения систематически рассматривает вопросы, связанные с разработкой, проверкой и оценкой алгоритмов для определения состояния здоровья населения. Использование улучшенных алгоритмов поможет повысить достоверность проведенных результатов исследования, что и определяет необходимость продолжения изучения вопросов по выбранной тематике в будущем.
Номер журнала Вестник науки №1 (82) том 2
Ссылка для цитирования:
Ниязбеков А.М. РАЗРАБОТКА И РЕАЛИЗАЦИЯ АЛГОРИТМА ОБРАБОТКИ ДАННЫХ ЗАБОЛЕВАНИЙ НАСЕЛЕНИЯ // Вестник науки №1 (82) том 2. С. 1050 - 1065. 2025 г. ISSN 2712-8849 // Электронный ресурс: https://www.вестник-науки.рф/article/20738 (дата обращения: 16.12.2025 г.)
Вестник науки © 2025. 16+