cardiotomskСибирский журнал клинической и экспериментальной медициныSiberian Journal of Clinical and Experimental Medicine2713-29272713-265XTSU publishing10.29001/2073-8552-2025-40-2-201-210cardiotomsk-2745Research ArticleЦИФРОВЫЕ ТЕХНОЛОГИИ В МЕДИЦИНЕ И ЗДРАВООХРАНЕНИИDIGITAL TECHNOLOGIES IN MEDICINE AND HEALTHCAREРазработка сервиса для автоматического извлечения именованных сущностей из неструктурированных медицинских русскоязычных текстовDevelopment of a service for automatically extraction of medical concepts from Russian unstructured textshttps://orcid.org/0000-0002-4653-1611РонжинЛ. В.RonzhinL. V.

Ронжин Лев Вячеславович, аналитик лаборатории семантического анализа медицинской информации

117513, Москва, ул. Островитянова, 1 

Lev V. Ronzhin, Analyst, Laboratory of Semantic Analysis of Medical Information

1 Ostrovityanova str., Moscow, 117513

levronzhin@gmail.comhttps://orcid.org/0000-0002-1854-8686АстанинП. А.AstaninP. A.

Астанин Павел Андреевич, аналитик лаборатории семантического анализа медицинской информации, ассистент кафедры медицинской кибернетики и информатики им. С.А. Гаспаряна

117513, Москва, ул. Островитянова, 1 

Pavel A. Astanin, Analyst, Laboratory of Semantic Analysis of Medical Information; Assistant, S. A. Gasparyan Department of Medical Cybernetics and Computer Science

1 Ostrovityanova str., Moscow, 117513

med_cyber@mail.ruhttps://orcid.org/0000-0002-9535-2847РаузинаС. Е.RauzinaS. E.

Раузина Светлана Евгеньевна, канд. мед. наук, доцент, заведующий лабораторией семантического анализа медицинской информации, доцент кафедры медицинской кибернетики и информатики им. С.А. Гаспаряна

117513, Москва, ул. Островитянова, 1 

Svetlana E. Rauzina, PhD, Associate Professor, Head of the Laboratory of Semantic Analysis of Medical Information; Associate Professor, S. A. Gasparyan Department of Medical Cybernetics and Computer Science

1 Ostrovityanova str., Moscow, 117513

rauzina@mail.ruhttps://orcid.org/0000-0002-5105-3124ЯдгароваП. А.YadgarovaP. A.

Ядгарова Полина Алексеевна, аналитик лаборатории цифрового развития медицинского образования

117513, Москва, ул. Островитянова, 1 

Polina A. Yadgarova, Analyst, Laboratory of Digital Development of Medical Education

1 Ostrovityanova str., Moscow, 117513

polina@yadgarova.ruhttps://orcid.org/0000-0002-4403-8049ЗарубинаТ. В.ZarubinaT. V.

Зарубина Татьяна Васильевна, д-р мед. наук, профессор, чл.-корр. РАН, директор Института цифровой трансформации медицины, заведующий кафедрой медицинской кибернетики и информатики им. С.А. Гаспаряна

117513, Москва, ул. Островитянова, 1 

Tatyana V. Zarubina, MD, Professor,  Corresponding  Member  of the Russian Academy of Sciences; Director of the Institute of Digital Transformation of Medicine; Head of the S.A. Gasparyan Department of Medical Cybernetics and Computer Science

1 Ostrovityanova str., Moscow, 117513

t_zarubina@mail.ruРоссийский национальный исследовательский медицинский университет имени Н.И. ПироговаРоссияPirogov Russian National Research Medical UniversityRussian Federation202513072025402201210Copyright © Ронжин Л.В., Астанин П.А., Раузина С.Е., Ядгарова П.А., Зарубина Т.В., 20252025Ронжин Л.В., Астанин П.А., Раузина С.Е., Ядгарова П.А., Зарубина Т.В.Ronzhin L.V., Astanin P.A., Rauzina S.E., Yadgarova P.A., Zarubina T.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://www.sibjcem.ru/jour/article/view/2745Введение

Введение. В настоящее время значительная часть медицинских данных формируется и хранится в неструктурированном (текстовом) виде. Одним из способов обработки неструктурированной информации является извлечение именованных сущностей (NER – Named entity recognition). В классическом представлении решение задачи NER при работе с медицинскими текстами сводится к поиску объектов или понятий, имеющих определенный контекст и связанных с упоминаемыми в тексте действиями или событиями. В качестве конечного множества терминов для решения подобной задачи может быть использована Унифицированная национальная медицинская номенклатура (УНМН), разрабатываемая с 2022 г. на основе международных и федеральных справочников, а также других источников. На момент выполнения исследования в открытой научной литературе не было найдено сведений о существовании инструмента для решения задачи NER при работе с неструктурированными медицинскими текстами на русском языке.

Цель исследования

Цель исследования: разработка инструмента для извлечения именованных сущностей из русскоязычных медицинских текстов.

Материал и методы

Материал и методы. В качестве терминологического свода для решения задачи распознавания именованных сущностей использовалась УНМН. В алгоритмы предобработки текста включены сегментация текста, токенизация и синтаксический разбор предложений, лемматизация и морфологический анализ слов. Тестирование инструмента проводилось на клинических рекомендациях (КР), актуальных на момент проведения исследования. Основной метрикой качества считалась доля автоматически верно распознанных терминов относительно экспертной разметки.

Результаты

Результаты. В ходе исследования был разработан Аннотатор медицинских текстов – сервис, предназначенный для решения задачи NER с последующими разметкой и категоризацией извлекаемых терминов УНМН. Данный сервис основан на использовании больших языковых моделей и собственных лингвистических правил. Аннотатор медицинских текстов может применяться для анализа текстов на русском языке с использованием любой терминологической системы. Аннотатор медицинских текстов является гибридным инструментом, обеспечивающим автоматическое извлечение до 93% терминов из свободного текста актуальных КР. Качество работы данного сервиса сопоставимо с зарубежными инструментами для решения задачи NER при работе с текстами на английском языке: cTAKES с точностью в 91% и MetaMap – с F1-score в 88% соответственно.

Заключение

Заключение. В статье представлен гибридный сервис для распознавания именованных объектов в неструктурированных медицинских текстах. Сервис был апробирован путем извлечения терминов УНМН из актуальных клинических рекомендаций с последующей проверкой медицинскими экспертами. Полученные результаты демонстрируют потенциал как этого инструмента, так и Унифицированной национальной медицинской номенклатуры.

Introduction

Introduction. A significant part of medical data is currently generated and stored in an unstructured (textual) form. One way to process unstructured information is named entity recognition (NER). In the classical view, solving the NER problem within medical texts involves identifying objects or concepts that have a specific context related to the actions or events mentioned in the text. The National Unified Terminological System (NUTS) has been developed since 2022 based on international and federal medical thesauri and other sources. It can be used as the term set for solving problems of this type. At the time of the study, there was no available information in the scientific literature about tools solving NER problem in unstructured Russianlanguage medical texts.

Aim

Aim: To develop a tool for extracting named entities from Russian-language medical texts.

Material and Methods

Material and Methods. Named entity recognition is performed using the NUTS as the terminological framework. The preprocessing pipeline includes full text segmentation, sentences tokenization and dependency parsing, words lemmatization and morphological analysis. The Annotation tool has been evaluated on clinical guidelines. The primary evaluation metric is the ratio of correctly identified terms to the total number of experts’ extracted terms.

Results

Results. As part of this study, the Annotation tool for medical texts has been developed. It is an automatized tool for extraction and categorization NUTS terms. This service is based on combined use large language models and rules. The Annotation tool can analyze texts in any language of the Indo-European group using any terminological system.

The Annotation tool is hybrid and extracts automatically up to 93% of terms from the actual unstructured guidelines texts. The quality of this service is comparable to international NER tools for English-language texts: cTAKES with 91% accuracy and MetaMap with an F1-score of 88%.

Conclusion

Conclusion. The article presents the Annotation tool a hybrid service for named entity recognition within unstructured medical texts. The service was validated by extraction of NUTS terms in current clinical guidelines, with subsequent verification by medical experts. The obtained results demonstrate the promising potential of both this tool and the National Unified terminology system (NUTS).

 

 

NLPобработка естественного языкаNERизвлечение именованных сущностейУНМНконцептбаза знанийонтологияNLPnatural language processingNERnamed entity recognitionNUTSconceptknowledge baseontologyНастоящее исследование финансируется из средств Программы стратегического академического лидерства «Приоритет-2030». Номер субсидии: 075-15-2021-1325 (от 30 сентября 2021 г.).This study was supported by the federal academic leadership program “Priority 2030” (Grant No. 075-15-2021-1333, dated September 30, 2021).ReferencesГусев А.В., Зингерман Б.В., Тюфилин Д.С., Зинченко В.В. Электронные медицинские карты как источник данных реальной клинической практики. Реальная клиническая практика: данные и доказательства. 2022;2(2):8–20. https://doi.org/10.37489/2782-3784-myrwd-13Gusev A.V., Zingerman B.V., Tjufilin D.S., Zinchenko V.V. Electronic medical records as a source of real-world clinical data. Real-world data & evidence. 2022;2(2):8–20. (In Russ.). https://doi.org/10.37489/27823784-myrwd-13Лебедев С.В., Жукова Н.А. Слияние медицинских данных на основе онтологий. Онтология проектирования. 2017;7(2):145–159. https://doi.org/10.18287/2223-9537-2017-7-2-145-159Lebedev S.V., Zhukova N.A. Ontology-driven approach to medical data fusion. Ontology of Designing. 2017; 7(2):145–159. (In Russ.). https://doi.org/10.18287/2223-9537-2017-7-2-145-159Demner-Fushman D., Chapman W.W., McDonald C.J. What can natural language processing do for clinical decision support? Journal of Biomedical Informatics. 2009;42(5):760–772. https://doi.org/10.1016/j.jbi.2009.08.007Demner-Fushman D., Chapman W.W., McDonald C.J. What can natural language processing do for clinical decision support? Journal of Biomedical Informatics. 2009;42(5):760–772. https://doi.org/10.1016/j.jbi.2009.08.007Aronson A.R., Lang F.M. An overview of MetaMap: historical perspective and recent advances. Journal of the American Medical Informatics Association. 2010;17(3):229–236. https://doi.org/10.1136/jamia.2009.002733Aronson A.R., Lang F.M. An overview of MetaMap: historical perspective and recent advances. Journal of the American Medical Informatics Association. 2010;17(3):229–236. https://doi.org/10.1136/jamia.2009.002733Hunter L.E. Life sciences linkout. Journal of Biomedical Informatics. 2006;39(2):192–202. https://doi.org/10.1016/j.jbi.2005.09.006Hunter L.E. Life sciences linkout. Journal of Biomedical Informatics. 2006;39(2):192–202. https://doi.org/10.1016/j.jbi.2005.09.006Humphreys B.L, Tuttle M.S. Something new and different: The Unified Medical Language System. Information services & use. 2022;42(1):95– 106. https://doi.org/10.3233/ISU-210138Humphreys B.L, Tuttle M.S. Something new and different: The Unified Medical Language System. Information services & use. 2022;42(1):95– 106. https://doi.org/10.3233/ISU-210138Зарубина Т.В., Раузина С.Е., Астанин П.А. Создание базы медицинских знаний на основе национального метатезауруса для унификации разработки систем поддержки принятия клинических решений. Вестник Российской академии медицинских наук. 2024;79(2):175– 192. https://doi.org/10.15690/vramn17390Zarubina T.V., Rauzina S.E., Astanin P.A. Creation of a Medical Knowledge Base for Unify the Development of Clinical Decision Support Systems Based on the National Metathesaurus. Annals of the Russian Academy of Medical Sciences. 2024;79(2):175–192. (In Russ.). https://doi.org/10.15690/vramn17390Reátegui R., Ratté S. Comparison of MetaMap and cTAKES for entity extraction in clinical notes. BMC Medical Informatics and Decision Making. 2018;18(S3):74. https://doi.org/10.1186/s12911-018-0654-2Reátegui R., Ratté S. Comparison of MetaMap and cTAKES for entity extraction in clinical notes. BMC Medical Informatics and Decision Making. 2018;18(S3):74. https://doi.org/10.1186/s12911-018-0654-2Астанин П.А., Ронжин Л.В., Федоров А.А., Раузина С.Е., Зарубина Т.В. Автоматизированная система извлечения аббревиатур терминов унифицированной национальной медицинской номенклатуры из текстов научных статей. Врач и информационные технологии. 2023;4:24–35. https://doi.org/10.25881/18110193_2023_4_24Astanin P.A., Ronzhin L.V., Fedorov A.A., Rauzina S.E., Zarubina T.V. Automated abbreviations recognition system for unified national medical nomenclature filling with using Russian language unstructured text of articles. Medical doctor and information technologies. 2023;4:24–35. (In Russ.). https://doi.org/10.25881/18110193_2023_4_24Астанин П.А., Раузина С.Е., Зарубина Т.В. Построение этиопатогенетического образа концептов метатезауруса UMLS с использованием графовых метрик. Программные системы: теория и приложения. 2023;14(3):59–94. https://doi.org/10.25209/2079-33162023-14-3-59-94Astanin P.A., Rauzina S.E., Zarubina T.V. Computing the UMLS concepts etiopathogenetic image using graph metrics. Program Systems: Theory and Applications. 2023;14(3):59-94. (In Russ.). https://doi.org/10.25209/2079-3316-2023-14-3-59-94Астанин П.А., Раузина С.Е., Зарубина Т.В. Автоматизированная система извлечения клинически релевантных терминов UMLS из текстов англоязычных статей на примере аксиального спондилоартрита. Социальные аспекты здоровья населения. 2023;69(3):14. https://doi.org/10.21045/2071-5021-2023-69-3-14Astanin P.A., Rauzina S.E., Zarubina T.V. Automated system for recognizing clinically relevant UMLS terms in texts of the Englishlanguage articles exemplified by axial spondyloarthritis. Social'nye aspekty zdorov'a naselenia. 2023;69(3):14. (In Russ.). https://doi.org/10.21045/2071-5021-2023-69-3-14Abdaoui A., Pradel C., Sigel G. Load what you need: Smaller versions of multilingual BERT. In: Proceedings of SustaiNLP / EMNLP; 2020. https://doi.org/10.48550/arXiv.2010.05609Abdaoui A., Pradel C., Sigel G. Load what you need: Smaller versions of multilingual BERT. In: Proceedings of SustaiNLP / EMNLP; 2020. https://doi.org/10.48550/arXiv.2010.05609Droganova K., Lyashevskaya O., Zeman D. Data conversion and consistency of monolingual corpora: Russian UD treebanks. Proceedings of the 17th International Workshop on Treebanks and Linguistic Theories (TLT 2018); December 13–14, 2018; Oslo University, Norway. Linköping Electronic Conference Proceedings 155;7:52–65.Droganova K., Lyashevskaya O., Zeman D. Data conversion and consistency of monolingual corpora: Russian UD treebanks. Proceedings of the 17th International Workshop on Treebanks and Linguistic Theories (TLT 2018); December 13–14, 2018; Oslo University, Norway. Linköping Electronic Conference Proceedings 155;7:52–65.Marneffe M.-C., Manning C., Nivre J., Zeman D. Universal Dependencies. Computational Linguistics. 2021;47(2):255–308. https://doi.org/10.1162/coli_a_00402Marneffe M.-C., Manning C., Nivre J., Zeman D. Universal Dependencies. Computational Linguistics. 2021;47(2):255–308. https://doi.org/10.1162/ coli_a_00402Qi P., Zhang Y., Zhang Y., Bolton J., Manning C.D. Stanza: A Python natural language processing toolkit for many human languages. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations. 2020;101–108. https://doi.org/10.18653/v1/2020.acl-demos.14Qi P., Zhang Y., Zhang Y., Bolton J., Manning C.D. Stanza: A Python natural language processing toolkit for many human languages. Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics: System Demonstrations. 2020;101–108. https://doi.org/10.18653/v1/2020.acl-demos.14Дяченко П.В., Иомдин Л.Л., Лазурский А.В., Митюшин Л.Г., Подлесская О.Ю., Сизов В.Г. и др. Современное состояние глубоко аннотированного корпуса текстов русского языка (СинТагРус). В кн.: Национальный корпус русского языка: 10 лет проекту. Труды Института русского языка им. В.В. Виноградова. М.; 2015:272–299.Dyachenko P.V., Iomdin L.L., Lazursky A.V., Mityushin L.G., Podleskaya O.Yu., Sizov V.G., Frolova T.I., Tsinman L.L. The Current State of the Deeply Annotated Corpus of Russian Language Texts (SinTagRus). In: National Corpus of the Russian Language: 10 Years of the Project. Proceedings of the V.V. Vinogradov Institute of Russian Language. Moscow; 2015:272–299. (In Russ.).Гращенко Л.А. О модельном стоп-словаре. Известия Академии наук Республики Таджикистан. Отделение физико-математических, химических, геологических и технических наук. 2013;1(150):40–46.Grashhenko L.A. Application of modeling stop-list. News of the National Academy of Sciences of Tajikistan. Department of physical, mathematical, chemical, geological and technical sciences. 2013;1(150):40–46. (In Russ.).Asiler M., Yazıcı A. BB-Graph: A subgraph isomorphism algorithm for efficiently querying big graph databases. Preprint [arXiv:1706.06654]; 2018. https://doi.org/10.1234/abcd.5678Asiler M., Yazıcı A. BB-Graph: A subgraph isomorphism algorithm for efficiently querying big graph databases. Preprint [arXiv:1706.06654]; 2018. https://doi.org/10.1234/abcd.5678Синева И.С., Головченко В.Е. Применение методов многомерного статистического анализа и NLP для классификации научных публикаций. DSPA: Вопросы применения цифровой обработки сигналов. 2024;14(2):44–51.Syneva I.S., Golovchenko V.E. Application of multidimensional statistical analysis and NLP methods for classifying scientific publications. DSPA: Digital Signal Processing. 2024;14(2):44–51. (In Russ.).

The authors declare that there are no conflicts of interest present.