informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2023-20-2-28-38inform-1241Research ArticleОБРАБОТКА СИГНАЛОВ, ИЗОБРАЖЕНИЙ, РЕЧИ, ТЕКСТА И РАСПОЗНАВАНИЕ ОБРАЗОВSIGNAL, IMAGE, SPEECH, TEXT PROCESSING AND PATTERN RECOGNITIONМетодика формирования базы гистопатологических изображений папиллярного рака щитовидной железы для глубокого обученияPapillary thyroid carcinoma whole-slide images as a basis for deep learningФридманМ. В.FridmanM. V.

Фридман Михаил Валерьевич, доктор медицинских наук, заведующий патологоанатомической лабораторией учреждения здравоохранения; сотрудник Республиканского центра опухолей щитовидной железы

пр. Независимости, 64, 220013, Минск

Miсhael V. Fridman, D. Sc. (Med.), Head of the Pathoanatomical Laboratory of the Health Care Institution

av. Nezavisimosti, 64, Minsk, 220013

kupriyan@rambler.ruКосареваА. А.KosarevaA. A.

Косарева Александра Андреевна, ассистент кафедры электронной техники и технологии, аспирант

ул. П. Бровки, 6, 220013, Минск

Aleksandra A. Kosareva, Assistant Lecturer of Electronic Engineering and Technology Department, Postgraduate Student

st. P. Brovki, 6, Minsk, 220012

kosareva@bsuir.byСнежкоЭ. В.SnezhkoE. V.

Снежко Эдуард Витальевич, кандидат технических наук, заведующий лабораторией анализа биомедицинских изображений

ул. Сурганова, 6, Минск, 220012

Eduard V. Snezhko, Ph. D. (Eng.), Head of the Biomedical Image Analysis Department

st. Surganova, 6, Minsk, 220012

eduard.snezhko@gmail.comКамлачП. В.KamlachP. V.

Камлач Павел Викторович, кандидат технических наук, доцент, заместитель декана факультета компьютерного проектирования

ул. П. Бровки, 6, 220013, Минск

Pavel V. Kamlach, Ph. D. (Eng.), Assoc. Prof., Deputy Dean of the Faculty of Computer Design

st. P. Brovki, 6, Minsk, 220012

kamlachpv@bsuir.byКовалёвВ. А.KovalevV. A.

Ковалев Василий Алексеевич, кандидат технических наук, доцент кафедры биомедицинской информатики; ведущий научный сотрудник лаборатории анализа биомедицинских изображений

ул. Сурганова, 6, Минск, 220012

Vassili A. Kovalev, Ph. D. (Eng.), Assoc. Prof. of the Biomedical Informatics Department of the Belarusian State University, Leading Researcher of the Biomedical Image Analysis Department

st. Surganova, 6, Minsk, 220012

Vassili.kovalev@gmail.comМинский городской клинический онкологический центр; Республиканский центр опухолей щитовидной железыMinsk City Clinical Oncology Center; Republican Centre for Thyroid TumoursБелорусский государственный университет информатики и радиоэлектроникиBelarusian State University of Informatics and RadioelectronicsОбъединенный институт проблем информатики Национальной академии наук БеларусиThe United Institute of Informatics Problems of the National Academy of Sciences of Belarus2023290620232022838Copyright © Фридман М.В., Косарева А.А., Снежко Э.В., Камлач П.В., Ковалёв В.А., 20232023Фридман М.В., Косарева А.А., Снежко Э.В., Камлач П.В., Ковалёв В.А.Fridman M.V., Kosareva A.A., Snezhko E.V., Kamlach P.V., Kovalev V.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1241

Цели. Морфологический анализ образцов папиллярного рака щитовидной железы важен для дальнейшего планирования лечения. Автоматизация этого процесса связана с использованием традиционных и нейросетевых способов извлечения признаков изображений. Подготовительная работа предполагает подготовку набора данных, содержащих изображения, которые применяются для обучения нейронных сетей. В статье рассматривается вопрос выбора признаков для разметки гистологических изображений, особенности работы с полнослайдовыми изображениями, предлагается методика подготовки данных для разработки системы поиска похожих фрагментов гистопатологического изображения рака щитовидной железы. Исследуется влияние размера представительного фрагмента полнослайдового изображения папиллярного рака щитовидной железы на точность классификации обученной нейронной сети Efficient-NetB0, оцениваются слабые стороны использования фрагментов изображений разного представительного размера и причины неудовлетворительной точности классификации на больших увеличениях.Материалы и методы. Использовались гистопатологические полнослайдовые изображения 129 пациентов. Гистологические микропрепараты, содержащие элементы опухоли и окружающей ткани, сканировались в аппарате Aperio AT2 (Leica Biosystems, Германия) с максимальным разрешением. Разметка проводилась в программном пакете ASAP. Для выбора оптимального представительного размера фрагмента решалась задача классификации с применением предобученной нейронной сети EfficientNetB0.Результаты. Предложена методика подготовки базы данных гистопатологических изображений папиллярного рака щитовидной железы, проведены эксперименты по определению оптимального представительного размера фрагмента изображения. Наилучший результат точности определения класса тестовой выборки показал размер представительного фрагмента 394,32×394,32 мкм.Заключение. Анализ влияния представительных размеров фрагментов гистопатологических изображений выявил проблемные места при решении задачи классификации, обусловленные спецификой нарезки и окрашивания изображений, морфологической сложностью и текстурным различием изображений одного класса. Поскольку проблема подготовки набора данных для обучения нейронной сети на решение задачи поиска инвазии сосудов на гистопатологическом изображении является нетривиальной, требуются дополнительные этапы подготовки данных.

Objectives. Morphological analysis of papillary thyroid cancer is a cornerstone for further treatment planning. Traditional and neural network methods of extracting parts of images are used to automate the analysis. It is necessary to prepare a set of data for teaching neural networks to develop a system of similar anatomical region in the histopathological image. Authors discuss the second selection of signs for the marking of histological images, methodological approaches to dissect whole-slide images, how to prepare raw data for a future analysis. The influence of the representative size of the fragment of the full-to-suction image of papillary thyroid cancer on the accuracy of the classification of trained neural network EfficientNetB0 is conducted. The analysis of the resulting results is carried out, the weaknesses of the use of fragments of images of different representative size and the cause of the unsatisfactory accuracy of the classification on large increase are evaluated.Materials and methods. Histopathological whole-slide imaged of 129 patients were used. Histological micropreparations containing elements of a tumor and surrounding tissue were scanned in the Aperio AT2 (Leica Biosystems, Germany) apparatus with maximum resolution. The marking was carried out in the ASAP software package. To choose the optimal representative size of the fragment the problem of classification was solved using the pre-study neural network EfficientNetB0.Results. A methodology for preparing a database of histopathological images of papillary thyroid cancer was proposed. Experiments were conducted to determine the optimal representative size of the image fragment. The best result of the accuracy of determining the class of test sample showed the size of a representative fragment as 394.32×394.32 microns.Conclusion. The analysis of the influence of the representative sizes of fragments of histopathological images showed the problems in solving the classification tasks because of cutting and staining images specifics, morphological complex and textured differences in the images of the same class. At the same time, it was determined that the task of preparing a set of data for training neural network to solve the problem of finding invasion of vessels in a histopathological image is not trivial and it requires additional stages of data preparation.

медицинская визуализациясверточная нейронная сетьглубокое обучениекомпьютерная диагностикапапиллярный рак щитовидной железыархитектоника ракаmedical imagingconvolutional neural networkdeep learningcomputer-aided diagnosispapillary thyroid cancercancer architectonicsReferencesA national cancer data base report on 53,856 cases of thyroid carcinoma treated in the U.S., 1985–1995 / S. A. Hundahl [et al.] // Cancer. – 1998. – Vol. 83, iss. 12. – Р. 2638–22948. https://doi.org/10.1002/(SICI)1097-0142(19981215)83:12<2638::AID-CNCR31>3.0.CO;2-1Hundahl S. A., Fleming I. D., Fremgen A. M., Menck H. R. A national cancer data base report on 53,856 cases of thyroid carcinoma treated in the U.S., 1985–1995. Cancer, 1998, vol. 83, iss. 12, рр. 2638–22948. https://doi.org/10.1002/(SICI)1097-0142(19981215)83:12<2638::AID-CNCR31>3.0.CO;2-1Гистологическая и молекулярно-генетическая характеристика клинически агрессивных вариантов папиллярного рака щитовидной железы / А. В. Боголюбова [и др.] // Архив патологии. – 2019. – Т. 81, № 1. – С. 46–51. https://doi.org/10.17116/patol20198101146Bogolyubova A. V., Abrosimov A. Yu., Selivanova L. S., Belousov P. V. Histopatological and molecular genetic characteristics of clinically aggressive variants of papillary thyroid carcinoma. Arkhiv patologii [Pathology Archive], 2019, vol. 81, no. 1, pp. 46–51 (In Russ.). https://doi.org/10.17116/patol20198101146Morphological and clinical presentation of papillary thyroid carcinoma in children and adolescents of Belarus: the influence of radiation exposure and the source of irradiation / M. Fridman [et al.] // Experimental and Molecular Pathology. – 2015. – Vol. 98, iss. 3. – Р. 527–531. https://doi.org/10.1016/j.yexmp.2015.03.039Fridman M., Lam A. K., Krasko O., Schmid K. W., Branovan D. I., Demidchik Y. Morphological and clinical presentation of papillary thyroid carcinoma in children and adolescents of Belarus: the influence of radiation exposure and the source of irradiation. Experimental and Molecular Pathology, 2015, vol. 98, iss. 3, рр. 527–531. https://doi.org/10.1016/j.yexmp.2015.03.039Xu, B. Crucial parameters in thyroid carcinoma reporting – challenges, controversies and clinical implications / B. Xu, R. A. Ghossein // Histopathology. – 2018. – Vol. 72, iss. 1. – Р. 32–39. https://doi.org/10.1111/his.13335Xu B., Ghossein R. A. Crucial parameters in thyroid carcinoma reporting – challenges, controversies and clinical implications. Histopathology, 2018, vol. 72, iss. 1, рр. 32–39. https://doi.org/10.1111/his.13335Косарева, А. А. Определение схожего анатомического участка на КТ-изображении грудной клетки с использованием традиционных методов выделения признаков изображения / А. А. Косарева, П. В. Камлач, В. А. Ковалев // Доклады БГУИР. – 2022. – Т. 20, № 5. – С. 48–56. http://dx.doi.org/10.35596/1729-7648-2022-20-5-48-56Kosareva A. A., Kamlach P. V., Kovalev V. A. Determination of a similar anatomical area on a chest CT image using traditional image feature extraction methods. Doklady Belorusskogo gosudarstvennogo universiteta informatiki i radioèlektroniki [Reports of the Belarusian State University of Informatics and Radioelectronics], 2022, vol. 20, no. 5, рр. 48–56 (In Russ.). http://dx.doi.org/10.35596/1729-7648-2022-20-5-48-56Multi-radial LBP features as a tool for rapid glomerular detection and assessment in whole slide histopathology images / O. Simon [et al.] // Scientific Reports. – 2018. – Vol. 8. – Р. 1–11. https://doi.org/10.1038/s41598-018-20453-7Simon O., Yacoub R., Jain S., Tomaszewski J. E., Sarder P. Multi-radial LBP features as a tool for rapid glomerular detection and assessment in whole slide histopathology images. Scientific Reports, 2018, vol. 8, рр. 1–11. https://doi.org/10.1038/s41598-018-20453-7A novel method for morphological pleomorphism and heterogeneity quantitative measurement: Named cell feature level co-occurrence matrix / A. Saito [et al.] // J. of Pathology Informatics. – 2016. – Vol. 7, iss. 1. – Р. 1–9. https://doi.org/10.4103/2153-3539.189699Saito A., Numata Y., Hamada T., Horisawa T., Cosatto E., …, Yamamoto Y. A novel method for morphological pleomorphism and heterogeneity quantitative measurement: Named cell feature level co-occurrence matrix. Journal of Pathology Informatics, 2016, vol. 7, iss. 1, рр. 1–9. https://doi.org/10.4103/2153-3539.1896998Jothi, J. A. A. Automatic classification of thyroid histopathology images using multi-classifier system / J. A. A. Jothi, V. M. A. Rajam // Multimedia Tools and Applications. – 2017. – Vol. 76, iss. 18. – Р. 18711–18730. https://doi.org/10.1007/s11042-017-4363-0Jothi J. A. A., Rajam V. M. A. Automatic classification of thyroid histopathology images using multi-classifier system. Multimedia Tools and Applications, 2017, vol. 76, iss. 18, рр. 18711–18730. https://doi.org/10.1007/s11042-017-4363-09Interactive thyroid whole slide image diagnostic system using deep representation / P. Chen [et al.] // Computer Methods and Programs in Biomedicine. – 2020. – Vol. 195. – Р. 105630. https://doi.org/10.1016/j.cmpb.2020.105630Chen P., Shi X., Liang Y., Li Y., Yang L., Gader P. D. Interactive thyroid whole slide image diagnostic system using deep representation. Computer Methods and Programs in Biomedicine, 2020, vol. 195, р. 105630. https://doi.org/10.1016/j.cmpb.2020.105630Litjens, G. Automate Slide Analysis Platform (ASAP) [Electronic resource] / G. Litjens. – 2017. – Mode of access: https://github.com/geertlitjens/ASAP. – Date of access: 10.09.2022Litjens G. Automate Slide Analysis Platform (ASAP), 2017. Available at: https://github.com/geertlitjens/ASAP (accessed 10.09.2022).Tan, M. EfficientNet: Rethinking model scaling for convolutional neural networks / M. Tan, Q. V. Le / Proc. of the 36th Intern. Conf. on Machine Learning, ICML 2019, Long Beach, 9–15 June 2019. – Long Beach, 2019. – Р. 6105–6114.Tan M., Le Q. V. EfficientNet: Rethinking model scaling for convolutional neural networks. Proceedings of the 36th International Conference on Machine Learning, ICML 2019, Long Beach, 9–15 June 2019. Long Beach, 2019, рр. 6105–6114.Rijsbergen, C. J. van. Information Retrieval / C. J. van Rijsbergen. – 2nd ed. – Butterworth-Heinemann, 1979. – 224 р.Rijsbergen C. J. van. Information Retrieva, 2nd edition. Butterworth-Heinemann, 1979, 224 р.Sasaki, Y. The Truth of the F-measure [Electronic resource] / Y. Sasaki. – 2007. – Mode of access: https://www.cs.odu.edu/~mukka/cs795sum09dm/Lecturenotes/Day3/F-measure-YS-26Oct07.pdf. – Date of access: 17.02.2023.Sasaki Y. The Truth of the F-measure, 2007. Available at: https://www.cs.odu.edu/~mukka/cs795sum09dm/Lecturenotes/Day3/F-measure-YS-26Oct07.pdf (accessed 17.02.2023).

The authors declare that there are no conflicts of interest present.