informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2020-17-1-18-28inform-1061Research ArticleМАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕMATHEMATICAL MODELINGМоделирующая среда для анализа алгоритмов трехмерной реконструкции объектов видеоэндоскопических исследованийModelling environment for analyzing the algorithms for 3D reconstruction of videoendoscopic research objectsЧернявскийА. Ф.ChernyavskyA. F.

Чернявский Александр Федорович, академик Национальной академии наук Беларуси, доктор технических наук, профессор, заведующий научно-исследовательской лабораторией специализированных      вычислительных систем, Научно-исследовательское учреждение «Институт прикладных физических проблем им. А. Н. Севченко»

Aleksandr F. Chernyavsky, Academician of the National Academy of Sciences of Belarus, Dr. Sci. (Eng.),                Professor, Head of the Research Laboratory of Specialized Computing Systems, A. N. Sevchenko Institute of Applied Physical Problems

ГоловатаяЕ. А.HalavatayaK. A.

Головатая Екатерина Александровна, аспирант, старший преподаватель кафедры интеллектуальных систем, факультет радиофизики и компьютерных технологий

Katsiaryna A. Halavataya, Postgraduate Student, Senior Lecturer, Department of Intelligent Systems, Faculty of Radiophysics and Computer Technologies

katerina-golovataya@yandex.ruСадовВ. С.SadauV. S.

Садов Василий Сергеевич, кандидат технических наук, доцент, профессор кафедры интеллектуальных систем, факультет радиофизики и компьютерных технологий

Vasili S. Sadau, Cand. Sci. (Eng.), Associate Professor, Professor of the Department of Intelligent Systems, Faculty of Radiophysics and Computer Technologies

Белорусский государственный университетBelarusian State University2020280320201711828Copyright © Чернявский А.Ф., Головатая Е.А., Садов В.С., 20202020Чернявский А.Ф., Головатая Е.А., Садов В.С.Chernyavsky A.F., Halavataya K.A., Sadau V.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1061

Трехмерная реконструкция по результатам видеоэндоскопических обследований является перспективным направлением для поддержки медицинской диагностики и планирования терапии широкого спектра патологий. Тем не менее значительную сложность представляет оценка результатов такой реконструкции и проверка соответствия полученной трехмерной модели исходной сцене. В качестве решения этой проблемы предлагается использовать моделирующую среду для эмуляции процесса получения исходных видеоэндоскопических данных по сгенерированной сцене. Рассматривается задача трехмерного моделирования пищевода с использованием среды Autodesk 3ds Max и движка визуализации Arnold, а также задача процедурной генерации текстур для модели. Описывается генерация по подобию с использованием пространственно-периодических генеративно-состязательных моделей на основе сверточных нейронных сетей. Для сравнения результата реконструкции со сценой, сгенерированной при помощи предложенной моделирующей среды, вводится критерий оптимальности, с помощью которого сравниваются отдельные этапы алгоритма трехмерной реконструкции при оптимизации по методу связок.

Three-dimensional reconstruction based on the results of video endoscopic examination is a promising area for supporting medical diagnostics and treatment planning for a wide range of pathologies. Nevertheless, the assessment of the results of such reconstruction and verification of the correspondence of the obtained three-dimensional model to the original scene is significantly challenging. As a solution to this problem, the possibility of using a modelling environment to emulate the process of obtaining source video endoscopic data from the generated scene is suggested. The problem of three-dimensional modelling of the esophagus using the Autodesk 3ds Max environment and the Arnold visualization engine is considered. The paper describes the procedural generation of textures for the model and proposes the using Periodic Spatial Generative Adversarial Network models based on convolutional neural networks. To compare the result of  reconstruction with a scene, generated using the proposed modelling environment, an optimality criterion is introduced, by which the individual stages of the three-dimensional reconstruction algorithm are compared when the model is optimized using the bundle adjustment method.

моделированиетрехмерная реконструкциягенеративно-состязательные моделигенерация текстуркритерий оптимальностиmodellingthree-dimensional reconstructiongenerative-competitive modelstexture generationoptimality criterionReferencesUsefulness of the 3D virtual visualization surgical planning simulation and 3D model for endoscopic endonasal transsphenoidal surgery of pituitary adenoma: technical report and review of literature / A. Shinomiya [et al.] // Interdisciplinary Neurosurgery. – 2018. – Vol. 13. – P. 13–19. https://doi.org/10.1016/j.inat. 2018.02.002Shinomiya A., Shindo A., Kawanishi M., Miyake K., Nakamura T., ..., Tamiya T. Usefulness of the 3D virtual visualization surgical planning simulation and 3D model for endoscopic endonasal transsphenoidal surgery of pituitary adenoma: technical report and review of literature. Interdisciplinary Neurosurgery, 2018, vol. 13, pp. 13–19. https://doi.org/10.1016/j.inat.2018.02.002Gatys, L. A. Texture synthesis using convolutional neural networks / L. A. Gatys, A. S. Ecker, M. Bethge // Advances in Neural Information Processing Systems. – 2015. – Vol. 28. – P. 262–270.Gatys L. A., Ecker A. S., Bethge M. Texture synthesis using convolutional neural networks. Advances in Neural Information Processing Systems, 2015, vol. 28, pp. 262–270.Mamgain, P. Autodesk 3ds Max 2019: a Detailed Guide to Arnold Renderer / P. Mamgain. – Padexi Academic, 2018. – 192 p.Mamgain P. Autodesk 3ds Max 2019: a Detailed Guide to Arnold Renderer. Padexi Academic, 2018, 192 p.Simonyan, K. Very deep convolutional networks for large-scale image recognition / K. Simonyan, A. Zisserman // Intern. Conf. on Learning Representations 2014 (ICLR 2014), Banff, Canada, 14–16 Apr. 2014. – Banff, 2014. – P. 1–14.Simonyan K., Zisserman A. Very deep convolutional networks for large-scale image recognition. International Conference on Learning Representations 2014 (ICLR 2014), Banff, Canada, 14–16 April 2014. Banff, 2014, рр. 1–14.Bergmann, U. Learning texture manifolds with the periodic spatial GAN / U. Bergmann, N. Jetchev, R. Vollgraf // Proc. of the 34th Intern. Conf. on Machine Learning, Sydney, Australia, 6–11 Aug. 2017. –Sydney, 2017. – Vol. 70. – P. 469–477.Bergmann U., Jetchev N., Vollgraf R. Learning texture manifolds with the periodic spatial GAN. Proceedings of the 34th International Conference on Machine Learning, Sydney, Australia, 6–11 August 2017. Sydney, 2017, vol. 70, рр. 469–477.Bundle adjustment in the large / S. Agarwal [et al.] // Proc. of the 11th European Сonf. on Computer Vision (ECCV 2010), Heraklion, Greece, 5–11 Sept. 2010. – Heraklion, 2010. – P. 29–42.Agarwal S., Snavely N., Seitz S. M., Szelisk R. Bundle adjustment in the large. Proceedings of the 11th European Conference on Computer Vision (ECCV 2010), Heraklion, Greece, 5–11 September 2010. Heraklion, 2010, рр. 29–42.Головатая, Е. А. Модель формирования изображений для трехмерной реконструкции сцен по данным видеоэндоскопических исследований / Е. А. Головатая, В. C. Садов // Вестн. Полоц. гос. ун-та. Сер. С. Фундам. науки. – 2019. – № 12. – С. 43–49.Halavataya K. А., Sadau V. S. Model formirovaniya izobrazheniy dlya trekhmernoy rekonstrukcii scen po dannym videoendoscopicheskyh issledovanii [Image formation model for three-dimensional reconstruction of scenes according to video endoscopic studies]. Vestnik Polotskogo gosudarstvennogo universiteta. Ser. S. Fundamental'nyye nauki [Vestnik of Polotsk State University. Ser. C. Basic Sciences], 2019, no. 12, pp. 43–49 (in Russian).Lowe, D. G. Distinctive image features from scale-invariant keypoints / D. G. Lowe // Intern. J. of Computer Vision. – 2004. – Vol. 60, no. 2. – P. 91–110.Lowe, D. G. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, vol. 60, no. 2, pp. 91–110.Rosten, E. Machine learning for high-speed corner detection / E. Rosten, T. Drummond // Proc. of the 9th European Сonf. on Computer Vision (ECCV 2006), Graz, Austria, 7–13 May 2006. – Graz, 2006. –P. 430–443.Rosten E., Drummond T. Machine learning for high-speed corner detection. Proceedings of the 9th European Conference on Computer Vision (ECCV 2006), Graz, Austria, 7–13 May 2006. Graz, 2006, рр. 430–443.BRIEF: binary robust independent elementary features / M. Calonder [et al.] // Proc. of the 11th European Сonf. on Computer Vision (ECCV 2010), Heraklion, Greece, 5–11 Sept. 2010. – Heraklion, 2010. – P. 778–792.Calonder M., Lepetit V., Strecha Ch., Fua P. BRIEF: binary robust independent elementary features. Proceedings of the 11th European Conference on Computer Vision (ECCV 2010), Heraklion, Greece, 5–11 September 2010. Heraklion, 2010, рр. 778–792.ORB: an efficient alternative to SIFT or SURF / E. Rublee [et al.] // IEEE Intern. Conf. on Computer Vision (ICCV 2011), Barcelona, 6–13 Nov. 2011. – Barcelona, 2011. – P. 2564–2571.Rublee E., Rabaud V., Konolige K., Bradski G. ORB: an efficient alternative to SIFT or SURF. IEEE International Conference on Computer Vision (ICCV 2011), Barcelona, 6–13 November 2011. Barcelona, 2011, рр. 2564–2571.Halavataya, K. Optimizing local feature description and matching for realtime video sequence object detection / K. Halavataya, V. Sadov // Open Semantic Technologies for Intelligent Systems : Research Papers Collection / BSUIR. – Minsk, 2019. – P. 269–272.Halavataya K., Sadov V. Optimizing local feature description and matching for realtime video sequence object detection. Open Semantic Technologies for Intelligent Systems. Minsk, 2019, pp. 269–272.

The authors declare that there are no conflicts of interest present.