informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2021-18-1-43-60inform-1128Research ArticleОБРАБОТКА СИГНАЛОВ, ИЗОБРАЖЕНИЙ, РЕЧИ, ТЕКСТА И РАСПОЗНАВАНИЕ ОБРАЗОВSIGNAL, IMAGE, SPEECH, TEXT PROCESSING AND PATTERN RECOGNITIONОбнаружение и сопровождение объектов на видеопоследовательностях: формализация, критерии и результатыObject detection and tracking in video sequences: formalization, metrics and resultsБогушР. П.BohushR. P.

Богуш Рихард Петрович, кандидат технических наук, доцент,заведующий кафедрой вычислительных систем и сетей

ул. Блохина, 29, Новополоцк, 211440

Rykhard P. Bohush, Cand. Sci. (Eng.), Associate Professor, Head of the Department of Computer Systems and Networks

st. Blokhin, 29, Novopolotsk, 211440

bogushr@mail.ruАбламейкоС. В.AblameykoS. V.

Абламейко Сергей Владимирович, академик Национальной академии наук Беларуси, доктор технических наук, профессор, главный научный сотрудник; профессор механико-математического факультета

ул. Сурганова, 6, Минск, 220012

пр. Независимости, 4, Минск, 220030

Sergey V. Ablameyko, Academician of the National Academy of Sciences of Belarus, Dr. Sci. (Eng.), Professor, Сhief Researcher; Professor of the Faculty of Mechanics and Mathematics

av. Nezaliezhnasti, 4, 220030, Minsk

st. Surganova, 6, Minsk, 220012

ablameyko@bsu.byПолоцкий государственный университетPolotsk State UniversityОбъединенный институт проблем информатики Национальной академии наук Беларуси; Белорусский государственный университетBelarusian State University; The United Institute of Informatics Problems of the National Academy of Sciences of Belarus2021290320211814360Copyright © Богуш Р.П., Абламейко С.В., 20212021Богуш Р.П., Абламейко С.В.Bohush R.P., Ablameyko S.V.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1128

Одним из перспективных направлений развития и внедрения искусственного интеллекта является автоматическое обнаружение и отслеживание движущихся объектов в системах видеонаблюдения. В работе представлена формализация обнаружения и сопровождения одного и множества объектов на видеопоследовательностях. Рассмотрены критерии, характеризующие качество обнаружения сопровождаемых объектов, точность определения местоположения объекта на кадре, траекторию движения и точность сопровождения множества объектов. На основе рассмотренного обобщения разработан алгоритм сопровождения людей, использующий сверточные нейронные сети для детектирования людей и формирования признаков. Нейросетевые признаки включены в составной дескриптор, содержащий также геометрические и цветовые характеристики для описания каждого обнаруженного человека в кадре. Приведены результаты экспериментов на основе рассмотренных критериев, экспериментально подтверждено, что улучшение работы детектора позволяет повысить точность сопровождения объектов. Представлены примеры кадров обработанных видеопоследовательностей с визуализацией траекторий движения людей.

One of the promising areas of development and implementation of artificial intelligence is the automatic detection and tracking of moving objects in video sequence. The paper presents a formalization of the detection and tracking of one and many objects in video. The following metrics are considered: the quality of detection of tracked objects, the accuracy of determining the location of the object in a frame, the trajectory of movement, the accuracy of tracking multiple objects. Based on the considered generalization, an algorithm for tracking people has been developed that uses the tracking through detection method and convolutional neural networks to detect people and form features. Neural network features are included in a composite descriptor that also contains geometric and color features to describe each detected person in the frame. The results of experiments based on the considered criteria are presented, and it is experimentally confirmed that the improvement of the detector operation makes it possible to increase the accuracy of tracking objects. Examples of frames of processed video sequences with visualization of human movement trajectories are presented.

видеонаблюдениедвижущийся объектсверточная нейронная сетьсопровождение через обнаружениетраектория движенияvideo surveillancemoving objectconvolutional Neural Networktracking by detectionmotion trajectoryReferencesMaggio, E. Video Tracking: Theory and Practice / A. Cavallaro, E. Maggio. – Wiley, 2011. – 295 р.Maggio E., Cavallaro А. Video Tracking: Theory and Practice. Wiley, 2011, 295 р.Datta, A. K. Face Detection and Recognition: Theory and Practice / A. K. Datta, M. Datta, P. K. Banerjee. – CRC Press, 2016. – 350 p.Datta A. K., Datta M., Banerjee P. K. Face Detection and Recognition: Theory and Practice. CRC Press, 2016, 350 p.Купляков, Д. А. Алгоритм сопровождения людей в видео на основе метода Монте-Карло для Марковских цепей / Д. А. Купляков, Е. В. Шальнов, А. С. Конушин // Программирование. – 2017. – № 4. – С. 13–21. https://doi.org/10.1134/s0361768817040053Kuplyakov D. A., Shalnov E. V., Konushin A. S. Algoritm soprovozhdenija ljudej v video na osnove metoda Monte-Karlo dlja Markovskih cepej [Markov chain Monte Carlo based video tracking algorithm]. Programmirovanie [Programming and Computer Software], 2017, no. 4, pр. 13–21 (in Russian). https://doi.org/10.1134/s0361768817040053Кирпичников, А. П. Обнаружение и сопровождение людей в интеллектуальных детекторах внештатных ситуаций / А. П. Кирпичников, С. А. Ляшева, М. П. Шлеймович // Вестник Казанского технологического университета. – 2014. – Т. 17. – С. 351–356.Kirpichnikov A. P., Lyasheva S. А., Shleymovich М. P. Obnaruzhenie i soprovozhdenie ljudej v intellektual'nyh detektorah vneshtatnyh situacij [Detection and tracking of people in intelligent detectors of emergency situations]. Vestnik Kazanskogo tehnologicheskogo universiteta [Kazan Technological University Bulletin], 2014, vol. 17, pр. 351–356 (in Russian).Ravish Aradhya, H. V. Object detection and tracking using deep learning and artificial intelligence for video surveillance applications / H. V. Ravish Aradhya // Intern. J. of Advanced Computer Science and Applications. – 2019. – Vol. 10, no. 12. – Р. 517–530. https://doi.org/10.14569/IJACSA.2019.0101269Ravish Aradhya H. V. Object detection and tracking using deep learning and artificial intelligence for video surveillance applications. International Journal of Advanced Computer Science and Applications, 2019, vol. 10, no. 12, pр. 517–530. https://doi.org/10.14569/IJACSA.2019.0101269Mane, S. Moving object detection and tracking using convolutional neural networks / S. Mane,Mane S., Mangale S. Moving object detection and tracking using convolutional neural networks. Second International Conference on Intelligent Computing and Control Systems (ICICCS). Madurai, India, 2018, pр. 1809–1813. https://doi.org/10.1109/ICCONS.2018.8662921S. Mangale // Second Intern. Conf. on Intelligent Computing and Control Systems (ICICCS). – Madurai, India, 2018. – Р. 1809–1813. https://doi.org/10.1109/ICCONS.2018.8662921Bogush R., Maltsev S., Kastryuk A., Brovko N., Gluhau D. Motion detection and tracking algorithms in video streams. VNU Journal of Science, Mathematics – Physics, 2009, vol. 25, no. 3, pр. 143–151.Motion detection and tracking algorithms in video streams / R. Bogush [et al.] // VNU J. of Science, Mathematics – Physics. – 2009. – Vol. 25, no. 3. – P. 143–151.Bogush R. P., Zakharova I. Yu., Ablameyko S. V. Algoritm soprovozhdenija ljudej na videoposledovatel'nosti s ispol'zovaniem identifikacii po licam dlja nabljudenija vnutri pomeshhenij [Algorithm for person tracking on video sequences using face identification for indoor surveillance]. Vestnik informacionnyh i komp'juternyh tehnologij [Herald of Computer and Information Technologies], 2020, no. 7, pр. 3–14 (in Russian). https://doi.org/10.14489/vkit.2020.07Богуш, Р. П. Алгоритм сопровождения людей на видеопоследовательности с использованием идентификации по лицам для наблюдения внутри помещений / Р. П. Богуш, И. Ю. Захарова, С. В. Абламейко // Вестник информационных и компьютерных технологий. – 2020. – № 7. – С. 3–14. https://doi.org/10.14489/vkit.2020.07Ye S., Zhican B., Chen C., Bohush R., Ablameyko S. An effective algorithm to detect both smoke and flame using color and wavelet analysis. Pattern Recognition and Image Analysis, 2017, vol. 27, no. 1, pр. 131–138. https://doi.org/10.1134/S1054661817010138An effective algorithm to detect both smoke and flame using color and wavelet analysis / S. Ye. [et al.] // Pattern Recognition and Image Analysis. – 2017. – Vol. 27, no. 1. – Р. 131–138. https://doi.org/10.1134/S1054661817010138Zalesky B. A., Kravchonok A. I. Otslezhivanie dinamicheskih objektov i ih raspoznavanie s pomoshh'ju grafovyh algoritmov [Tracking dynamical objects and their recognition by graph algorithms]. Informatika [Informatics], 2006, no. 2(10), p. 7–26 (in Russian).Залесский, Б. А. Отслеживание динамических объектов и их распознавание с помощью графовых алгоритмов / Б. А. Залесский, А. И. Кравчонок // Информатика. – 2006. – № 2(10). – С. 7–26.Zalesky B. A. Algoritm otslezhivanija objektov dvizhushhejsja videokameroj [Object tracking algorithm by moving video camera]. Doklady Nacional'noj akademii nauk Belarusi [Doklady of the National Academy of Sciences of Belarus], 2020, vol. 64, no. 2, pр. 144–149 (in Russian). https://doi.org/10.29235/1561-8323-2020-64-2-144-149Залесский, Б. А. Алгоритм отслеживания объектов движущейся видеокамерой / Б. А. Залесский // Докл. Нац. акад. наук Беларуси. – 2020. – Т. 64, № 2. – С. 144–149. https://doi.org/10.29235/1561-8323-2020-64-2-144-149Agafonov V. Yu., Rozaliev V. L., Zaboleeva-Zotova A. V. Ispol'zovanie fil'tra Kalmana v zadachah trekinga objektov [Using the Kalman filter in object tracking tasks. Intelligent systems]. Intellektual'nye sistemy. Teorija i prilozhenija [Theory and Applications], 2016, vol. 20, no. 4, рр. 13–17 (in Russian).Агафонов, В. Ю. Использование фильтра Калмана в задачах трекинга объектов / В. Ю. Агафонов, В. Л. Розалиев, А. В. Заболеева-Зотова // Интеллектуальные системы. Теория и приложения. – 2016. – Т. 20, № 4. – С. 13–17.Gustafsson F., Gunnarsson F., Bergman N. Particle filters for positioning, navigation and tracking. IEEE Transactions on Signal Processing, 2002, vol. 50(2), pр. 425–437. https://doi.org/10.1109/78.978396Gustafsson, F. Particle filters for positioning, navigation and tracking / F. Gustafsson, F. Gunnarsson, N. Bergman // IEEE Transactions on Signal Processing. – 2002. – Vol. 50(2). – P. 425–437. https://doi.org/10.1109/78.978396Ristani E., Solera F., Zou R., Cucchiara R., Tomasi C. Performance measures and a data set for multi-target, multi-camera tracking. Computer Vision ECCV 2016 Workshops. Lecture Notes in Computer Science, 2016, vol. 9914, рp. 17–35.Performance measures and a data set for multi-target, multi-camera tracking / E. Ristani [et al.] // Computer Vision ECCV 2016 Workshops. Lecture Notes in Computer Science. – 2016. – Vol. 9914. – Р. 17–35.Dendorfer P., Os ep ., ilan ., Schindler ., remers ., , Leal-Taixé L. MOTChallenge: A benchmark for single-camera multiple target tracking. International Journal of Computer Vision, 2020. Available at: https://link.springer.com/article/10.1007/s11263-020-01393-0 (accessed 12.06.2020). https://doi.org/10.1007/s11263-020-01393-0MOTChallenge: A benchmark for single-camera multiple target tracking [Electronic resource] / P. Dendorfer [et al.] // Intern. J. of Computer Vision. – 2020. – Mode of access: https://link.springer.com/article/10.1007/s11263-020-01393-0. – Date of access: 12.06.2020. https://doi.org/10.1007/s11263-020-01393-0Shchelkunov A. E., Kovalev V. V., Morev K. I., Sidko I. V. Metriki ocenki algoritmov avtomaticheskogo soprovozhdenija [The metrics for tracking algorithms evaluation]. Izvestija Juzhnogo federal'nogo universiteta. Tehnicheskie nauki [News of the Southern Federal University. Engineering Sciences], 2020, no. 1(211), pр. 233–245 (in Russian).Метрики оценки алгоритмов автоматического сопровождения / А. Е. Щелкунов [и др.] // Известия ЮФУ. Техн. науки. – 2020. – № 1(211). – С. 233–245.Bochkovskiy A., Wang Ch.-Y., Liao H.-Y. M. YOLOv4: Optimal Speed and Accuracy of Object Detection. Available at: https://arxiv.org/abs/2004.10934 (accessed 12.06.2020).Bochkovskiy, A. YOLOv4: Optimal Speed and Accuracy of Object Detection [Electronic resource] / A. Bochkovskiy, Ch.-Y. Wang, H.-Y. M. Liao. – Mode of access: https://arxiv.org/abs/2004.10934. – Date of access: 12.06.2020.Bohush R. P., Zakharava I. Y. Algoritm soprovozhdenija ljudej na videoposledovatel'nostjah s ispol'zovaniem svertochnyh nejronnyh setej dlja videonabljudenija vnutri pomeshhenij [Person tracking algorithm based on convolutional neural network for indoor video surveillance]. Komp'juternaja optika [Computer Optics], 2020, vol. 44, no. 1, рр. 109–116 (in Russian). https://doi.org/10.18287/2412-6179-CO-565Богуш, Р. П. Алгоритм сопровождения людей на видеопоследовательностях с использованием сверточных нейронных сетей для видеонаблюдения внутри помещений / Р. П. Богуш, И. Ю. Захарова // Компьютерная оптика. – 2020. – Т. 44, № 1. – С. 109–116. https://doi.org/10.18287/2412-6179-CO-565Kuhn H. W. The Hungarian method for the assignment problem. Naval Research Logistics Quarterly, 1955, no. 2, рр. 83–97.Kuhn, H. W. The Hungarian method for the assignment problem / H. W. Kuhn // Naval Research Logistics Quarterly. – 1955. – No. 2. – P. 83–97.Wojke N., Bewley A., Paulus D., Wojke N. Simple online and realtime tracking with a deep association metric. Proceedings of the IEEE International Conference on Image Processing (ICIP). Beijing, China, 2017, pр. 3645–3649. https://doi.org/10.1109/ICIP.2017.8296962Wojke, N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // Proc. of the IEEE Intern. Conf. on Image Processing (ICIP). – Beijing, China, 2017. – P. 3645–3649. https://doi.org/10.1109/ICIP.2017.8296962Wojke, N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // Proc. of the IEEE Intern. Conf. on Image Processing (ICIP). – Beijing, China, 2017. – P. 3645–3649. https://doi.org/10.1109/ICIP.2017.8296962

The authors declare that there are no conflicts of interest present.