Обнаружение и сопровождение объектов на видеопоследовательностях: формализация, критерии и результаты

Одним из перспективных направлений развития и внедрения искусственного интеллекта является автоматическое обнаружение и отслеживание движущихся объектов в системах видеонаблюдения. В работе представлена формализация обнаружения и сопровождения одного и множества объектов на видеопоследовательностях. Рассмотрены критерии, характеризующие качество обнаружения сопровождаемых объектов, точность определения местоположения объекта на кадре, траекторию движения и точность сопровождения множества объектов. На основе рассмотренного обобщения разработан алгоритм сопровождения людей, использующий сверточные нейронные сети для детектирования людей и формирования признаков. Нейросетевые признаки включены в составной дескриптор, содержащий также геометрические и цветовые характеристики для описания каждого обнаруженного человека в кадре. Приведены результаты экспериментов на основе рассмотренных критериев, экспериментально подтверждено, что улучшение работы детектора позволяет повысить точность сопровождения объектов. Представлены примеры кадров обработанных видеопоследовательностей с визуализацией траекторий движения людей.

1. Maggio, E. Video Tracking: Theory and Practice / A. Cavallaro, E. Maggio. – Wiley, 2011. – 295 р.

2. Datta, A. K. Face Detection and Recognition: Theory and Practice / A. K. Datta, M. Datta, P. K. Banerjee. – CRC Press, 2016. – 350 p.

3. Купляков, Д. А. Алгоритм сопровождения людей в видео на основе метода Монте-Карло для Марковских цепей / Д. А. Купляков, Е. В. Шальнов, А. С. Конушин // Программирование. – 2017. – № 4. – С. 13–21. https://doi.org/10.1134/s0361768817040053

4. Кирпичников, А. П. Обнаружение и сопровождение людей в интеллектуальных детекторах внештатных ситуаций / А. П. Кирпичников, С. А. Ляшева, М. П. Шлеймович // Вестник Казанского технологического университета. – 2014. – Т. 17. – С. 351–356.

5. Ravish Aradhya, H. V. Object detection and tracking using deep learning and artificial intelligence for video surveillance applications / H. V. Ravish Aradhya // Intern. J. of Advanced Computer Science and Applications. – 2019. – Vol. 10, no. 12. – Р. 517–530. https://doi.org/10.14569/IJACSA.2019.0101269

6. Mane, S. Moving object detection and tracking using convolutional neural networks / S. Mane,

7. S. Mangale // Second Intern. Conf. on Intelligent Computing and Control Systems (ICICCS). – Madurai, India, 2018. – Р. 1809–1813. https://doi.org/10.1109/ICCONS.2018.8662921

8. Motion detection and tracking algorithms in video streams / R. Bogush [et al.] // VNU J. of Science, Mathematics – Physics. – 2009. – Vol. 25, no. 3. – P. 143–151.

9. Богуш, Р. П. Алгоритм сопровождения людей на видеопоследовательности с использованием идентификации по лицам для наблюдения внутри помещений / Р. П. Богуш, И. Ю. Захарова, С. В. Абламейко // Вестник информационных и компьютерных технологий. – 2020. – № 7. – С. 3–14. https://doi.org/10.14489/vkit.2020.07

10. An effective algorithm to detect both smoke and flame using color and wavelet analysis / S. Ye. [et al.] // Pattern Recognition and Image Analysis. – 2017. – Vol. 27, no. 1. – Р. 131–138. https://doi.org/10.1134/S1054661817010138

11. Залесский, Б. А. Отслеживание динамических объектов и их распознавание с помощью графовых алгоритмов / Б. А. Залесский, А. И. Кравчонок // Информатика. – 2006. – № 2(10). – С. 7–26.

12. Залесский, Б. А. Алгоритм отслеживания объектов движущейся видеокамерой / Б. А. Залесский // Докл. Нац. акад. наук Беларуси. – 2020. – Т. 64, № 2. – С. 144–149. https://doi.org/10.29235/1561-8323-2020-64-2-144-149

13. Агафонов, В. Ю. Использование фильтра Калмана в задачах трекинга объектов / В. Ю. Агафонов, В. Л. Розалиев, А. В. Заболеева-Зотова // Интеллектуальные системы. Теория и приложения. – 2016. – Т. 20, № 4. – С. 13–17.

14. Gustafsson, F. Particle filters for positioning, navigation and tracking / F. Gustafsson, F. Gunnarsson, N. Bergman // IEEE Transactions on Signal Processing. – 2002. – Vol. 50(2). – P. 425–437. https://doi.org/10.1109/78.978396

15. Performance measures and a data set for multi-target, multi-camera tracking / E. Ristani [et al.] // Computer Vision ECCV 2016 Workshops. Lecture Notes in Computer Science. – 2016. – Vol. 9914. – Р. 17–35.

16. MOTChallenge: A benchmark for single-camera multiple target tracking [Electronic resource] / P. Dendorfer [et al.] // Intern. J. of Computer Vision. – 2020. – Mode of access: https://link.springer.com/article/10.1007/s11263-020-01393-0. – Date of access: 12.06.2020. https://doi.org/10.1007/s11263-020-01393-0

17. Метрики оценки алгоритмов автоматического сопровождения / А. Е. Щелкунов [и др.] // Известия ЮФУ. Техн. науки. – 2020. – № 1(211). – С. 233–245.

18. Bochkovskiy, A. YOLOv4: Optimal Speed and Accuracy of Object Detection [Electronic resource] / A. Bochkovskiy, Ch.-Y. Wang, H.-Y. M. Liao. – Mode of access: https://arxiv.org/abs/2004.10934. – Date of access: 12.06.2020.

19. Богуш, Р. П. Алгоритм сопровождения людей на видеопоследовательностях с использованием сверточных нейронных сетей для видеонаблюдения внутри помещений / Р. П. Богуш, И. Ю. Захарова // Компьютерная оптика. – 2020. – Т. 44, № 1. – С. 109–116. https://doi.org/10.18287/2412-6179-CO-565

20. Kuhn, H. W. The Hungarian method for the assignment problem / H. W. Kuhn // Naval Research Logistics Quarterly. – 1955. – No. 2. – P. 83–97.

21. Wojke, N. Simple online and realtime tracking with a deep association metric / N. Wojke, A. Bewley, D. Paulus // Proc. of the IEEE Intern. Conf. on Image Processing (ICIP). – Beijing, China, 2017. – P. 3645–3649. https://doi.org/10.1109/ICIP.2017.8296962