Увеличение точности реидентификации людей на основе двухэтапного обучения сверточных нейронных сетей и аугментации

Цели. Основной целью является повышение точности повторной идентификации людей в распределенных системах видеонаблюдения.

Методы. Используются методы машинного обучения.

Результаты. Представлена технология двухэтапного обучения сверточных нейронных сетей (СНС), отличающаяся использованием аугментации изображений для предварительного этапа и точной настройки весовых коэффициентов на основе исходного набора изображений. На первом этапе обучение осуществляется на аугментированных данных, затем выполняется точная настройка СНС на исходных изображениях, что способствует повышению эффективности ре-идентификации за счет уменьшения потерь при обучении. Использование на двух этапах разных данных не позволяет СНС запоминать тренировочные примеры, тем самым предотвращая переобучение.

Предложенный метод расширения набора данных для обучения отличается тем, что совмещает циклический сдвиг пикселей изображения, исключение цветности и замещение фрагмента уменьшенной копией другого из пакета, подаваемого на вход СНС. Данный метод аугментации позволяет увеличить разнообразие обучающих данных, что повышает робастность СНС ко многим факторам: перекрытию людей, изменению освещенности, уменьшению разрешения изображения, зависимости от местоположения отличительных особенностей объекта интереса.

Заключение. Применение технологии двухэтапного обучения и предложенного метода аугментации данных позволило повысить точность повторной идентификации людей для разных СНС и наборов данных в метриках: Rank1 на 4% – 21%; mAP на 10% – 31%; mINP на 39% – 60%.

1. ImageNet: A large-scale hierarchical image database / J. Deng [et al.] // 2009 IEEE Conf. on Computer Vision and Pattern Recognition, Miami, FL, USA, 20–25 June 2009. – Miami, 2009. – P. 248–255. https://doi.org/10.1109/CVPR.2009.5206848

2. Unsupervised pre-training for person re-identification / D. Fu [et al.] // 2021 IEEE/CVF Conf. on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 20–25 June 2021. – Nashville, 2021. – P. 14745–14754. https://doi.org/10.1109/CVPR46437.2021.01451

3. Богатырева, А. А. Исследование способности к transfer learning сверточных нейронных сетей, обученных на ImageNet / А. А. Богатырева, А. Р. Виноградова, С. А. Тихомирова // Междунар. журнал прикладных и фундаментальных исследований. – 2019. – № 7. – С. 106–111.

4. Конарев, Д. И. Повышение точности предварительно обученных нейронных сетей путем тонкой настройки / Д. И. Конарев, А. А. Гуламов // Материалы конф. «Информационные технологии в управлении», Санкт-Петербург, 6–8 окт. 2020 г. – СПб., 2020. – С. 200–212.

5. DeVries, T. Improved Regularization of Convolutional Neural Networks with CutOut / T. DeVries, G. W. Taylor. – 2017. – Mode of access: https://doi.org/10.48550/arXiv.1708.04552. – Date of access: 09.08.2022.

6. Dropout: A simple way to prevent neural networks from overfitting / N. Srivastava [et al.] // J. of Machine Learning Research. – 2014. – No. 15. – P. 1929–1958. https://doi.org/10.5555/2627435.2670313

7. Choice of activation function in convolution neural network for person re-identification in video surveillance systems / H. Chen [et al.] // Programming and Computer Software. – 2022. – Vol. 48, no. 5. – P. 312–321. http://doi.org/10.1134/S0361768822050036

8. Random Erasing Data Augmentation / Z. Zhong [et al.]. – 2020. – Mode of access: https://doi.org/10.1609/AAAI.V34I07.7000. – Date of access: 09.08.2022.

9. CutMix: Regularization strategy to train strong classifiers with localizable features / S. Yun [et al.] // 2019 IEEE/CVF Intern. Conf. on Computer Vision (ICCV), Seoul, Korea (South), 27 Oct. – 2 Nov. 2019. – Seoul, 2019. – P. 6022–6031. https://doi.org/10.1109/ICCV.2019.00612

10. Cut-thumbnail: A novel data augmentation for convolutional neural network / T. Xie [et al.] // Proc. of the 29th ACM Intern. Conf. on Multimedia, Virtual Event, China, 20–24 Oct. 2021. – Virtual Event, China, 2021. – Р. 1627–1635. https://doi.org/10.1145/3474085.3475302

11. Mixup: Beyond Empirical Risk Minimization / H. Zhang [et al.]. – 2018. – Mode of access: https://doi.org/10.48550/arXiv.1710.09412. – Date of access: 09.08.2022.

12. ImageNet-Trained CNNs are Biased Towards Texture; Increasing Shape Bias Improves Accuracy and Robustness / R. Geirhos [et al.]. – 2019. – Mode of access: https://doi.org/10.48550/arXiv.1811.12231. – Date of access: 09.08.2022.

13. Gong, Y. An Effective Data Augmentation for Person Re-identification / Y. Gong, Z. Zeng. – 2021. – Mode of access: https://doi.org/10.48550/arXiv.2101.08533. – Date of access: 09.08.2022.

14. Adversarially occluded samples for person re-identification / H. Huang [et al.] // 2018 IEEE/CVF Conf. on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018. – Salt Lake City, 2018. – P. 5098–5107. https://doi.org/10.1109/CVPR.2018.00535

15. Deep learning for person re-identification: A survey and outlook / M. Ye [et al.] // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2021. – Vol. 44, iss. 6. – Р. 2872–2893. https://doi.org/10.1109/TPAMI.2021.3054775

16. Deep residual learning for image recognition / K. He [et al.] // 2016 IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, 27–30 June 2016. – Las Vegas, 2016. – P. 770–778. https://doi.org/10.1109/cvpr.2016.90

17. Huang, G. Densely connected convolutional networks / G. Huang, Z. Liu, K. Q. Weinberger // 2017 IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21–26 July 2017. – Honolulu, 2017. – P. 2261–2269. https://doi.org/10.1109/CVPR.2017.243

18. Scalable person re-identification: A benchmark / L. Zheng [et al.] // 2015 IEEE Intern. Conf. on Computer Vision (ICCV), Santiago, Chile, 7–13 Dec. 2015. – Santiago, 2015. – P. 1116–1124. https://doi.org/10.1109/ICCV.2015.133

19. Performance Measures and a Data Set for Multi-target, Multi-camera Tracking / E. Ristani [et al.]. – 2016. – Mode of access: https://doi.org/10.1007/978-3-319-48881-3_2. – Date of access: 09.08.2022.

20. Person transfer GAN to bridge domain gap for person re-identification / L. Wei [et al.] // 2018 IEEE/CVF Conf. on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, 18–23 June 2018. – Salt Lake City, 2018. – P. 79–88. https://doi.org/10.1109/CVPR.2018.00016