Распознавание изображений товаров электронной коммерции с использованием модели внимания и нейронной сети YOLACT
https://doi.org/10.37661/1816-0301-2022-19-3-74-85
Аннотация
Цели. Предлагается алгоритм распознавания изображений товаров электронной коммерции с использованием модели внимания и нейронной сети YOLACT. Целью работы является улучшение взаимодействия между перекрестными признаками изображения с помощью модульной архитектуры, в которой применяется модель внимания к разным веткам сети.
Методы. Основными методами распознавания изображений товаров электронной коммерции являются создание и аннотация набора данных для обучения нейронной сети, выбор архитектуры и встраивание модели внимания, валидация и проведение тестов, а также интерпретация результатов.
Результаты. Сверточная нейронная сеть YOLACT модифицировалась моделью внимания для решения задачи распознавания объектов электронной коммерции, что позволило получить более качественные результаты, чем у классической сети YOLACT.
Заключение. В ходе эксперимента был подготовлен набор данных товаров электронной коммерции, произведена его аннотация, построены две нейронные сети для сравнения результатов. Результаты исследования показали, что использование модели внимания положительно влияет как на качество обученной сети, так и на скорость сходимости. Это отражается в улучшенных метриках для распознавания и сегментации объектов.
Об авторах
В. В. Сорокина
Белорусский государственный университет
Беларусь
Беларусь
Сорокина Виктория Вадимовна, аспирант кафедры веб-технологий и компьютерного моделирования механико-математического факультета
пр. Независимости, 4, Минск, 220050
С. В. Абламейко
Белорусский государственный университет; Объединенный институт проблем информатики Национальной академии наук Беларуси
Беларусь
Беларусь
Абламейко Сергей Владимирович, академик НАН Беларуси, доктор технических наук, профессор, лауреат Государственной премии Республики Беларусь, заслуженный деятель науки Республики Беларусь
пр. Независимости, 4, Минск, 220050
ул. Сурганова, 6, Минск, 220012
Список литературы
1. Bolya D., Zhou C., Xiao F., Lee Y. J. YOLACT: Real-time instance segmentation. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), 27 October – 2 November 2019, pp. 9157–9166.
2. Bahdanau D., Cho K., Bengio Y. Neural Machine Translation by Jointly Learning to Align and Translate. 3rd International Conference on Learning Representations, San Diego, CA, USA, 7–9 May 2015. Available at: https://arxiv.org/abs/1409.0473?context=stat (accessed 01.02.2021).
3. Chaudhuri A., Messina P., Kokkula S., Subramanian A., Krishnan A., …, Kandaswamy V. A smart system for selection of optimal product images in e-commerce. IEEE International Conference on Big Data (Big Data), Seattle, WA, USA, 10–13 December 2018, pp. 1728–1736.
4. Zhang X. Content-based e-commerce image classification research. IEEE Access, 2020, vol. 8, pp. 160213–160220.
5. Bossard L., Dantone M., Leistner C., Wengert C., Quack T., Van Gool L. Apparel classification with style. Asian Conference on Computer Vision, Berlin, 2012, vol. 7727, рр. 321–335.
6. Lao B., Jagadeesh K. Convolutional neural networks for fashion classification and object detection. CCCV 2015 Computer Vision, рр. 120–129.
7. Dai J., He K., Li Y., Ren S., Sun J. Instance-sensitive fully convolutional networks. 14th European Conference on Computer Vision, Amsterdam, 11–14 October 2016, vol. 9910, рр. 534–549.
8. He K., Zhang X., Ren S., Sun J. Deep Residual Learning for Image Recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 27–30 June 2016, 2016, рр. 770–778.
9. Green B. Canny Edge Detecor. Available at: https://docs.opencv.org/master/da/d22/tutorial_py_canny.html (accessed 01.02.2021).
10. Pech-Pacheco J. L., Cristobal G., Chamorro-Martinez J., Fernandez-Valdivia J. Diatom Autofocusing in Brightfield Microscopy: A Comparative Study. Available at: http://optica.csic.es/papers/icpr2k.pdf (accessed 01.02.2021).
11. He K. Mask R-CNN. IEEE International Conference on Computer Vision (ICCV), Venice, 22–29 October 2017, рр. 2980–2988.
12. Qi H., Dai J., Ji X., Wei Y. Fully convolutional instance-aware semantic segmentation. IEEE International Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, 21–26 July 2017, рр. 4438–4446.
13. Sorokina V., Ablameyko S. Neural network training acceleration by weight standardization in segmentation of electronic commerce images. Studies in Computational Intelligence, 2020, vol. 976, рр. 237–244.
Дополнительные файлы
Рецензия
Для цитирования:
Сорокина В.В., Абламейко С.В. Распознавание изображений товаров электронной коммерции с использованием модели внимания и нейронной сети YOLACT. Информатика. 2022;19(3):74-85. https://doi.org/10.37661/1816-0301-2022-19-3-74-85
For citation:
Sorokina V.V., Ablameyko S.V. E-commerce image recognition using attention model and YOLACT neural network. Informatics. 2022;19(3):74-85. (In Russ.) https://doi.org/10.37661/1816-0301-2022-19-3-74-85
Просмотров: 396
Послать статью по эл. почте 