Распознавание состава ткани предметов одежды на изображении в сфере электронной коммерции с использованием нейронных сетей

Цели. Поставлена цель разработать новый подход к распознаванию состава ткани предметов одежды на изображении в сфере электронной коммерции путем использования генеративно-состязательной сети для создания синтетических изображений предметов одежды с известным составом ткани, используемых затем для обучения сверточной нейронной сети при классификации состава ткани реальных изображений одежды. Вместо классического изображения предмета одежды генерируется копия, у которой материал увеличен до волокон и структуры ткани.

Методы. Основными методами распознавания состава ткани предметов одежды на изображении в сфере электронной коммерции являются создание и аннотация наборов данных для обучения нейронных сетей, синтез изображений ткани предметов одежды, выбор архитектуры и ее модификация, валидация и проведение тестов, а также интерпретация результатов.

Результаты. Результаты экспериментов, проведенных с помощью предложенного подхода, показывают его эффективность при точном определении состава ткани предметов одежды в сфере электронной коммерции, что позволяет использовать данный метод для улучшения поиска и просмотра на веб-сайтах.

Заключение. При помощи генеративно-состязательной сети был синтезирован набор данных товаров электронной коммерции, произведена его аннотация, построены нейронные сети для распознавания состава ткани предметов одежды, проведено сравнение результатов. Результаты исследования показали, что новый подход для распознавания ткани предметов одежды обладает высокой точностью в сравнении с уже известными методами. Дополнительное использование модели внимания также дает хорошие результаты, что отражается в улучшении метрик.

1. Сорокина, В. В. Выделение отдельных участков тела человека на изображении с использованием нейронных сетей и модели внимания / В. В. Сорокина, С. В. Абламейко // Журнал Бел. гос. ун-та. Математика. Информатика. - 2022. - № 2. - С. 94-106.

2. Ronneberger, O. U-Net: convolutional networks for biomedical image segmentation / O. Ronnenberger, P. Fischer, T. Brox // 18th Intern. Conf. on Medical Image Computing and Computer-Assisted Intervention, MICCAI 2015, Munich, Germany, 5-9 Oct. 2015. - Munich, 2015. - Part III. - Р. 234-241. https://doi.org/10.1007/978-3-319-24574-4_28

3. Suciati, N. Fractal-based texture and HSV color features for fabric image retrieval / N. Suciati, D. Herumurti, A. Y. Wijaya // 5th IEEE Intern. Conf. on Control System, Computing and Engineering, ICCSCE 2015, Batu Ferringhi, Penang, Malaysia, 27-29 Nov. 2015. - Batu Ferringhi, 2015. - Р. 178-182.

4. A new method of printed fabric image retrieval based on color moments and gist feature description / J. Jing [et al.] // Textile Research J. - 2016. - Vol. 86, iss. 11. - Р. 1137-1150. https://doi.org/10.1177/0040517515606378

5. SKL algorithm based fabric image matching and retrieval / Y. Cao [et al.] // Ninth Intern. Conf. on Digital Image Processing (ICDIP 2017), Hong Kong, China, 19-22 May 2017. - Hong Kong, 2017. - Vol. 10420. - Р. 104201F.

6. Wang, X. Fabric identification using convolutional neural network / X. Wang, G. Wu, Y. Zhong // Artificial Intelligence on Fashion and Textiles : Proceedings of the Artificial Intelligence on Fashion and Textiles (AIFT) Conf. 2018, Hong Kong, 3-6 July 2018. - Hong Kong, 2018. - Р. 93-100. https://doi.org/10.1007/978-3-319-99695-0_12

7. Sorokina, V. Neural network training acceleration by weight standardization in segmentation of electronic commerce images / V. Sorokina, S. Ablameyko // Studies in Computational Intelligence. - 2020. - Vol. 976. - P. 237-244.

8. Fine-grained material classification using micro-geometry and reflectance / C. Kampouris [et al.] // 14th European Conf. on Computer Vision, Amsterdam, the Netherlands, 11-14 Oct. 2016. - Amsterdam, 2016. - Part V. - Р. 778-792.

9. Image-to-image translation with conditional adversarial networks / P. Isola [et al.] // 2017 IEEE Conf. on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 21-26 July 2017. - Honolulu, 2017. - Р. 1125-1134.

10. Simonyan, K. Very deep convolutional networks for large-scale image recognition / K. Simonyan, A. Zisserman // Intern. Conf. on Learning Representations, San Diego, 7-9 May 2015. - San Diego, 2015. - P. 1137-1149.

11. Bahdanau, D. Neural machine translation by jointly learning to align and translate / D. Bahdanau, K. Cho, Y. Bengio // 3rd Intern. Conf, on Learning Representations, ICLR 2015, San Diego, CA, USA, 7 -9 May 2015. - San Diego, 2015.

12. Sorokina, V. Extraction of human body parts from the image using convolutional neural network and attention mode / V. Sorokina, S. Ablameyko // Proc. of 15th Intern. Conf. "Pattern Recognition and Information Processing". - Minsk : UIIP NASB, 2021. - Р. 84-88.