informИнформатикаInformatics1816-03012617-6963UIIP NASBinform-876Research ArticleОБРАБОТКА СИГНАЛОВ, ИЗОБРАЖЕНИЙ, РЕЧИ, ТЕКСТА И РАСПОЗНАВАНИЕ ОБРАЗОВSIGNAL, IMAGE, SPEECH, TEXT PROCESSING AND PATTERN RECOGNITIONЭкспериментальная оценка состязательных атак на глубокие нейронные сети при решении задач распознавания медицинских изображенийExperimental assessment of аdversarial attacks to the deep neural networks in medical image recognitionВойновД М.VoynovD. M.

магистрант

Master Student

voynovdd@gmail.comКовалевВ. А.KovalevV. A.

кандидат технических наук, заведующий лабораторией анализа биомедицинских изображений

 

Cand. Sci. (Eng.), Head of the Laboratory of Biomedical Images Analysis

vassili.kovalev@gmail.comБелорусский государственный университетBelarusian State UniversityОбъединенный институт проблем информатики Национальной академии наук БеларусиThe United Institute of Informatics Problems of the National Academy of Sciences of Belarus2019260820191631422Copyright © Войнов Д.М., Ковалев В.А., 20192019Войнов Д.М., Ковалев В.А.Voynov D.M., Kovalev V.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/876

Исследуются обнаруженные несколько лет назад проблемы уязвимости глубоких нейронных сетей к так называемым состязательным атакам, которые заставляют сеть принимать ошибочные классификационные решения. Состязательные атаки осуществляются с помощью «атакующих» изображений – незначительно модифицированных версий исходных. Целью работы является изучение зависимости успеха состязательных атак от типа распознаваемых биомедицинских изображений и значений управляющих параметров алгоритмов генерации их атакующих версий. Экспериментальные исследования проводились на примере решения восьми типичных задач медицинской диагностики с использованием глубокой нейронной сети InceptionV3, а также 13 наборов, содержащих более чем 900 000 рентгеновских изображений грудной клетки и гистологических изображений злокачественных опухолей. С увеличением амплитуды вредоносного возмущения и количества итераций генерации зловредного шума вероятность ошибки классификации растет. В то же время различные типы изображений демонстрируют разную чувствительность к данном параметрам. Изображения, которые изначально классифицировались сетью с уверенностью более 95 %, гораздо более устойчивы к атакам. Нейронные сети, обученные для классификации гистологических изображений, оказались более устойчивы к состязательным атакам нежели сети, обученные для классификации рентгеновских изображений.

This paper addresses the problem of dependence of the success rate of adversarial attacks to the deep neural networks on the biomedical image type and control parameters of generation of adversarial examples. With this work we are going to contribute towards accumulation of experimental results on adversarial attacks for the community dealing with biomedical images. The white-box Projected Gradient Descent attacks were examined based on 8 classification tasks and 13 image datasets containing more than 900 000 chest X-ray and histology images of malignant tumors. An increase of the amplitude and the number of iterations of adversarial perturbations in generating malicious adversarial images leads to a growth of the fraction of successful attacks for the majority of image types examined in this study. Histology images tend to be less sensitive to the growth of amplitude of adversarial perturbations. It was found that the success of attacks was dropping dramatically when the original confidence of predicting image class exceeded 0,95.

состязательные атакиглубокое обучениебезопасностьрентгеновские изображениягистологические изображенияadversarial attacksdeep learningsecurity of neural networkschest X-ray imageshistology imagesReferencesLitjens G., Kooi T., Bejnordi B., Setio A., Ciompi F., Ghafoorian M. A survey on deep learning in medical image analysis. Medical Image Analysis, 2017, vol. 42, рр. 60–88.Litjens G., Kooi T., Bejnordi B., Setio A., Ciompi F., Ghafoorian M.: A survey on deep learning in medical image analysis. Medical Image Analysis 42, 60-88 (2017).Ker J., Wang L., Rao J., Lim T. Deep learning applications in medical image analysis. IEEE Access, 2018, vol. 6, рр. 9375–9389.Ker J., Wang L., Rao J., Lim T.: Deep Learning Applications in Medical Image Analysis. IEEE Access 6, 9375-9389 (2018).Recht B., Roelofs R., Schmidt L., Shankar V. Do CIFAR-10 Classifiers Generalize to CIFAR-10? ArXiv.org, 2018. Available at: https://arxiv.org/abs/1806.00451 (accessed 15.05.2019).Papernot N., McDaniel P., Goodfellow I., Jha S., Z. Berkay Celik, Swami A.: Practical Black-Box Attacks agains Machine Learning. arXiv preprint arXiv:1602.02697v4 (2017).Szegedy C., Wojciech Z., Sutskever I., Bruna J., Dumitru E., Goodfellow I., Fergus R. Intriguing properties of neural networks. International Conference on Learning Representations (ICLR’2014), Banff, Canada, 14–16 April 2014. Banff, 2014, pp. 1–10.Szegedy C., Wojciech Z., Sutskever I., Bruna J., Dumitru E., Goodfellow I., Fergus R.: Intri-guing properties of neural networks. International Conference on Learning Representations (ICLR) 2014, pp. 1-10. Springer, Banff (2014).Akhtar N., Mian A. S. Threat of adversarial attacks on deep learning in computer vision. IEEE Access, 2018, vol. 6, рр. 14 410–14 430.Goodfellow I., Shlens J., Szegedy C.: Explaining and harnessing adversarial examples. arXiv pre-print arXiv:1412.6572v3 (2015).Papernot N., McDaniel P., Goodfellow I., Jha S., Berkay Celik Z., Swami A. Practical Black-Box Attacks agains Machine Learning. ArXiv.org, 2017. Available at: https://arxiv.org/abs/1602.02697 (accessed 15.05.2019).Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A.: Towards Deep Learning Models Re-sistant to Adversarial Attacks. arXiv preprint arXiv:1706.06083v3 (2017).Xu W., Evans D., Qi Y. Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks. ArXiv.org, 2017. Available at: https://arxiv.org/abs/1704.01155 (accessed 15.05.2019).Xu W., Evans D., Qi Y.: Feature Squeezing: Detecting Adversarial Examples in Deep Neural Networks. arXiv preprint arXiv:1704.01155v2 (2017).Goodfellow I., Shlens J., Szegedy C. Explaining and Harnessing Adversarial Examples. ArXiv.org, 2015. Available at: https://arxiv.org/abs/1412.6572 (accessed 15.05.2019).Wang H., Yu Chun-Nam: A Direct Approach to Robust Deep Learning Using Adversarial Net-works. arXiv preprint arXiv:1905.09591v1 (2019).Madry A., Makelov A., Schmidt L., Tsipras D., Vladu A. Towards Deep Learning Models Resistant to Adversarial Attacks. ArXiv.org, 2017. Available at: https://arxiv.org/abs/1706.06083 (accessed 15.05.2019).Papernot N., McDaniel P., Fredrikson M., Jha S., Z. Berkay Celik, Swami A.: The Limitations of Deep Learning in Adversarial Settings. arXiv preprint arXiv: 1511.07528v1 (2015).Ozdag M. Adversarial attacks and defenses against deep neural networks: a survey. Procedia Computer Science, 2018, vol. 140, рр. 152–161.Sun Ke, Zhu Z., Lin Z.: Towards Understanding Adversarial Examples Systematically: Exploring Data Size, Task and Model Factors. arXiv preprint arXiv: 1902.11019v1 (2019).Ericson N. B., Yao Z., Mahoney W. JumpReLU: A Retrofit Defense Strategy for Adversarial Attacks. ArXiv.org, 2019. Available at: https://arxiv.org/abs/1904.03750 (accessed 15.05.2019).Han C., Murao K., Satoh S., Nakayama H.: GAN-based Medical Image Augmentation. arXiv preprint arXiv: 1904.00838v1 (2019).Kazemifar S., McGuire S., Timmerman R., Wardak Z., Nguyen D., Park Y., Jiang S., Owrangi A.: MRI-only brain radiotherapy: assessing the dosimetric accuracy of synthetic CT images gen-erated using a deep learning approach. arXiv preprint arXiv: 1904.05789 (2019).Kazemifar S., McGuire S., Timmerman R., Wardak Z., Nguyen D., Park Y., Jiang S., Owrangi A.: MRI-only brain radiotherapy: assessing the dosimetric accuracy of synthetic CT images gen-erated using a deep learning approach. arXiv preprint arXiv: 1904.05789 (2019).Werpachowski R., György A., Szepesvári. C: Detecting Overfitting via Adversarial Examples. arXiv preprint arXiv: 1903.02380v1 (2019).Werpachowski R., György A., Szepesvári. C: Detecting Overfitting via Adversarial Examples. arXiv preprint arXiv: 1903.02380v1 (2019).Akhtar N., Mian A.S.: Threat of Adversarial Attacks on Deep Learning in Computer Vision. IEEE Access 6, 14410–14430 (2018).Akhtar N., Mian A.S.: Threat of Adversarial Attacks on Deep Learning in Computer Vision. IEEE Access 6, 14410–14430 (2018).Recht B., Roelofs R., Schmidt L., Shankar V.: Do CIFAR-10 Classifiers Generalize to CIFAR-10? arXiv preprint arXiv:1806.00451 (2018).Recht B., Roelofs R., Schmidt L., Shankar V.: Do CIFAR-10 Classifiers Generalize to CIFAR-10? arXiv preprint arXiv:1806.00451 (2018).Ozdag M.: Adversarial Attacks and Defenses Against Deep Neural Networks: A Survey. Procedia Computer Science 140, 152–161 (2018).Ozdag M.: Adversarial Attacks and Defenses Against Deep Neural Networks: A Survey. Procedia Computer Science 140, 152–161 (2018).Veta M., Heng Y.J., Stathonikos N. et. al.: Predicting breast tumor proliferation from wholeslide images. Medical Image Analysis 54, 111–121 (2019).Veta M., Heng Y.J., Stathonikos N. et. al.: Predicting breast tumor proliferation from wholeslide images. Medical Image Analysis 54, 111–121 (2019).Wiyatno R., Xu A.: Maximal Jacobian-based Saliency Map Attack. arXiv preprint arXiv:1808.07945v1 (2018).Wiyatno R., Xu A.: Maximal Jacobian-based Saliency Map Attack. arXiv preprint arXiv:1808.07945v1 (2018).Ericson N. B., Yao Z., Mahoney W.: JumpReLU: A Retrofit Defense Strategy for Adversarial Attacks. arXiv preprint arXiv: 1904.03750 (2019)Ericson N. B., Yao Z., Mahoney W.: JumpReLU: A Retrofit Defense Strategy for Adversarial Attacks. arXiv preprint arXiv: 1904.03750 (2019)

The authors declare that there are no conflicts of interest present.