informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/10.37661/1816-0301-2021-18-1-61-71inform-1121Research ArticleОБРАБОТКА СИГНАЛОВ, ИЗОБРАЖЕНИЙ, РЕЧИ, ТЕКСТА И РАСПОЗНАВАНИЕ ОБРАЗОВSIGNAL, IMAGE, SPEECH, TEXT PROCESSING AND PATTERN RECOGNITIONОб оценке результатов классификации несбалансированных данных по матрице ошибок1About the confusion-matrix-based assessment of the results of imbalanced data classificationСтаровойтовВ. В.StarovoitovV. V.

Старовойтов Валерий Васильевич, доктор технических наук, профессор, главный научный сотрудник

ул. Сурганова, 6, Минск, 220012

Valery V. Starovoitov, Dr. Sci. (Eng.), Professor, Chief Researcher

st. Surganova, 6, Minsk, 220012

valerystar@mail.ruГолубЮ. И.GolubYu. I.

Голуб Юлия Игоревна, кандидат технических наук, доцент, старший научный сотрудник

ул. Сурганова, 6, Минск, 220012

Yuliya I. Golub, Cand. Sci. (Eng.), Associate Professor, Senior Researcher

6423506@gmail.comОбъединенный институт проблем информатики Национальной академии наук БеларусиThe United Institute of Informatics Problems of the National Academy of Sciences of Belarus2021290320211816171Copyright © Старовойтов В.В., Голуб Ю.И., 20212021Старовойтов В.В., Голуб Ю.И.Starovoitov V.V., Golub Y.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1121

При применении классификаторов в реальных приложениях часто число элементов одного класса больше числа элементов другого, т. е. имеет место дисбаланс данных. В статье исследуются оценки результатов классификации данных такого типа. Рассматривается, какой из переводов термина confusion matrix более точен, как предпочтительнее представлять данные в такой матрице и какими функциями лучше оценивать результаты классификации по ней.

На реальных данных демонстрируется, что с помощью популярной функции точности accuracy не всегда корректно оцениваются ошибки классификации несбалансированных данных. Нельзя также сравнивать значения функции accuracy, вычисленные по матрицам с абсолютными количественными и нормализованными по классам результатами классификации. При дисбалансе данных точность, вычисленная по матрице ошибок с нормализованными значениями, как правило, будет иметь меньшие значения, поскольку она определяется по иной формуле. Такой же вывод сделан относительно большинства функций, используемых в литературе для нахождения оценок результатов классификации. Показывается, что для представления матриц ошибок лучше использовать абсолютные значения распределения объектов по классам вместо относительных, так как они описывают количество протестированных данных каждого класса и их дисбаланс.

При построении классификаторов рекомендуется оценивать ошибки функциями, не зависящими от дисбаланса данных, что позволяет надеяться на получение более корректных результатов классификации реальных данных.

When applying classifiers in real applications, the data imbalance often occurs when the number of elements of one class is greater than another. The article examines the estimates of the classification results for this type of data. The paper provides answers to three questions: which term is a more accurate translation of the phrase "confusion matrix", how preferable to represent data in this matrix, and what functions to be better used to evaluate the results of classification by such a matrix. The paper demonstrates on real data that the popular accuracy function cannot correctly estimate the classification errors for imbalanced data. It is also impossible to compare the values of this function, calculated by matrices with absolute quantitative results of classification and normalized by classes. If the data is imbalanced, the accuracy calculated from the confusion matrix with normalized values will usually have lower values, since it is calculated by a different formula. The same conclusion is made for most of the classification accuracy functions used in the literature for estimation of classification results. It is shown that to represent confusion matrices it is better to use absolute values of object distribution by classes instead of relative ones, since they give an idea of the amount of data tested for each class and their imbalance. When constructing classifiers, it is recommended to evaluate errors by functions that do not depend on the data imbalance, that allows to hope for more correct classification results for real data.

классификация объектовнесбалансированные данныематрица ошибокфункции точности классификациипарадокс точностинейронная сетьдиагностика заболеванийclassificationimbalanced dataconfusion matrixclassification accuracy functionsaccuracy paradoxneural networkdisease diagnosisРабота частично выполнена в рамках проекта БРФФИ Ф20РА-014.ReferencesA review on ensembles for the class imbalance problem: bagging-, boosting-, and hybrid-based approaches / M. Galar [et. al.] // IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews). – 2012. – Vol. 42, no. 4. – P. 463–484. https://doi.org/10.1109/tsmcc.2011.2161285Galar M., Fernandez A., Barrenechea E., Bustince H., Herrera F. A review on ensembles for the class imbalance problem: bagging-, boosting-, and hybrid-based approaches. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 2012, vol. 42, no. 4, pp. 463–484. https://doi.org/10.1109/tsmcc.2011.2161285Miller, G. A. An analysis of perceptual confusions among some English consonants / G. A. Miller, P. E. Nicely // The J. of the Acoustical Society of America. – 1955. – Vol. 27, no. 2. – P. 338–352. https://doi.org/10.1121/1.1907526Miller G. A., Nicely P. E. An analysis of perceptual confusions among some English consonants. The Journal of the Acoustical Society of America, 1955, vol. 27, no. 2, pp. 338–352. https://doi.org/10.1121/1.1907526The balanced accuracy and its posterior distribution / K. H. Brodersen [et. al.] // Intern. Conf. on Pattern Recognition. – Istanbul, 2010. – P. 3121–3124.Brodersen K. H., Ong C. S., Stephan K. E., Buhmann J. M. The balanced accuracy and its posterior distribution. International Conference on Pattern Recognition, 2010, Istanbul, pp. 3121–3124.Starovoitov, V. New function for estimating imbalanced data classification results / V. Starovoitov, Yu. Golub // Pattern Recognition and Image Analysis. – 2020. – Vol. 30, no. 3. – P. 295–302.Starovoitov V., Golub Yu. New function for estimating imbalanced data classification results. Pattern Recognition and Image Analysis, 2020, vol. 30, no. 3, pp. 295–302.Hand, J. D. A simple generalisation of the area under the ROC curve for multiple class classification problems / J. D. Hand, J. R. Till // Machine Learning. – 2001. – Vol. 45, no. 2. – P. 171–186. https://doi.org/10.1023/A:1010920819831Hand J. D., Till J. R. A simple generalisation of the area under the ROC curve for multiple class classification problems. Machine Learning, 2001, vol. 45, no. 2, pp. 171–186. https://doi.org/10.1023/A:1010920819831.Fawcett, T. Using rule sets to maximize ROC performance / T. Fawcett // Proc. IEEE Intern. Conf. on Data Mining. – 2001. – P. 131–138. https://doi.org/10.1109/ICDM.2001.989510Fawcett T. Using rule sets to maximize ROC performance. Proceedings IEEE International Conference on Data Mining, 2001, pp. 131–138. https://doi.org/10.1109/ICDM.2001.989510Ballabio, D. Multivariate comparison of classification performance measures / D. Ballabio, F. Grisoni, R. Todeschini // Chemometrics and Intelligent Laboratory Systems. – 2018. – Vol. 174. – P. 33–44. https://doi.org/10.1016/j.chemolab.2017.12.004.Ballabio D., Grisoni F., Todeschini R. Multivariate comparison of classification performance measures. Chemometrics and Intelligent Laboratory Systems, 2018, vol. 174, pp. 33–44. https://doi.org//10.1016/j.chemolab.2017.12.004Классификация повреждений кожи по данным дерматоскопии с использованием методов глубокого обучения / Е. Ю. Щетинин [и др.] // Математическая биология и биоинформатика. – 2020. – Т. 15, № 2. – С. 180–194.Shhetinin E. Ju., Sevast'janov L. A., Demidova A. V., Kuljabov D. S. Klassifikacija povrezhdenij kozhi po dannym dermatoskopii s ispol'zovaniem metodov glubokogo obuchenija [Dermatoscopy classification of skin lesions using deep learning methods]. Matematicheskaja biologija i bioinformatika [Mathematical biology and bioinformatics], 2020, vol. 15, no. 2, рр. 180–194.Buscema, P. M. Artificial Adaptive Systems to predict the magnitude of earthquakes / P. M. Buscema, G. Massini, G. Maurelli // Bollettino di Geofisica Teorica ed Applicata. – 2015. – Vol. 56, no. 2. – P. 227–256.Buscema P. M., Massini G., Maurelli G., Artificial Adaptive Systems to predict the magnitude of earthquakes. Bollettino di Geofisica Teorica ed Applicata, 2015, vol. 56, no. 2, pp. 227–256.Valverde-Albacete, F.J. 100 % classification accuracy considered harmful: The normalized information transfer factor explains the accuracy paradox / F. J. Valverde-Albacete, C. Pelaez-Moreno // PloS One. – 2014. – Vol. 9, no. 1. – Р. e84217. https://doi.org/10.1371/journal.pone.0084217Valverde-Albacete F. J., Pelaez-Moreno C. 100 % classification accuracy considered harmful: The normalized information transfer factor explains the accuracy paradox. PloS One, 2014, vol. 9, no. 1, р. e84217. https://doi.org/10.1371/journal.pone.0084217

The authors declare that there are no conflicts of interest present.