informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2025-22-4-36-54inform-1367Research ArticleОБРАБОТКА СИГНАЛОВ, ИЗОБРАЖЕНИЙ, РЕЧИ, ТЕКСТА И РАСПОЗНАВАНИЕ ОБРАЗОВSIGNAL, IMAGE, SPEECH, TEXT PROCESSING AND PATTERN RECOGNITIONНейронные сети на основе обучаемого двумерного разделимого преобразования для классификации изображений: теория и аппаратная реализация на FPGANeural Networks Based on a Learnable Two-Dimensional Separable Transform for Image Classification: Theory and Hardware Implementation on FPGAКривальцевичЕ. А.KrivalcevichEgor A.

Кривальцевич Егор Александрович, магистрант кафедры электронных вычислительных средств, 

ул. П. Бровки, 6, Минск, 220013.

Egor A. Krivalcevich, Undergraduate of Computer  Engineering Department, 

6, P. Brovki st. , Minsk, 220013.

krivalcevi4.egor@gmail.comВашкевичМ. И.VashkevichMaxim I.

Вашкевич Максим Иосифович, доктор технических наук, профессор кафедры электронных вычислительных средств, 

ул. П. Бровки, 6, Минск, 220013.

Maxim I. Vashkevich, D. Sc. (Eng.), Prof. of Computer Engineering Department, 

6, P. Brovki st. , Minsk, 220013.

vashkevich@bsuir.byБелорусский государственный университет информатики и радиоэлектроникиBelarusian State University of Informatics and Radioelectronics2025020120262243654Copyright © Кривальцевич Е.А., Вашкевич М.И., 20262026Кривальцевич Е.А., Вашкевич М.И.Krivalcevich E.A., Vashkevich M.I.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1367Цели

Цели. Целями исследования являются разработка методов построения компактных и эффективных нейронных сетей для задач распознавания изображений, а также их аппаратная реализация на базе программируемых логических интегральных схем (ПЛИС) типа FPGA.

Методы

Методы. Предложена концепция обучаемого двумерного разделимого преобразования (ОДРП) для построения нейронных сетей прямого распространения для задач распознавания изображений. Особенностью ОДРП является последовательная обработка строк изображения полносвязным слоем, после чего полученное представление обрабатывается по строкам вторым полносвязным слоем. В предлагаемой архитектуре нейронной сети прямого распространения ОДРП рассматривается как способ извлечения вектора признаков из исходного изображения. Аппаратная реализация нейронной сети на базе ОДРП основана на концепции вычисления «на месте» (общая память для хранения исходных и промежуточных данных), а также на использовании единого набора вычислительных ядер для расчета всех слоев нейронной сети.

Результаты

Результаты. Предложено семейство компактных нейросетевых архитектур LST-1, различающихся размерностью векторного представления изображения. Эксперименты по классификации рукописных цифр базы MNIST показали высокую эффективность данных моделей: сеть LST-1-28 достигает точности 98,37 % при 9,5 тыс. параметров, а более компактная LST-1-8 показывает 96,53 % точности при 1,1 тыс. параметров. Тестирование аппаратной реализации LST-1-28 подтверждает устойчивость архитектуры к ошибкам квантования параметров.

Заключение

Заключение. Предложенная концепция ОДРП обеспечивает проектирование компактных и эффективных нейросетевых архитектур, характеризующихся малым числом обучаемых параметров, высокой точностью распознавания и регулярной структурой алгоритма, что позволяет получать их эффективные реализации на базе ПЛИС.

Objectives

Objectives. Development of methods for design compact and efficient neural networks for image recognition tasks, as well as their hardware implementation based on FPGA.

Methods

Methods. The paper proposes the concept of a learnable two-dimensional separable transformation (LST) for designing feedforward neural networks for image recognition tasks. A feature of the LST is the sequential  processing of image rows by a fully connected layer, after which the resulting representation is processed by columns using second fully connected layer. In the proposed architecture of a feedforward neural network, the LST is considered as a feature extractor. The hardware implementation of LST-based neural network is based on the concept of in-place computing (shared memory for storing source and intermediate data), as well as using a single set of computing cores to calculate all layers of the neural network.

Results

Results. A family of compact neural network architectures LST-1 is proposed, differing in the image  embedding size. Experiments on the classification of MNIST handwritten digits have shown the high efficiency of these models: the LST-1-28 network achieves 98.37 % accuracy with 9.5 K parameters, and the more compact LST-1-8 shows 96.53 % accuracy with 1.1 K parameters. Testing of the LST-1-28 hardware implementation  confirms the architecture's resistance to parameter quantization errors.

Conclusion

Conclusion. The proposed concept of a learnable two-dimensional separable transformation provides the  design of compact and efficient neural network architectures characterized by: a small number of learnable parameters, high recognition accuracy, and the regular structure of the algorithm, which makes it possible to obtain their  effective implementations based on FPGAs.

обучаемое двумерное разделимое преобразованиенейронные сетипрограммируемые логические интегральные схемыраспознавание изображенийбаза данных MNISTlearnable two-dimensional separable transformneural networksFPGAimage recognitionMNIST datasetАвторы выражают благодарность резиденту ПВТ компании «Инженерный Центр Ядро», которая является одним из центров разработки YADRO, за предоставленное оборудование для проведения экспериментов в рамках работы совместной учебной лаборатории с Белорусским государственным университетом информатики и радиоэлектроники.The authors express their gratitude to the HTP resident company "Engineering Center Yadro", which is one of the YADRO development centers, for providing equipment for conducting experiments as part of the joint educational laboratory with the Belarusian State University of Informatics and Radioelectronics.ReferencesPark, J. FPGA based implementation of deep neural networks using on-chip memory only / J. Park, W. Sung // IEEE Intern. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Shanghai, China, 20–25 March 2016. – Shanghai, 2016. – P. 1011–1015.Park J., Sung W. FPGA based implementation of deep neural networks using on-chip memory only. IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Shanghai, China, 20–25 March 2016. Shanghai, 2016, pp. 1011–1015.A novel systolic parallel hardware architecture for the FPGA acceleration of feedforward neural networks / L. D. Medus, T. Iakymchuk, J. V. Frances-Villora [et al.] // IEEE Access. – 2019. – Vol. 7. – P. 76084–76103.Medus L. D., Iakymchuk T., Frances-Villora J. V., Bataller-Mompean M., Rosado-Munoz A. A novel systolic parallel hardware architecture for the FPGA acceleration of feedforward neural networks. IEEE Access, 2019, vol. 7, pp. 76084–76103.Han, S. Deep compression: сompressing deep neural networks with pruning, trained quantization and Huffman coding / S. Han, H. Mao, W. J. Dally // Intern. Conf. on Learning Representations (ICLR), San Juan, Puerto Rico, 2–4 May 2016. – San Juan, 2016. – P. 1–14.Han S., Mao H., Dally W. J. Deep compression: сompressing deep neural networks with pruning, trained quantization and Huffman coding. International Conference on Learning Representations (ICLR), San Juan, Puerto Rico, 2–4 May 2016. San Juan, 2016, pp. 1–14.Samragh, M. Customizing neural networks for efficient FPGA implementation / M. Samragh, M. Ghasemzadeh, F. Koushanfar // Annual Intern. Symp. on Field-Programmable Custom Computing Machines (FCCM), Napa, CA, USA, 30 Apr. – 2 May 2017. – Napa, 2017. – P. 85–92.Samragh M., Ghasemzadeh M., Koushanfar F. Customizing neural networks for efficient FPGA implementation. Annual International Symposium on Field-Programmable Custom Computing Machines (FCCM), Napa, CA, USA, 30 April – 2 May 2017. Napa, 2017, pp. 85–92.Usatyuk, V. Boosting DNN efficiency: replacing FC layers with graph embeddings for hardware acceleration / V. Usatyuk, S. Egorov // Intern. Conf. on Digital Signal Processing and its Applications (DSPA), Moscow, Russia, 26–28 March 2025. – Moscow, 2025. – P. 1–6.Usatyuk V., Egorov S. Boosting DNN efficiency: replacing FC layers with graph embeddings for hardware acceleration. International Conference on Digital Signal Processing and its Applications (DSPA), Moscow, Russia, 26–28 March 2025. Moscow, 2025, pp. 1–6.Kwon, J. Design of a low-area digit recognition accelerator using MNIST database / J. Kwon, S. Kim // JOIV: International Journal on Informatics Visualization. – 2022. – Vol. 6, no. 1. – P. 53–59.Kwon J., Kim S. Design of a low-area digit recognition accelerator using MNIST database. JOIV: International Journal on Informatics Visualization, 2022, vol. 6, no. 1, pp. 53–59.FPGA acceleration on a multilayer perceptron neural network for digit recognition / I. Westby, X. Yang, T. Liu, H. Xu // The Journal of Supercomputing. – 2021. – Vol. 77, no. 12. – P. 14356–14373.Westby I., Yang X., Liu T., Xu H. FPGA acceleration on a multilayer perceptron neural network for digit recognition. The Journal of Supercomputing, 2021, vol. 77, no. 12, pp. 14356–14373.Vashkevich, M. Compact and efficient neural networks for image recognition based on learned 2D separable transform / M. Vashkevich, E. Krivalcevich // Intern. Conf. on Digital Signal Processing and its Applications (DSPA), Moscow, Russia, 26–28 March 2025. – Moscow, 2025. – P. 1–5.Vashkevich M., Krivalcevich E. Compact and efficient neural networks for image recognition based on learned 2D separable transform. International Conference on Digital Signal Processing and its Applications (DSPA), Moscow, Russia, 26–28 March 2025. Moscow, 2025, pp. 1–5.Старовойтов, В. В. Нормализация данных в машинном обучении / В. В. Старовойтов, Ю. И. Голуб // Информатика. – 2021. – Т. 18, № 3. – С. 83–96.Starovoitov V. V., Golub Yu. I. Data normalization in machine learning. Informatika [Informatics], 2021, vol. 18, no. 3, рр. 83–96 (In Russ.).Loshchilov, I. SGDR: Stochastic Gradient Descent with Warm Restarts / I. Loshchilov, F. Hutter. – 2016. – URL: https://arxiv.org/abs/1608.03983 (date of access: 01.08.2025).Loshchilov I., Hutter F. SGDR: Stochastic Gradient Descent with Warm Restarts, 2016. Available at: https://arxiv.org/abs/1608.03983 (accessed 01.08.2025).Srivastava, N. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky // The Journal of Machine Learning Research. – 2014. – Vol. 15, no. 1. – P. 1929–1958.Srivastava N., Hinton G., Krizhevsky A. Dropout: a simple way to prevent neural networks from overfitting. The Journal of Machine Learning Research, 2014, vol. 15, no. 1, pp. 1929–1958.FP-BNN: Binarized neural network on FPGA / S. Liang, S. Yin, L. Liu [et al.] // Neurocomputing. – 2018. – Vol. 275. – P. 1072–1086.Liang S., Yin S., Liu L., Luk W., Wei S. FP-BNN: Binarized neural network on FPGA. Neurocomputing, 2018, vol. 275, pp. 1072–1086.Huynh, T. V. Deep neural network accelerator based on FPGA / T. V. Huynh // NAFOSTED Conf. on Information and Computer Science, Hanoi, Vietnam, 24–25 Nov. 2017. – Hanoi, 2017. – P. 254–257.Huynh T. V. Deep neural network accelerator based on FPGA. NAFOSTED Conference on Information and Computer Science, Hanoi, Vietnam, 24–25 November 2017. Hanoi, 2017, pp. 254–257.Кривальцевич, Е. А. Исследование аппаратной реализации нейронной сети прямого распространения для распознавания рукописных цифр на базе FPGA / Е. А. Кривальцевич, М. И. Вашкевич // Доклады БГУИР. – 2025. – Вып. 23, № 2. – С. 101–108.Krivalсevich E. A., Vashkevich M. I. Investigation of hardware implementation of a feedforward neural network for handwritten digit recognition based on FPGA. Doklady BGUIR, 2025, vol. 23, no. 2, pp. 101–108 (In Russ.).Аппаратная реализация сверточной нейронной сети в ПЛИС на базе вычислений с фиксированной точкой / Р. А. Соловьев, А. Г. Кустов, В. С. Рухлов [и др.] // Известия Южного федерального университета. Технические науки. – 2017. – Т. 192, № 7. – С. 186–197.Solovyev R. A., Kustov A. G., Ruhlov V. S., Shchelokov A. N., Puzyrkov D. V. Hardware implementation of a convolutional neural network in FPGA based on fixed point calculations. Izvestija Juzhnogo federal'nogo universiteta. Tehnicheskie nauki [Proceedings of Southern Federal University. Engineering Sciences], 2017, vol. 192, no. 7, pp. 186–197 (In Russ.).

The authors declare that there are no conflicts of interest present.