Нейронные сети на основе обучаемого двумерного разделимого преобразования для классификации изображений: теория и аппаратная реализация на FPGA

Цели. Целями исследования являются разработка методов построения компактных и эффективных нейронных сетей для задач распознавания изображений, а также их аппаратная реализация на базе программируемых логических интегральных схем (ПЛИС) типа FPGA.

Методы. Предложена концепция обучаемого двумерного разделимого преобразования (ОДРП) для построения нейронных сетей прямого распространения для задач распознавания изображений. Особенностью ОДРП является последовательная обработка строк изображения полносвязным слоем, после чего полученное представление обрабатывается по строкам вторым полносвязным слоем. В предлагаемой архитектуре нейронной сети прямого распространения ОДРП рассматривается как способ извлечения вектора признаков из исходного изображения. Аппаратная реализация нейронной сети на базе ОДРП основана на концепции вычисления «на месте» (общая память для хранения исходных и промежуточных данных), а также на использовании единого набора вычислительных ядер для расчета всех слоев нейронной сети.

Результаты. Предложено семейство компактных нейросетевых архитектур LST-1, различающихся размерностью векторного представления изображения. Эксперименты по классификации рукописных цифр базы MNIST показали высокую эффективность данных моделей: сеть LST-1-28 достигает точности 98,37 % при 9,5 тыс. параметров, а более компактная LST-1-8 показывает 96,53 % точности при 1,1 тыс. параметров. Тестирование аппаратной реализации LST-1-28 подтверждает устойчивость архитектуры к ошибкам квантования параметров.

Заключение. Предложенная концепция ОДРП обеспечивает проектирование компактных и эффективных нейросетевых архитектур, характеризующихся малым числом обучаемых параметров, высокой точностью распознавания и регулярной структурой алгоритма, что позволяет получать их эффективные реализации на базе ПЛИС.

1. Park, J. FPGA based implementation of deep neural networks using on-chip memory only / J. Park, W. Sung // IEEE Intern. Conf. on Acoustics, Speech and Signal Processing (ICASSP), Shanghai, China, 20–25 March 2016. – Shanghai, 2016. – P. 1011–1015.

2. A novel systolic parallel hardware architecture for the FPGA acceleration of feedforward neural networks / L. D. Medus, T. Iakymchuk, J. V. Frances-Villora [et al.] // IEEE Access. – 2019. – Vol. 7. – P. 76084–76103.

3. Han, S. Deep compression: сompressing deep neural networks with pruning, trained quantization and Huffman coding / S. Han, H. Mao, W. J. Dally // Intern. Conf. on Learning Representations (ICLR), San Juan, Puerto Rico, 2–4 May 2016. – San Juan, 2016. – P. 1–14.

4. Samragh, M. Customizing neural networks for efficient FPGA implementation / M. Samragh, M. Ghasemzadeh, F. Koushanfar // Annual Intern. Symp. on Field-Programmable Custom Computing Machines (FCCM), Napa, CA, USA, 30 Apr. – 2 May 2017. – Napa, 2017. – P. 85–92.

5. Usatyuk, V. Boosting DNN efficiency: replacing FC layers with graph embeddings for hardware acceleration / V. Usatyuk, S. Egorov // Intern. Conf. on Digital Signal Processing and its Applications (DSPA), Moscow, Russia, 26–28 March 2025. – Moscow, 2025. – P. 1–6.

6. Kwon, J. Design of a low-area digit recognition accelerator using MNIST database / J. Kwon, S. Kim // JOIV: International Journal on Informatics Visualization. – 2022. – Vol. 6, no. 1. – P. 53–59.

7. FPGA acceleration on a multilayer perceptron neural network for digit recognition / I. Westby, X. Yang, T. Liu, H. Xu // The Journal of Supercomputing. – 2021. – Vol. 77, no. 12. – P. 14356–14373.

8. Vashkevich, M. Compact and efficient neural networks for image recognition based on learned 2D separable transform / M. Vashkevich, E. Krivalcevich // Intern. Conf. on Digital Signal Processing and its Applications (DSPA), Moscow, Russia, 26–28 March 2025. – Moscow, 2025. – P. 1–5.

9. Старовойтов, В. В. Нормализация данных в машинном обучении / В. В. Старовойтов, Ю. И. Голуб // Информатика. – 2021. – Т. 18, № 3. – С. 83–96.

10. Loshchilov, I. SGDR: Stochastic Gradient Descent with Warm Restarts / I. Loshchilov, F. Hutter. – 2016. – URL: https://arxiv.org/abs/1608.03983 (date of access: 01.08.2025).

11. Srivastava, N. Dropout: a simple way to prevent neural networks from overfitting / N. Srivastava, G. Hinton, A. Krizhevsky // The Journal of Machine Learning Research. – 2014. – Vol. 15, no. 1. – P. 1929–1958.

12. FP-BNN: Binarized neural network on FPGA / S. Liang, S. Yin, L. Liu [et al.] // Neurocomputing. – 2018. – Vol. 275. – P. 1072–1086.

13. Huynh, T. V. Deep neural network accelerator based on FPGA / T. V. Huynh // NAFOSTED Conf. on Information and Computer Science, Hanoi, Vietnam, 24–25 Nov. 2017. – Hanoi, 2017. – P. 254–257.

14. Кривальцевич, Е. А. Исследование аппаратной реализации нейронной сети прямого распространения для распознавания рукописных цифр на базе FPGA / Е. А. Кривальцевич, М. И. Вашкевич // Доклады БГУИР. – 2025. – Вып. 23, № 2. – С. 101–108.

15. Аппаратная реализация сверточной нейронной сети в ПЛИС на базе вычислений с фиксированной точкой / Р. А. Соловьев, А. Г. Кустов, В. С. Рухлов [и др.] // Известия Южного федерального университета. Технические науки. – 2017. – Т. 192, № 7. – С. 186–197.