informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2020-17-2-17-24inform-1048Research ArticleОБРАБОТКА СИГНАЛОВ, ИЗОБРАЖЕНИЙ, РЕЧИ, ТЕКСТА И РАСПОЗНАВАНИЕ ОБРАЗОВSIGNAL, IMAGE, SPEECH, TEXT PROCESSING AND PATTERN RECOGNITIONВизуальная навигация автономно летящего БПЛА с целью его возвращения в точку стартаSolution of problem of returning to the starting point of autonomously flying UAV by visual navigationЖукР. С.ZhukR. S.

Жук Роман Сергеевич, младший научный сотрудник

Минск

Raman S. Zhuk, Junior Researcher

Minsk

ramanzhuck@gmail.comЗалесскийБ. А.ZaleskyB. A.

Залесский Борис Андреевич, доктор физико-математических наук, заведующий лабораторией обработки и распознавания изображений

Минск

Boris A. Zalesky, Dr. Sci. (Phys.-Math.), Head of the Laboratory of Image Processing and Recognition

Minsk

zalesky@newman.bas-net.byТроцкийФ. С.TrotskiPh. S.

Троцкий Филипп Сергеевич, младший научный сотрудник

Минск

Philip S. Trotski, Junior Researcher

Minsk

trotskiphilipp@gmail.comОбъединенный институт проблем информатики Национальной академии наук БеларусиThe United Institute of Informatics Problems of the National Academy of Sciences of Belarus2020260220201721724Copyright © Жук Р.С., Залесский Б.А., Троцкий Ф.С., 20202020Жук Р.С., Залесский Б.А., Троцкий Ф.С.Zhuk R.S., Zalesky B.A., Trotski P.S.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1048

Рассматривается алгоритм автономной визуальной навигации, предназначенный для возвращения в точку старта беспилотного летательного аппарата (БПЛА), оборудованного одной бортовой видеокамерой и бортовым вычислителем, без использования навигационных сигналов GPS и ГЛОНАСС. Предлагаемый алгоритм схож с широко известными алгоритмами визуальной навигации, такими как одновременная локализация и картографирование (V-SLAM) и визуальная одометрия, однако отличается от них раздельным выполнением процессов картографирования и локализации. Он вычисляет географические координаты признаков, найденных на кадрах, снятых бортовой видеокамерой при полете от точки старта до потери сигналов GPS и ГЛОНАСС. После потери сигнала запускается миссия возвращения и вычисляется лишь положение БПЛА относительно построенной на основе найденных ранее признаков карты, которая используется для возвращения в точку старта. Предложенный подход не требует таких сложных вычислений, как V-SLAM, и не накапливает со временем ошибки в отличие от визуальной одометрии и традиционных методов инерциальной навигации. Алгоритм был реализован и протестирован с помощью квадрокоптера DJI Phantom 3 Pro.

An autonomous visual navigation algorithm is considered, designed for “home“ return of unmanned aerial vehicle (UAV) equipped with on-board video camera and on-board computer, out of GPS and GLONASS navigation signals. The proposed algorithm is similar to the well-known visual navigation algorithms such as V-SLAM (simultaneous localization and mapping) and visual odometry, however, it differs in separate implementation of mapping and localization processes. It calculates the geographical coordinates of the features on the frames taken by on-board video camera during the flight from the start point until the moment of GPS and GLONASS signals loss. After the loss of the signal the return mission is launched, which provides estimation of the position of UAV relatively the map created by previously found features. Proposed approach does not require such complex calculations as V-SLAM and does not accumulate errors over time, in contrast to visual odometry and traditional methods of inertial navigation. The algorithm was implemented and tested with use of DJI Phantom 3 Pro quadcopter.

автономная визуальная навигациябеспилотные летательные аппаратывизуальная одометриявозвращение в точку стартанавигационные сигналыautonomous visual navigationunmanned aerial vehiclesvisual odometryreturn to the starting pointnavigation signalsReferencesDurrant-Whyte, H. Simultaneous localization and mapping: part I / H. Durrant-Whyte, T. Bailey // IEEE Robotics and Automation Magazine. – 2006. – Vol. 13, no. 2. – P. 99–110.Durrant-Whyte H., Bailey T. Simultaneous localization and mapping: part I. IEEE Robotics and Automation Magazine, 2006, vol. 13, no. 2, pp. 99–110.Bailey, T. Simultaneous localization and mapping (SLAM): part II / T. Bailey, H. Durrant-Whyte // IEEE Robotics and Automation Magazine. – 2006. – Vol. 13, no. 3. – P. 108–117.Bailey T., Durrant-Whyte H. Simultaneous localization and mapping (SLAM): part II. IEEE Robotics and Automation Magazine, 2006, vol. 13, no. 3, pp. 108–117.Scaramuzza, D. Visual odometry [tutorial]. Part I: The first 30 years and fundamentals / D. Scaramuzza, F. Fraundorfer // IEEE Robotics and Automation Magazine. – 2011. – Vol. 18, no. 4. – P. 80–92.Scaramuzza D., Fraundorfer F. Visual odometry [tutorial]. Part I: The first 30 years and fundamentals. IEEE Robotics and Automation Magazine, 2011, vol. 18, no. 4, рр. 80–92.Fraundorfer, F. Visual odometry: part II: matching, robustness, optimization, and applications / F. Fraundorfer, D. Scaramuzza // IEEE Robotics and Automation Magazine. – 2012. – Vol. 19, no. 2. – P. 78–90.Fraundorfer F., Scaramuzza D. Visual odometry: part II: matching, robustness, optimization, and applications. IEEE Robotics and Automation Magazine, 2012, vol. 19, no. 2, pp. 78–90.SVO: semidirect visual odometry for monocular and multicamera systems / C. Forster [et al.] // IEEE Transactions on Robotics. – 2017. – Vol. 33, no. 2. – P. 249–265.Forster C., Zhang Z., Gassner M., Werlberger M., Scaramuzza D. SVO: semidirect visual odometry for monocular and multicamera systems. IEEE Transactions on Robotics, 2017, vol. 33, no. 2, pp. 249–265.Efficient on-board Stereo SLAM through constrained-covisibility strategies / G. Castro [et al.] // Robotics and Autonomous Systems. – 2019. – Vol. 116. – P. 192–205.Castro G., Nitsche M., Pire T., Fischer T., De Cristóforis P. Efficient on-board Stereo SLAM through constrained-covisibility strategies. Robotics and Autonomous Systems, 2019, vol. 116, pp. 192–205.Qin, T. VINS-Mono: a robust and versatile monocular visual-inertial state estimator / T. Qin, P. Li, S. Shen // IEEE Transactions on Robotics. – 2017. – Vol. 34, no. 4. – P. 1004–1020.Qin T., Li P., Shen S. VINS-Mono: a robust and versatile monocular visual-inertial state estimator. IEEE Transactions on Robotics, 2017, vol. 34, no. 4, pp. 1004–1020.VIMO: simultaneous visual inertial model-based odometry and force estimation / B. Nisar [et al.] // IEEE Robotics and Automation Letters. – 2019. – Vol. 4, no. 3. – P. 2785–2792.Nisar B., Foehn P., Falanga D., Scaramuzza D. VIMO: simultaneous visual inertial model-based odometry and force estimation. IEEE Robotics and Automation Letters, 2019, vol. 4, no. 3, pp. 2785–2792.Залесский, Б. А. Параллельная версия детектора экстремальных особых точек изображений / Б. А. Залесский, Ф. С. Троцкий // Информатика. – 2018. − Т. 15, № 2. – С. 55–63.Zalesky B. A., Trotski Ph. S. Parallel'naja versija detektora jekstremal'nyh osobyh tochek izobrazhenij [Parallel version of detector of extremal key points on images]. Informatika [Informatics], 2018, vol. 15, no. 2, pp. 55–63 (in Russian).Форсайт, Д. А. Компьютерное зрение. Современный подход / Д. А. Форсайт, Ж. Понс. – М. : Вильямс, 2004. – С. 76–77.Forsyth D. A., Ponce J. Computer Vision: a Modern Approach. Prentice Hall, 2003, 693 p.Hartley, R. I. In defense of the eight-point algorithm / R. I. Hartley // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 1997. – Vol. 19, no. 6. – P. 580–593.Hartley R. I. In defense of the eight-point algorithm. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, vol. 19, no. 6, pp. 580–593.Nister, D. An efficient solution to the five-point relative pose problem / D. Nister // IEEE Transactions on Pattern Analysis and Machine Intelligence. – 2004. – Vol. 26, no. 6. – P. 756–770.Nister D. An efficient solution to the five-point relative pose problem. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, vol. 26, no. 6, pp. 756–770.

The authors declare that there are no conflicts of interest present.