Семантические модели и средства разработки искусственных нейронных сетей и их интеграции с базами знаний

Цели. Предлагаются спецификации моделей и средств разработки искусственных нейронных сетей (ИНС) и их интеграции с базами знаний интеллектуальных систем. Актуальность исследования определяется необходимостью решения комплексных задач интеллектуальными системами, алгоритм и методы решения которых отсутствуют в базах знаний интеллектуальных систем.

Методы. Анализируются четыре уровня интеграции ИНС с базами знаний. В ходе анализа формулируются требования и спецификации к необходимым моделям и средствам разработки и интеграции. Специфицированные на каждом уровне модели и средства включают в себя модели и средства предыдущего уровня. Применение средств рассмотрено на примере решения задачи классификации сущностей базы знаний с помощью графовой нейронной сети.

Результаты. Разработаны спецификации модели представления ИНС в базе знаний, агентно-ориентированной модели разработки и интерпретации ИНС, обеспечивающие интеграцию ИНС в базы знаний на всех выделенных уровнях, а также метод классификации сущностей базы знаний с помощью графовой нейронной сети.

Заключение. Предложенные модели и средства позволяют интегрировать в базу знаний интеллектуальной системы любые обученные ИНС и использовать их для решения комплексных задач в рамках технологии OSTIS. Становятся возможными проектирование и обучение ИНС на основании как внешних данных, так и фрагментов базы знаний, а также автоматизация процесса разработки ИНС в базе знаний.

1. Attention Is All You Need [Electronic resource] / A. Vaswani [et al.]. - 2017. - Mode of access: https://doi.org/10.48550/arXiv.1706.03762. - Date of access: 20.06.2023.

2. Training Language Models to Follow Instructions with Human Feedback [Electronic resource] / L. Ouyang [et al.]. - 2022. - Mode of access: https://doi.org/10.48550/arXiv.2203.02155. - Date of access: 20.06.2023.

3. Radford, A. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks [Electronic resource] / A. Radford, L. Metz, S. Chintala. - 2016. - Mode of access: https://doi.org/10.48550/arXiv.1511.06434. - Date of access: 20.06.2023.

4. Kejriwal, M. Knowledge graphs: A practical review of the research landscape [Electronic resource] / M. Kejriwal // Applied Sciences. - 2022. - Vol. 13(4), no. 161. - Mode of access: https://doi.org/10.3390/info13040161. - Date of access: 20.06.2023.

5. Tsamoura, E. Neural-symbolic integration: a compositional perspective / E. Tsamoura, T. Hospedales, L. Michael // Proceedings of the AAAI Conf. on Artificial Intelligence, held virtually, 2-9 Feb. 2021. - Vol. 35, no. 6. - P. 5051-5060. https://doi.org/10.1609/aaai.v35i6.16639

6. Deep Learning Meets Knowledge Graphs: A Comprehensive Survey [Electronic resource] / S. Yu [et al.]. - 2022. - Mode of access: https://doi.org/10.21203/rs.3.rs-2021923/v1. - Date of access: 20.06.2023.

7. Golenkov, V. Next-generation intelligent computer systems and technology of complex support of their life cycle / V. V. Golenkov, N. A. Gulyakina // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2022) : сб. науч. тр. / редкол.: В. В. Голенков [и др.]. - Минск : БГУИР, 2022. - Вып. 6. - P. 27-40.

8. Stokel-Walker, C. AI chatbots are coming to search engines - can you trust the results? [Electronic resource] / C. Stokel-Walker // Nature. - 2023. - Mode of access: https://www.nature.com/articles/d41586-023-00423-4. - Date of access: 20.06.2023.

9. Hoy, M. B. Alexa, Siri, Cortana, and More: An introduction to voice assistants / M. B. Hoy // Medical Reference Services Quarterly. - 2018. - Vol. 37, no. 1. - P. 81-88.

10. Wiley, V. Computer vision and image processing: A paper review / V. Wiley, T. Lucas // International J. of Artificial Intelligence Research. - 2018 - Vol. 2, no. 1. - P. 28-36. https://doi.org/10.29099/ijair.v2i1.42

11. A survey on state-of-the-art techniques for knowledge graphs construction and challenges ahead / A. Hur [et al.] // IEEE Fourth Intern. Conf. on Artificial Intelligence and Knowledge Engineering (AIKE), Laguna Hills, 1-3 Dec. 2021. - Laguna Hills, 2021. - P. 99-103. https://doi.org/10.1109/AIKE52691.2021.00021

12. A neural-symbolic approach to computer vision / A. Kroshchanka [et al.] // Communications in Computer and Information Science : Proceedings of the 11th Intern. Conf. "Open Semantic Technologies for Intelligent Systems" (OSTIS-2021), Minsk, 16-18 Sept. 2021. - Cham : Springer, 2022. - Vol. 1625. - P. 282-309. https://doi.org/10.1007/978-3-031-15882-7_15

13. Интеграция искусственных нейронных сетей с базами знаний / В. А. Головко [и др.] // Онтология проектирования. - 2018. - Т. 8, № 3(29). - С. 366-386. https://doi.org/10.18287/2223-9537-2018-8-3-366-386

14. Nielsen, F. A. Inferring visual semantic similarity with deep learning and Wikidata: Introducing / F. A. Nielsen L. K. Hansen // CEUR Workshop Proceedings : Proceedings of the First Workshop on "Deep Learning for Knowledge Graphs and Semantic Technologies" (DL4KGS) co-located with the 15th "Extended Semantic Web Conf." (ESWC 2018), Heraklion, 4 June 2018. - Heraklion, 2018. - Vol. 2106. - P. 56-61.

15. Modeling relational data with graph convolutional networks / M. Schlichtkrull [et al.] // Lecture Notes in Computer Science : Proceedings of the 15th Intern. Conf. "European Semantic Web Conf." (ESWC 2018), Heraklion, 3-7 June 2018. - Cham : Springer, 2018. - Vol. 10843. - P. 593-607. https://doi.org/10.1007/978-3-319-93417-4_38

16. Comet, M. Clustering knowledge graphs [Electronic resource] / M. Comet, L. Teresa // Seminar Paper. - 2018. - P. 1-12. - Mode of access: https://doi.org/10.13140/RG.2.2.12494.08008. - Date of access: 20.06.2023.

17. Saranya, A. A systematic review of explainable artificial intelligence models and applications: Recent developments and future trends / A. Saranya, R. Subhashini // Decision Analytics J. - 2023. - Vol. 7. - P. 100-230. https://doi.org/10.1016/j.dajour.2023.100230

18. Averkin, A. Explainable artificial intelligence: rules extraction from neural networks / A. Averkin, S. Yarushev // Proceedings of the 11th Intern. Conf. on Theory and Application of Soft Computing, Computing with Words and Perceptions and Artificial Intelligence (ICSCCW-2021), Antgalya, 26-27 Aug. 2021. - Antgalya, 2021. - Vol. 362. - P. 102-109. https://doi.org/10.1007/978-3-030-92127-9_17

19. Castelvecchi, D. Can we open the black box of AI? / D. Castelvecchi // Nature. - 2016. - Vol. 538, no. 7623. - P. 20-23.

20. Chomsky, N. The False Promise of ChatGPT / N. Chomsky, I. Roberts, J. Watumull. - Mode of access: https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html. - Date of access: 20.06.2023.

21. Технология комплексной поддержки жизненного цикла семантически совместимых интеллектуальных компьютерных систем нового поколения / под общ. ред. В. В. Голенкова. - Минск : Бестпринт, 2023. - Гл. 3.6. - 1064 с.

22. Kovalev, M. Convergence and integration of artificial neural networks with knowledge bases in next-generation intelligent computer systems / M. V. Kovalev, A. A. Kroshchanka, V. A. Golovko // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2022) : сб. науч. тр. / редкол.: В. В. Голенков [и др.]. - Минск : БГУИР, 2022. - Вып. 6. - С. 173-186.

23. eXnet: an efficient approach for emotion recognition in the wild / M. N. Riaz [et al.] // Sensors. - 2020. - Vol. 20(4), no. 1087. - P. 1-17. https://doi.org/10.3390/s20041087

24. Integration of large language models with knowledge bases of intelligent systems / K. Bantsevich [et al.] // Открытые семантические технологии проектирования интеллектуальных систем = Open Semantic Technologies for Intelligent Systems (OSTIS-2022) : сб. науч. тр. / редкол.: В. В. Голенков [и др.]. - Минск : БГУИР, 2023. - Вып. 7. - P. 213-218.

25. Xinyi, Z. Capsule graph neural network [Electronic resource] / Z. Xinyi, L. Chen // Intern. Conf. on Learning Representations. - 2019. - Mode of access: https://openreview.net/forum?id=Byl8BnRcYm. - Date of access: 20.06.2023.