informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2024-21-1-105-120inform-1279Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИINFORMATION TECHNOLOGYСистема комплексного анализа данных тематических сайтов ИСКАД ИИSystem of complex data analysis of thematic sites ISCAD ISПилецкийИ. И.PiletskiI. I.

Пилецкий Иван Иванович, кандидат физико-математических наук, доцент кафедры информатики

ул. П. Бровки, 6, Минск, 220013

Ivan I. Piletski, Ph. D. (Phys.-Math.), Assoc. Prof. of the Department of Informatics

st. P. Brovki, 6, Minsk, 220013

ianmenski@gmail.comБатураМ. П.BaturaM. P.

Батура Михаил Павлович, доктор технических наук, профессор, заведующий лабораторией «Новые обучающие технологии»

ул. П. Бровки, 6, Минск, 220013

Michal P. Batura, D. Sc. (Eng.), Prof., Head of the Laboratory "New Educational Technologies"

st. P. Brovki, 6, Minsk, 220013

bmpbel@bsuir.byВолороваН. А.VolоrоvaN. A.

Волорова Наталья Алексеевна, кандидат технических наук, доцент, старший научный сотрудник лаборатории «Новые обучающие технологии»

ул. П. Бровки, 6, Минск, 220013

Natalia A. Volоrоva, Ph. D. (Eng.), Assoc. Prof., Senior Researcher of the Laboratory "New Educational Technologies"

st. P. Brovki, 6, Minsk, 220013

volorova@bsuir.byЗоркоП. А.ZorkoP. A.

Зорко Полина Александровна, магистрант кафедры информатики

ул. П. Бровки, 6, Минск, 220013

Polina A. Zorko, Master's Student of the Department of Informatics

st. P. Brovki, 6, Minsk, 220013

polina.zorko16@gmail.comКулевичА. О.KulevichA. O.

Кулевич Алексей Олегович, магистрант кафедры информатики

ул. П. Бровки, 6, Минск, 220013

Alexei O. Kulevich, Master's Student of the Department of Informatics

st. P. Brovki, 6, Minsk, 220013

kulevich.01@gmail.comБелорусский государственный университет информатики и радиоэлектроникиBelarusian State University of Informatics and Radioelectronics202429032024211105120Copyright © Пилецкий И.И., Батура М.П., Волорова Н.А., Зорко П.А., Кулевич А.О., 20242024Пилецкий И.И., Батура М.П., Волорова Н.А., Зорко П.А., Кулевич А.О.Piletski I.I., Batura M.P., Volоrоva N.A., Zorko P.A., Kulevich A.O.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1279Цели

Цели. В настоящее время основным источником получения информации является Интернет. Огромный объем информации, доступной в сети, делает актуальной задачу всестороннего анализа данных из открытых интернет-источников. Цель работы заключается в создании многоцелевого, модифицируемого кластера для глубокого анализа данных интернет-источников, основными задачами которого являются выявление наиболее важных публикаций в некоторой предметной области и их тематический анализ, определение лидера научного направления и тенденций развития направлений деятельности и взаимодействия групп людей.

Методы

Методы. Для решения поставленной задачи была разработана методология построения многоцелевого кластера с использованием технологий быстрого построения тематической графовой базы данных, графа знаний, методов и моделей машинного обучения для глубокого анализа данных.

Результаты

Результаты. Разработана Система комплексного анализа данных тематических сайтов ИСКАД ИИ, апробированы методология быстрого построения тематической графовой базы данных и комплексная технология глубокого анализа данных интернет-источников и известных мировых сайтов.

Заключение

Заключение. Создана среда информационных технологий для быстрого построения тематических графовых баз данных. Результаты применения технологии быстрого построения графовых баз данных показаны на примерах работы ИСКАД ИИ.

Objectives

Objectives. Currently, the main source of information is the Internet. The huge amount of information available on the Internet makes it urgent to comprehensively analyze data from open Internet sources.

The goal of this work is to create a multi-purpose, modifiable cluster for in-depth analysis of data from Internet sources, the main objectives of which are to identify the most important publications in a certain subject area, thematic analysis of these publications, identifying the leader of a scientific direction and determining trends in the development of areas and interaction of groups of people.

Methods

Methods. To solve this problem, a methodology was developed for constructing a multi-purpose cluster using technologies for quickly constructing a thematic graph database, a knowledge graph, methods and models of machine learning for in-depth analysis of data.

Results

Results. A system for comprehensive analysis of data from thematic sites ISKAD IS has been developed, a methodology for quickly constructing a thematic graph database and a comprehensive technology for in-depth analysis of data from Internet sources and analysis of data from the most important well-known world sites have been tested.

Conclusion

Conclusion. An IT environment has been created for the rapid construction of thematic graph databases. The results of using the technology for quickly constructing graph databases are shown using examples of the work of ISKAD IS.

тематические сайтыбольшие данныеметод машинного обученияанализ данныхграфовая база данныхграф знанийбаза данных Neo4jthematic sitesBig Datamachine learning methodanalysis of datagraph databaseknowledge graphdatabase Neo4jReferencesИнтеллектуальная система комплексного анализа данных интернет-источников / М. П. Батура [и др.] // BIG DATA and Advanced Analytics = BIG DATA и анализ высокого уровня : сб. материалов VI Междунар. науч.-практ. конф., Минск, 20–21 мая 2020 г. : в 3 ч. Ч. 1 / редкол.: В. А. Богуш [и др.]. – Минск : Бестпринт, 2020. – С. 220–241.Batura M. P., Piletski I. I., Prytkov V. A., Volorova N. A. Intelligent system for comprehensive analysis of data from Internet sources. BIG DATA i analiz vysokogo urovnja : sbornik materialov VI Mezhdunarodnoj nauchno-prakticheskoj konferencii, Minsk, 20–21 maja 2020 g. : v 3 chastjah. Chast' 1 [BIG DATA and Advanced Analytics : Collection of Materials of the VI International Scientific and Practical Conference, Minsk, 20–21 May 2020 : in 3 Parts. Part 1]. Ed. board: V. A. Bogush [et al.]. Minsk, Bestprint, 2020, рр. 220–241 (In Russ.).Пилецкий, И. И. Графовые технологии в интеллектуальной системе комплексного анализа данных интернет-источников / И. И. Пилецкий, М. П. Батура, Л. Ю. Шилин // Доклады БГУИР. – 2020. – Т. 18, № 5. – С. 89–97.Piletski I. I., Batura M. P., Shilin L. Yu. Graph technologies in an intelligent system for complex analysis of data from Internet sources. Doklady Belorusskogo gosudarstvennogo universiteta informatiki i radioèlektroniki [Doklady BGUIR], 2020, vol. 18, no. 5. рр. 89–97 (In Russ.).Граф знаний и машинное обучение как ИТ-среда интеллектуального анализа данных интернетисточников / М. П. Батура [и др.] // BIG DATA and Advanced Analytics = BIG DATA и анализ высокого уровня : сб. науч. ст. VIII Междунар. науч.-практ. конф., Минск, 11–12 мая 2022 г. / Бел. гос. ун-т информатики и радиоэлектроники ; редкол.: В. А. Богуш [и др.]. – Минск, 2022. – С. 330–344.Batura M. P., Piletsky I. I., Volorova N. A., Zorko P. A., Kulevich A. O. Knowledge graph and machine learning as an IT environment for mining data from Internet sources. BIG DATA i analiz vysokogo urovnja : sbornik nauchnyh statej VIII Mezhdunarodnoj nauchno-prakticheskoj konferencii, Minsk, 11–12 maja 2022 g. [BIG DATA and Advanced Analytics : Collection of Scientific Articles of the VIII International Scientific and Practical Conference, Minsk, 11–12 May 2022]. Ed. board: V. A. Bogush [et al.]. Minsk, 2022, рр. 330–344 (In Russ.).Diestel, R. Graph Theory / R. Diestel. – Berlin : Springer-Verlag, 2017. – 448 р.Diestel R. Graph Theory. Berlin, Springer-Verlag, 2017, 448 р.Needham, M. Graph Algorithms / M. Needham, A. E. Hodler. – Sebastopol : O’Reilly Media, 2019. – 265 р.Needham M., Hodler A. E. Graph Algorithms. Sebastopol, O’Reilly Media, 2019, 265 р.Hamilton, W. L. Representation learning on graphs: Methods and applications / W. L. Hamilton, R. Ying, J. Leskovec // IEEE Data Engineering Bulletin. – 2017. – Vol. 40, no. 3. – Р. 52–74.Hamilton W. L., Ying R., Leskovec J. Representation learning on graphs: Methods and applications. IEEE Data Engineering Bulletin, 2017, vol. 40, no. 3, рр. 52–74.Ovcinnikova, J. Visual diagrammatic queries in ViziQuer: Overview and implementation / J. Ovcinnikova, A. Sostaks, K. Cerans // Baltic J. of Modern Computing. – 2023. – Vol. 11, no. 2. – Р. 317–350.Ovcinnikova J., Sostaks A., Cerans K. Visual diagrammatic queries in ViziQuer: Overview and implementation. Baltic Journal of Modern Computing, 2023, vol. 11, no. 2, рр. 317–350.Portisch, J. Knowledge graph embedding for data mining vs. knowledge graph embedding for link prediction – two sides of the same coin? / J. Portisch, N. Heist, H. Paulheim // Semantic Web. – 2022. – Vol. 13, no. 3. – Р. 399–422. https://doi.org/10.3233/SW-212892Portisch J., Heist N., Paulheim H. Knowledge graph embedding for data mining vs. knowledge graph embedding for link prediction – two sides of the same coin? Semantic Web, 2022, vol. 13, no. 3, рр. 399–422. https://doi.org/10.3233/SW-212892Barrasa, J. Knowledge Graphs / J. Barrasa, A. E. Hodler, J. Webber. – Sebastopol : O’Reilly Media, 2021. – 85 р.Barrasa J., Hodler A. E., Webber J. Knowledge Graphs. Sebastopol, O’Reilly Media, 2021, 85 р.

The authors declare that there are no conflicts of interest present.