informИнформатикаInformatics1816-03012617-6963UIIP NASB10.37661/1816-0301-2023-20-4-87-100inform-1267Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИINFORMATION TECHNOLOGYМадэль аўтаматызаванай ідэнтыфікацыі амографаў для беларускай мовыA model of homographs automatic identification for the Belarusian languageГецэвічЮ. С.HetsevichYu. S.

Гецэвіч Юрась Станіслававіч, кандыдат тэхнічных навук, дацэнт, загадчык лабараторыі распазнавання і сінтэзу маўлення

вул. Сурганава, 6, Мінск, 220012

Yuras S. Hetsevich, Ph. D. (Eng.), Assoc. Prof., Head of the Speech Synthesis and Recognition Laboratory

st. Surganova, 6, Minsk, 220012

yuras.hetsevich@gmail.comЗяноўкаЯ. С.ZianoukaYa. S.

Зяноўка Яўгенія Сяргееўна, малодшы навуковы супрацоўнік

вул. Сурганава, 6, Мінск, 220012

Yauheniya S. Zianouka, Junior Researcher

st. Surganova, 6, Minsk, 220012

evgeniakacan@gmail.comЛатышэвічД. І.LatyshevichD. I.

Латышэвіч Давід Іосіфавіч, стажор малодшага навуковага супрацоўніка

вул. Сурганава, 6, Мінск, 220012

David I. Latyshevich, Trainee of Junior Researcher

st. Surganova, 6, Minsk, 220012

david.latyshevich@gmail.comБакуновічА. А.BakunovichA. A.

Бакуновіч Андрэй Аляксеевіч, малодшы навуковы супрацоўнік

вул. Сурганава, 6, Мінск, 220012

Andrey A. Bakunovich, Junior Researcher

st. Surganova, 6, Minsk, 220012

bakunovich.andrei.work@gmail.comДрагунА. Я.DrahunA. Ya.

Драгун Анастасія Яўгеньеўна, малодшы навуковы супрацоўнік

вул. Сурганава, 6, Мінск, 220012

Anastasia Ya. Drahun, Junior Researcher

st. Surganova, 6, Minsk, 220012

ndrahun@gmail.comКазловаМ. А.KazlovaM. A.

Казлова Маргарыта Аляксандраўна, стажор малодшага навуковага супрацоўніка

вул. Сурганава, 6, Мінск, 220012

Margarita A. Kazlova, Trainee of Junior Researcher

st. Surganova, 6, Minsk, 220012

margaryta.kazlova@gmail.comАб’яднаны інстытут праблем інфарматыкі Нацыянальнай акадэміі навук БеларусіThe United Institute of Informatics Problems of the National Academy of Sciences of Belarus20232912202320487100Copyright © Гецэвіч Ю.С., Зяноўка Я.С., Латышэвіч Д.І., Бакуновіч А.А., Драгун А.Я., Казлова М.А., 20232023Гецэвіч Ю.С., Зяноўка Я.С., Латышэвіч Д.І., Бакуновіч А.А., Драгун А.Я., Казлова М.А.Hetsevich Y.S., Zianouka Y.S., Latyshevich D.I., Bakunovich A.A., Drahun A.Y., Kazlova M.A.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://inf.grid.by/jour/article/view/1267Мэты

Мэты. Мэтай працы з’яўляецца апісанне прататыпнай сістэмы для аўтаматызаванага здымання аманіміі ў электронных тэкстах на беларускай і рускай мовах. Гэта звязана з актуальнай праблемай аўтаматычнай апрацоўкі тэкстаў на марфалагічным узроўні, працэс якой ускладняецца флектыўнасцю беларускай мовы з разнастайнай і багатай сістэмай марфалагічных характарыстык часцін мовы.

Метады

Метады. У працы выкарыстоўваюцца правілавыя метады ідэнтыфікацыі амаграфіі і метады, заснаваныя на ведах.

Вынікі

Вынікі. Прапанаваны метады і падыходы для праектавання сістэм аўтаматычнага вызначэння амографаў. Падрабязна прадстаўлены метад, заснаваны на ведах, на аснове якога распрацаваны пакрокавы алгарытм ідэнтыфікацыі амографаў і рэалізаваны эфектыўны і хуткадзейны прататып для іх здымання на рускай і беларускай мовах.

Заключэнне

Заключэнне. Прадстаўлены працоўны прататып пошуку амографаў, які з’яўляецца першым рэсурсам па здыманні шматзначнасці для беларускай мовы ў адкрытым доступе.

Objectives

Objectives. A prototype system for automated removal of homonyms in Belarusian and Russian electronic texts is described. This is due to the urgent problem of automatic text processing at the morphological level, the process of which is complicated by the inflection of the Belarusian language with a diverse and rich system of morphological characteristics of parts of speech.

Methods

Methods. The work uses regular homographs identification methods and knowledge-based methods.

Results

Results. Methods and approaches for designing systems for automatic detection of homographs are proposed. An algorithm for identifying homographs on the basis of knowledge-based method has been developed. An effective and fast-acting prototype for their removal in Russian and Belarusian has been implemented.

Conclusion

Conclusion. A working prototype of the homograph search is presented, which is the first resource for removing ambiguity for the Belarusian language in open access.

аманіміяздыманне аманіміішматзначнасцьаўтаматычная апрацоўка электронных тэкстаўбеларуская моваслоўнікhomonymyremoval of homonymsambiguityautomatic processing of electronic textsthe Belarusian languagedictionaryReferencesWord Sense Disambiguation: Algorithms and Applications / eds.: E. Agirre, P. Edmonds. – Springer, 2007. – Series: Text, Speech and Language Technology. – Vol. 33. – 377 р.Agirre E., Edmonds P. (eds.). Word Sense Disambiguation: Algorithms and Applications. Springer, 2007, Series: Text, Speech and Language Technology, vol. 33, 377 p.Ширшикова, А. А. О проблемах омонимии / А. А. Ширшикова // Альманах современной науки и образования. – Тамбов : Грамота, 2012. – № 2(57). – C. 190–192.Shirshikova A. On the problems of homonymy. Al'manakh sovremennoy nauki i obrazovaniya [Almanac of Modern Science and Education], Tambov, Gramota, 2012, no. 2(57), pp. 190–192 (In Russ.).Tian, T. Improving web search results for homonyms by suggesting completions from an ontology / T. Tian, J. Geller, S. A. Chun // Current Trends in Web Engineering – 10th Intern. Conf. on Web Engineering, ICWE 2010 Workshops, Vienna, Austria, July 2010. – Vienna, Austria, 2010. – P. 41–44.Tian T., Geller J., Chun S. A. Improving web search results for homonyms by suggesting completions from an ontology. Current Trends in Web Engineering: 10th International Conference on Web Engineering, ICWE 2010 Workshops, July 2010, Vienna, Austria, July 2010. Vienna, Austria, 2010, pp. 41–44.Van den Beukel, S. Homonym detection for humor recognition in short text / S. van den Beukel, L. Aroyo // Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, Brussels, Belgium, 31 October 2018. – Brussels, Belgium, 2018. – P. 286–291.Van den Beukel S., Aroyo L. Homonym detection for humor recognition in short text. Proceedings of the 9th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis, Brussels, Belgium, 31 October 2018. Brussels, Belgium, 2018, pp. 286–291.Pozdniakov, K Regular homophones: a tool for semantic typology and for linguistic reconstruction / K. Pozdniakov, G. Segerer // Africana Linguistica. – 2019. – Vol. 25. – P. 231–279.Pozdniakov K., Segerer G. Regular homophones: a tool for semantic typology and for linguistic reconstruction. Africana Linguistica, 2019, vol. 25, pp. 231–279.Roll, U. Using machine learning to disentangle homonyms in large text corpora / U. Roll, R. A. Correia, O. Berger-Tal // Conservation Biology. – June 2018. – Vol. 32, iss. 3. – P. 716–724.Roll U., Correia R. A., Berger-Tal O. Using machine learning to disentangle homonyms in large text corpora. Conservation Biology, June 2018, vol. 32, iss. 3, pp. 716–724.Рысаков, С. В. Статистические методы снятия омонимии / С. В. Рысаков, Э. С. Клышинский // Новые информационные технологии в автоматизированных системах. – 2015. – № 18. – С. 555–563.Rysakov S. V., Klyshinsky E. S. Statistical methods of homonymy removal. Novye informacionnye tehnologii v avtomatizirovannyh sistemah [New Information Technologies in Automated Systems], 2015, no. 18, pp. 555–563 (In Russ.).Navigli, R. Structural semantic interconnections: a knowledge-based approach to word sense disambiguation / R. Navigli, P. Velardi // IEEE Transactions on Pattern Analysis and Machine Intelligence. – July 2005. – Vol. 27, iss. 7. – P. 1075–1086.Navigli R., Velardi P. Structural semantic interconnections: a knowledge-based approach to word sense disambiguation. IEEE Transactions on Pattern Analysis and Machine Intelligence, July 2005, vol. 27, no. 7, pp. 1075–1086.Гатауллин, Р. Р. Аналитический обзор методов разрешения морфологической многозначности / Р. Р. Гатауллин // Электронные библиотеки. – 2016. – Т. 19, № 2. – С. 98–114.Gataullin R. R. Analytical review of methods for resolving morphological polysemy. Elektronnyye biblioteki [Electronic Libraries], 2016, vol. 19, no. 2, pp. 98–114 (In Russ).Зеленков, Ю. Г. Вероятностная модель снятия морфологической омонимии на основе нормализующих подстановок и позиции соседних слов / Ю. Г. Зеленков, И. В. Сегайлович, В. А. Титов // Компьютерная лингвистика и интеллектуальные технологии : тр. Междунар. конф. «Диалог-2005», Звенигород, 1–6 июня 2005 г. – М. : Наука, 2005. – C. 616–638.Zelenkov Yu. G., Segalovich I. V., Titov V. A. Probabilistic model for removing morphological homonymy based on normalizing substitutions and positions of neighboring words. Komp'juternaja lingvistika i intellektual'nye tehnologii : trudy Mezhdunarodnoj konferencii «Dialog-2005», Zvenigorod, 1–6 ijunja 2005 g. [Computer linguistics and intellectual technologies: proceedings of the international conference "Dialogue-2005", Zvenigorod, 1–6 June 2005], Moscow, Nauka, 2005, pp. 616–638 (In Russ.).Мухамедшин, Д. Р. Модуль разрешения морфологической неоднозначности: архитектура и организация базы данных / Д. Р. Мухамедшин, Д. Ш. Сулейманов // Программные продукты и системы. – 2020. – Т. 33, № 1. – C. 38–46.Mukhamedshin D. R., Suleymanov D. Sh. Module of morphological ambiguity resolution: database architecture and organization. Programmnyye produkty i sistemy [Software Products and Systems], 2020, vol. 33, no. 1, pp. 38–46 (In Russ.).Порохнин, А. А. Анализ статистических методов снятия омонимии в текстах на русском языке / А. А. Порохнин // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. – 2013. – № 2. – С. 168–174.Porokhnin A. A. Analysis of statistical methods for removing homonymy in Russian texts. Vestnik Astrakhanskogo gosudarstvennogo tekhnicheskogo universiteta. Serija: Upravlenie, vychislitel'naja tehnika i informatika [Bulletin of the Astrakhan State Technical University. Series: Management, Computing and Information Science], 2013, no. 2, pp. 168–174.Лесько, О. Н. Использование онтологии предметной области для снятия омонимии в естественно-языковых текстах / О. Н. Лесько, Ю. В. Рогушина // Проблеми програмування : науковий журнал. – 2017. – № 2. – С. 61–71.Les'ko O. N., Rogushina Yu. V. Using the domain ontology for removing homonymy in natural language texts. Problemi programuvannya [Programming Problems], 2017, no. 2, pp. 61–71 (In Russ.).Зинькина, Ю. В. Разрешение функциональной омонимии в русском языке на основе контекстных правил / Ю. В. Зинькина, Н. В. Пяткин, О. А. Невзорова // Компьютерная лингвистика и интеллектуальные технологии : тр. Междунар. конф. «Диалог-2005», Звенигород, 1–6 июня 2005 г. – М. : Наука, 2005. – С. 198–202.Zin'kina Yu. V., Pyatkin N. V., Nevzorova O. A. Resolution of functional homonymy in Russian based on contextual rules. Komp'juternaja lingvistika i intellektual'nye tehnologii : trudy Mezhdunarodnoj konferencii «Dialog-2005», Zvenigorod, 1–6 ijunja 2005 g. [Computer linguistics and intellectual technologies: proceedings of the international conference "Dialogue-2005", Zvenigorod, 1–6 June 2005], Moscow, Nauka, 2005, pp. 198–202 (In Russ.).Okrut, T. Context-sensitive homograph disambiguation with NooJ in Belarusian and Russian electronic texts / T. Okrut, B. Lobanov, Y. Yakubovich // Intern. Scientific Conf. on the Automatic Processing of Natural-Language Electronic Texts ―NooJ’2015‖, Minsk, Belarus, 11–13 June 2015. – Minsk : UIIP NASB, 2015. – P. 48.Okrut T., Lobanov B., Yakubovich Y. Context-sensitive homograph disambiguation with NooJ in Belarusian and Russian electronic texts. International Scientific Conference on the Automatic Processing of Natural-Language Electronic Texts “NooJ’2015”, Minsk, Belarus, 11–13 June 2015. UIIP NASB, 2015, p. 48.Камп’ютарна-лінгвістычныя сэрвісы www.corpus.by для аўтаматычнай апрацоўкі тэкстаў / Я. С. Качан [і інш.] // Нацыянальна-культурны кампанент у літаратурнай і дыялектнай мове : зб. навук. арт. – Брэст : БрДУ імя А. С. Пушкіна, 2016. – C. 93–104.Hiecevic Ju., Kacan Ya, Lysy S., Stanislavienka H., Hiuntar A. Computer-linguistic services www.corpus.by for automatic text processing. Nacyjanalna-kulturny kampanient u litaraturnaj i dyjaliektnaj movie : zbornіk navukovyh artykulaў [National-cultural Component in Literary and Dialect Language : Collection of Scientific Articles], Brest, Brjesckі dzjarzhaўny ўnіversіtjet іmja A. S. Pushkіna, 2016, pp. 93–104 (In Bel).The problem of automatic search and determonation of homonyms for the Belarusian and Russian languages / Ya. Zianouka [et al.] // Информационные технологии в промышленности, логистике и социальной сфере. – Минск : Объединенный институт проблем информатики НАН Беларуси, 2021. – С. 182–184.Zianouka Ya., Hetsevish Yu., Majeŭski S., Dzienisiuk Dz. The problem of automatic search and determonation of homonyms for the Belarusian and Russian languages. Informacionnye tehnologii v promyshlennosti, logistike i socialnoj sfere [Information Technologies in Industry, Logistics and Social Sphere], Minsk, The United Institute of Informatics Problems of the National Academy of Sciences of Belarus, 2021, pp. 182–184.Новы Запавет – Кніга Прыповесьцяў : пер. А. Бокуна. – Мінск : Пазітыў-цэнтр, 2016. – 511 с.Novy Zapavet – Knіga Prypoves'cjaў. The New Testament – The Book of Proverbs. Transl. A. Bokunа. Minsk, Pazіtyў-cjentr, 2016, 511 p. (In Bel).

The authors declare that there are no conflicts of interest present.