Тональные пространства векторных языковых моделей

Цели. Тональность как положительно-отрицательное настроение – ключевой параметр алгоритмов анализа и генерации текстов. Существующие методы машинного обучения кодируют ее вычислительно трудоемким и неинтерпретируемым образом, что затрудняет развитие этого направления. Целью работы является решение данных проблем для русского языка.

Методы. Используются предобученные векторные языковые модели, кодирующие слова векторами в многомерных пространствах. В таких пространствах тональность соответствует направлению, наилучшим образом разделяющему положительный и отрицательный прототипы. Тональность слова определяется его проекцией на это направление. Добавление тонального вектора к ключевому слову задает одномерное пространство, позволяющее находить в языковой модели его положительные и отрицательные ассоциации.

Результаты. Алгоритм апробирован на машинных моделях семейств GloVe и FastText, кодирующих отдельные слова и морфемы русского языка векторами в 300-мерном пространстве. В качестве ключевых слов использовались частоупотребимые глаголы и существительные. Средняя достоверность найденных тональных ассоциаций составила 80 %.

Заключение. Результаты свидетельствуют о применимости предобученных векторных языковых моделей для быстрой и интерпретируемой работы с тональной информацией. Разработанный подход востребован в задачах объектно-ориентированного сентимент-анализа, а также в задачах машинной генерации объектно-ориентированных текстов нужной тональности. Обобщение тональной оси до тройки семантических факторов Осгуда позволяет расширить представленный метод для работы с полным спектром эмоционально-смысловой информации.

1. Clynes, M. The communication of emotion: Theory of sentics / M. Clynes ; ed.: R. Plutchik, H. Kellerman // Theories of Emotion. – Academic Press, 1980. – Р. 271–301. – https://doi.org/10.1016/B978-0-12-558701-3.50017-X.

2. Smetanin, S. The applications of sentiment analysis for Russian language texts: Current challenges and future perspectives / S. Smetanin // IEEE Access. – 2020. – Vol. 8. – Р. 110693–110719. – https://doi.org/10.1109/access.2020.3002215.

3. Brauwers, G. A survey on aspect-based sentiment classification / G. Brauwers, F. Frasincar // ACM Computing Surveys. – 2021. – Vol. 55. – Р. 1–37. – https://doi.org/10.1145/3503044.

4. A summary of aspect-based sentiment analysis / S. Fan, J. Yao, Y. Sun, Y. Zhan // Journal of Physics: Conference Series. – 2020. – Vol. 1624, no. 2. – URL: https://iopscience.iop.org/article/10.1088/1742-6596/1624/2/022051 (date of access: 07.12.2025). – https://doi.org/10.1088/1742-6596/1624/2/022051.

5. Tang, D. Deep learning for sentiment analysis: successful approaches and future challenges / D. Tang, B. Qin, T. Liu // WIREs Data Mining and Knowledge Discovery. – 2015. – Vol. 5, no. 6. – Р. 292–303. – https://doi.org/10.1002/widm.1171.

6. van der Sluis, I. Affective text: Generation strategies and emotion measurement issues / I. van der Sluis, C. Mellish, G. Doherty // Proc. of the Twenty-Fourth Intern. Florida Artificial Intelligence Research Society Conf., Palm Beach, Florida, USA, 18–20 May 2011. – Palm Beach, 2011. – Р. 123–128.

7. Adapting a language model for controlled affective text generation / I. Singh, A. Barkati, T. Goswamy, A. Modi // Proc. of the 28th Intern. Conf. on Computational Linguistics, Barcelona, Spain (Online), Dec. 2020. – Barcelona, 2020. – Р. 2787–2801. – https://doi.org/10.48550/arXiv.2011.04000.

8. Nie, G. A review of affective generation models / G. Nie, Y. Zhan. – 2022. – URL: https://arxiv.org/pdf/2202.10763 (date of access: 07.12.2025). – https://doi.org/10.48550/arXiv.2202.10763.

9. Explainable AI / V. C. Storey, R. Lukyanenko, W. Maass, J. Parsons // Communications of the ACM. – 2022. – Vol. 65, no. 4. – Р. 27–29. – https://doi.org/10.1145/3490699.

10. Tanaka, Y. Cross-culture, cross-concept, and cross-subject generality of affective meaning systems / Y. Tanaka, C. E. Osgood // Journal of Personality and Social Psychology. – 1965. – Vol. 2, no. 2. – Р. 143–153. – https://doi.org/10.1037/h0022392.

11. Osgood, C. E. On the whys and wherefores of E, P, and A / C. E. Osgood // Journal of Personality and Social Psychology. – 1969. – Vol. 12, no. 3. – Р. 194–199. – https://doi.org/10.1037/h0027715.

12. Суров, И. А. Открытие черного ящика: извлечение семантических факторов Осгуда из языковой модели word2vec / И. А. Суров // Информатика и автоматизация. – 2022. – Т. 21, № 5. – С. 916–936. – https://doi.org/10.15622/ia.21.5.3.

13. Груздева, А. С. Машинно-семантический дифференциал: картирование эмоций посредством векторных языковых моделей / А. С. Груздева, И. А. Суров // Ученые записки Института психологии РАН. – 2025. – Т. 5, № 4. – С. 86–99. – https://doi.org/10.38098/proceedings_2025_05_04_10.

14. Surov, I. A. Process-semantic analysis of words and texts / I. A. Surov // Artificial Intelligence in Models, Methods and Applications / ed.: O. Dolinina [et al.]. – Cham : Springer, 2023. – С. 247–260. – https://doi.org/10.1007/978-3-031-22938-1_17.

15. Mikolov, T. Linguistic regularities in continuous space word representations / T. Mikolov, W. Yih, G. Zweig // Proc. of the 2013 Conf. of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Atlanta, Georgia, 9–14 June 2013. – Atlanta, 2013. – Р. 746–751.

16. Distributed representations of words and phrases and their compositionality / T. Mikolov, I. Sutskever, K. Chen [et al.] // NIPS’13: Proc. of the 26th Intern. Conf. on Neural Information Processing Systems, Lake Tahoe, Nevada, 5–10 Dec. 2013. – Lake Tahoe, 2013. – Vol. 2. – Р. 3111–3119.

17. McLachlan, G. J. Discriminant Analysis and Statistical Pattern Recognition / G. J. McLachlan. – N. Y. : Wiley, 2004. – 526 р.

18. Pennington, J. Glove: Global vectors for word representation / J. Pennington, R. Socher, C. D. Manning // Proc. of the 2014 Conf. on Empirical Methods in Natural Language Processing (EMNLP), Doha, Qatar, 25–29 Oct. 2014. – Doha, 2014. – Р. 1532–1543.

19. Kukushkin, A. Navec_hudlit_v1_12B_500K_300d_100q.tar / A. Kukushkin. – 2023. – URL: https://github.com/natasha/navec (date of access: 07.12.2025).

20. Enriching word vectors with subword information / P. Bojanowski, E. Grave, A. Joulin, T. Mikolov // Transactions of the Association for Computational Linguistics. – 2017. – Vol. 5. – Р. 135–146. – https://doi.org/10.48550/ARXIV.1607.04606.

21. Koltsova, O. Y. An opinion word lexicon and a training dataset for Russian sentiment analysis of social media / O. Y. Koltsova, S. V. Alexeeva, S. N. Kolcov // Computational Linguistics and Intellectual Technologies. – 2016. – Vol. 2016. – Р. 277–287.

22. From extraction to generation: Multimodal emotion-cause pair generation in conversations / H. Ma, J. Yu, F. Wang [et al.] // IEEE Transactions on Affective Computing. – 2025. – Vol. 16, no. 2. – Р. 586–597. – https://doi.org/10.1109/TAFFC.2024.3446646.

23. Text-based fine-grained emotion prediction / G. Singh, D. Brahma, P. Rai, A. Modi // IEEE Transactions on Affective Computing. – 2024. – Vol. 15, no. 2. – Р. 405–416. – https://doi.org/10.1109/TAFFC.2023.3298405.

24. Surov, I. A. Quantum core affect. Color-emotion structure of semantic atom / I. A. Surov // Frontiers in Psychology. – 2022. – Vol. 13. – https://doi.org/10.3389/fpsyg.2022.838029.

25. Widdows, D. Should semantic vector composition be explicit? Can it be linear? / D. Widdows, K. Howell, T. Cohen // Proc. of the Workshop on Semantic Spaces at the Intersection of NLP, Physics, and Cognitive Science, Groningen, The Netherlands, 14–18 June 2021. – Groningen, 2021. – Р. 76–86. – https://doi.org/10.48550/arXiv.2104.06555.

26. Schlegel, K. A comparison of vector symbolic architectures / K. Schlegel, P. Neubert, P. Protzel // Artificial Intelligence Review. – 2022. – Vol. 55, no. 6. – Р. 4523–4555. – https://doi.org/10.1007/s10462-021-10110-3.

27. Vector symbolic architectures as a computing framework for emerging hardware / D. Kleyko, M. Davies, E. P. Frady [et al.] // Proceedings of the IEEE. – 2022. – Vol. 110, no. 10. – Р. 1538–1571. – https://doi.org/10.1109/JPROC.2022.3209104.

28. Суров, И. А. Геометрическая семиотика падежей русского языка / И. А. Суров // Вестник Московского государственного университета. Гуманитарные науки. – 2026. (В печати)

29. Predicting survey responses: How and why semantics shape survey statistics on Organizational Behaviour / J. K. Arnulf, K. R. Larsen, Ø. L. Martinsen, C. H. Bong // PLoS ONE. – 2014. – Vol. 9, no. 9. – https://doi.org/10.1371/journal.pone.0106361.

30. Arnulf, J. K. Measuring the menu, not the food: “psychometric” data may instead measure “lingometrics” (and miss its greatest potential) / J. K. Arnulf, U. H. Olsson, K. Nimon // Frontiers in Psychology. – 2024. – Vol. 15. – Р. 1308098. – https://doi.org/10.3389/fpsyg.2024.1308098.

31. Lukyanenko, R. Integrating LLMs and psychometrics: Global construct validity / R. Lukyanenko, K. R. Larsen // Forty-Fifth Intern. Conf. on Information Systems, Bangkok, Thailand, 15–18 Dec. 2024. – Bangkok, 2024. – URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5341306 (date of access: 07.12.2025).