Preview

Информатика

Расширенный поиск

Моделирование языка и двунаправленные представления кодировщиков: обзор ключевых технологий

https://doi.org/10.37661/1816-0301-2020-17-4-61-72

Аннотация

Представлен очерк развития технологий обработки естественного языка, которые легли в основу BERT (Bidirectional Encoder Representations from Transformers) − языковой модели от компании Google, демонстрирующей высокие результаты на целом классе задач, связанных с пониманием естественного языка. Две ключевые идеи, реализованные в BERT, – это перенос знаний и механизм внимания. Модель предобучена решению нескольких задач на обширном корпусе неразмеченных данных и может применять обнаруженные языковые закономерности для эффективного дообучения под конкретную проблему обработки текста. Использованная  архитектура Transformer основана на внимании, т. е. предполагает оценку взаимосвязей между токенами входных данных. В статье отмечены сильные и слабые стороны BERT и направления дальнейшего усовершенствования модели.

 

Для цитирования:


Качков Д.И. Моделирование языка и двунаправленные представления кодировщиков: обзор ключевых технологий. Информатика. 2020;17(4):61-72. https://doi.org/10.37661/1816-0301-2020-17-4-61-72

For citation:


Kachkou D.I. Language modeling and bidirectional coders representations: an overview of key technologies. Informatics. 2020;17(4):61-72. (In Russ.) https://doi.org/10.37661/1816-0301-2020-17-4-61-72

Просмотров: 1035


Creative Commons License
Контент доступен под лицензией Creative Commons Attribution 4.0 License.


ISSN 1816-0301 (Print)
ISSN 2617-6963 (Online)