Machine learning in the processing and analysis of texts

Abstract

Natural language processing technologies have made great progress today, and considerable merit in this belongs to machine learning, which is used, particularly, for understanding texts. Neural network technologies can be used in any task where text classification is necessary, whether it is spam filtering, fraud defining or credit scoring, determining the mood of a text, or even the author’s tendency to be depressed, etc. In almost every paper in the collections of leading linguistic conferences, neural network methods are mentioned. Their popularity is largely due to their ability to find complex, sometimes hidden relationships in the data. However, in order for neural networks to fully demonstrate their practical effectiveness, large amounts of textual data are needed for training. This article tells about the language models used before the neural network revolution, whether it is possible to transfer the text to the computer's memory without losing its structure and semantics, and how a smartphone tells us words in messages, as well as about the use of neural network technologies in linguistics.

Технологии обработки естественного языка сегодня шагнули далеко вперед, и немалая заслуга в этом принадлежит машинному обучению, применяемому, в частности, для понимания текстов. Нейросетевые технологии могут быть использованы в любой задаче, где необходимо классифицировать тексты, будь то фильтрация спама, определение мошенничества или кредитный скоринг, определение настроения текста или даже склонности автора текста к депрессии. Почти в каждой статье в сборниках ведущих лингвистических конференций используются нейросетевые методы. Популярность нейронных сетей во многом вызвана их способностью находить сложные, порой скрытые зависимости в данных. Однако для того, чтобы они могли в полной мере продемонстрировать свою практическую эффективность, необходимы большие объемы текстовых данных для эффективного обучения сетей. Данная статья рассказывает, какие языковые модели использовали до нейросетевой революции, возможно ли передать текст без потери структуры и семантики в память компьютера и каким образом смартфон подсказывает нам слова в сообщениях, а также о применении нейросетевых технологий в лингвистике.