Исследование моделей генерации аннотаций для художественных произведений : магистерская диссертация

Abstract

В современном мире текстовая обработка и искусственный интеллект активно используются для автоматизации различных процессов, включая создание аннотаций для художественных произведений. Автоматическая генерация аннотаций помогает читателям быстро понять содержание книги и принять решение о её прочтении. В этой диссертации проводится исследование различных моделей генерации аннотаций, таких как Bag-of-Words (BoW), TF-IDF, Latent Dirichlet Allocation (LDA), Recurrent Neural Networks (RNNs), BERT (Bidirectional Encoder Representations from Transformers), T5 и PEGASUS. Эффективность этих моделей оценивается с помощью метрик BLEU Score, ROUGE Score, METEOR Score, F1 Score и CIDEr Score. Для тестирования моделей используется датасет, состоящий из книг в формате .docx. Результаты работы позволяют выявить наиболее эффективные методы автоматической генерации аннотаций и предлагают направления для дальнейшего совершенствования этих моделей.

In today's world, text processing and artificial intelligence are actively used to automate various processes, including the creation of annotations for fiction works. Automatic annotation generation helps readers quickly grasp the content of a book and decide whether to read it. This dissertation investigates various models for generating annotations, such as Bag-of-Words (BoW), TF-IDF, Latent Dirichlet Allocation (LDA), Recurrent Neural Networks (RNNs), BERT (Bidirectional Encoder Representations from Transformers), T5, and PEGASUS. The effectiveness of these models is evaluated using metrics such as BLEU Score, ROUGE Score, METEOR Score, F1 Score, and CIDEr Score. A dataset of books in .docx format is used to test the models. The results of the study identify the most effective methods for automatic annotation generation and suggest directions for further improvement of these models.