Проектирование цифрового сервиса извлечения из текстов вакансий структурированной информации о требованиях к соискателю с использованием технологий обработки естественного языка : магистерская диссертация

Abstract

Работа посвящена решению актуальной практической задачи структуризации текстов вакансий и извлечения из них информации о требуемых навыках для обеспечения возможности применения более эффективных алгоритмов поиска в коллекции документов. Задачи обработки текстов на естественном языке в настоящее время эффективно решаются с помощью методов машинного обучения, однако большая часть из них реализована в рамках конкретных технологий и языков. Поэтому в работе рассматривается вопрос создания отдельного веб-сервиса, реализующего функции обработки текстов вакансий с использованием библиотек для машинного обучения на языке Python и предоставляющего широкому кругу сторонних приложений возможность интеграции с ним посредством RESTful API интерфейса. Структуризация текстов вакансий выполняется с использованием регулярных выражений, кластеризации и классификации, причем извлекаются не только требования к навыкам соискателя, но также и выполняется выделение структуры объявления в виде разделов и заголовков к ним.

The paper is devoted to solving the actual practical problem of structuring job texts and extracting information about required skills from them to enable more efficient search algorithms in a collection of documents. Natural language text processing tasks are currently effectively solved using machine learning techniques, but most of them are implemented within specific technologies and languages. Therefore, this paper considers the creation of a separate web service that implements job text processing functions using Python machine learning libraries and provides a wide range of third-party applications with the ability to integrate with it via a RESTful API interface. Job texts are structured using regular expressions, clustering and classification, not only extracting the skill requirements of the job seeker, but also extracting the structure of the advertisement in the form of sections and their headings.