Создание системы сбора и обработки открытых данных с ресурсов сети интернет

Abstract

This work is devoted to the creation of a system for automatic collection and processing of open data from Internet resources and bears practical significance in problems of text analysis. In the introduction, the relevance of the selected topic is substantiated, the goal and tasks of the research are formulated, the object and subject of the research are indicated. We consider such a task as the collection and initial processing of text data with subsequent analysis. Data collection is a priority, since open data from Internet resources are not structured and need to be processed. The author provides a system for processing HTML pages and files from the resources of educational institutions, and also leads the practical application of this approach to real data of open resources with the help of the created system. The system will help to structure the open data from the Internet resources, as well as analyze the collected data.

Данная работа посвящена созданию системы автоматического сбора и обработки открытых данных с ресурсов сети интернет и несет в себе практическую значимость в задачах анализа текста. Во введении обосновывается актуальность выбранной темы, формулируются цель и задачи исследования, указывается объект и предмет исследования. Рассматривается такая задача, как сбор и первичная обработка текстовых данных с последующим анализом. Сбор данных является первоочередной задачей, так как открытые данные с ресурсов сети интернет не структурированы и нуждаются в обработке. Автор предоставляет систему обработки HTML страниц и файлов с ресурсов образовательных учреждений, а также приводит практическое применение данного подхода на реальных данных открытых ресурсов с помощью созданной системы. Система поможет структурировать открытые данные с ресурсов сети интернет, а также провести анализ собранных данных.