Добыча данных с помощью функций и библиотек языка Python : магистерская диссертация

Abstract

Данная работа включает изучение алгоритмов машинного обучения (регрессии и классификации) на примере данных открытых источников Covid-19. Исходные данные для исследования взяты с веб-сайта Европейский центр по профилактике и контролю заболеваний в формате CSV. Для решения задачи использовались библиотеки Pyton: pandas, NumPy, Matplotlib, Seaborn, Sklearn. В ходе исследования исследованы возможности библиотек и функций Python для предварительной обработки данных путем удаления NULL-полей и преобразования их в нулевые, а затем выполнен процесс извлечения данных с помощью библиотек и функций Python и то, как отображать информацию в различных формах в виде таблиц, графиков или временных рядов. Применение агломеративной кластеризации к данным, как показал график распределения, не позволило достаточно точно провести разбивку данных на группы. Использование алгоритма кластеризации BIRCH позволило более точно решить данную задачу.

Through the master's research, we will use the Covid-19 data file for the year 2020, and the Covid-19 data file for the year 2021 and early 2022 year The file is in (csv) format for all countries of the world to show cases of injuries and deaths. Through the study, we will show the ability of Python libraries and functions to pre-process data by removing NULL fields and converting them to zero and then the process of extracting data using Python libraries and functions and how to show information in different forms in the form of tables, charts or time series. Then we conclude the six most important libraries in the Python language that cannot be dispensed with in the process of data mining and the most important functions used. Algorithms: regression algorithm, classification algorithm, clustering algorithm. Evaluate the results between the work of these algorithms by showing the drawing of each algorithm and deduce the best algorithm in our work only.