Построение потокового захвата изменения данных для аналитических хранилищ данных : магистерская диссертация

Abstract

The object of the thesis is streaming data change capture. The purpose of the work is to analyze the methods for building a streaming data change capture system and implement the best method selected during the analysis. Research methods: theoretical analysis, testing, programming. The result of the work is the successful implementation and testing of a streaming data change capture system based on Kafka Connect in conjunction with the Debezium connector for MySQL and ClickHouse Kafka Connect Sink for ClickHouse, the solved problem of the latter's limitation on processing remote records from the data source, as well as obtaining the current state of data from the source. The scope of the obtained results is data engineering and artificial intelligence. The significance of the work lies in the possibility of its practical implementation at the place of work, as well as in the flexible approach to solving the problem under the conditions of tool limitations.

Цель работы – анализ методов построения потокового захвата изменений данных и реализация лучшего метода, выбранного в ходе анализа. Методы исследования: теоретический анализ, тестирование, программирование. Результатом работы является успешная реализация и тестирование системы потокового захвата изменений данных на базе Kafka Connect в связке с коннектором Debezium для MySQL и ClickHouse Kafka Connect Sink для ClickHouse, решённая проблема ограничения последнего на обработку удалённых записей из источника данных, а также получение актуального состояния данных из источника. Область применения полученных результатов – инженерия данных и искусственного интеллекта. Значимость работы заключается в возможности её практической реализации по месту работы, а также в гибком подходе к решению поставленной задачи в условиях ограничений инструментария.