Использование диффузионных моделей для аугментации данных и улучшения качества сегментации изображений (на примере модели Stable Diffusion и наборе данных Caltech-UCSD Birds-200-2011) : магистерская диссертация

Abstract

Объект исследования: процесс аугментации изображений для решения задачи сегментации. Предмет исследования: методы аугментации и машинного обучения, с помощью которых осуществляется сегментация изображений. Цель работы: исследование эффективности генеративной аугментации изображений, выполненной с помощью диффузионной модели Stable Diffusion на примере задачи семантической сегментации. В процессе исследования проводились: рассмотрение основных подходов сегментации изображений и методов аугментации данных, разработка и реализация экспериментов для оценки эффективности генеративной аугментации изображений. В работе продемонстрирована эффективность подхода аугментации изображений, реализованного за счет расширения части исходного датасета путем генерирования новых данных с помощью диффузионной модели. Область практического применения: предложенный подход может быть использован для улучшения качества работы моделей семантической сегментации изображений в условиях ограниченного количества исходных данных, дефицита размеченных данных или дисбаланса данных.

Object of study: the process of image augmentation to solve the segmentation problem. Subject of research: augmentation and machine learning methods used for image segmentation. Purpose of the work: to study the effectiveness of generative image augmentation performed using the Stable Diffusion model using the example of a semantic segmentation task. During the research process, the following was carried out: consideration of the main approaches to image segmentation and data augmentation methods, development and implementation of experiments to evaluate the effectiveness of generative image augmentation. The work demonstrates the effectiveness of the image augmentation approach, implemented by expanding part of the original dataset by generating new data using a diffusion model. Area of practical application: the proposed approach can be used to improve the quality of work of semantic image segmentation models in conditions of a limited amount of source data, a shortage of labeled data, or data imbalance.