Генерация эхокардиографических двухмерных изображений сердца с использованием генеративно-состязательной нейронной сети с условным дискриминатором

Abstract

Одна из наиболее важных задач эхокардиографии - автоматическое выделение камер сердца на УЗИ-изображении. Один из эффективных подходов основан на использовании нейронных сетей, однако, для их обучения необходимо использовать УЗИ-изображения сердечной мышцы, на которых присутствуют размеченные экспертами границы областей сердца. Ввиду нехватки таких данных, для увеличения объемов обучающих выборок сегодня используется синтез изображений. В статье предложен улучшенный способ генерации эхокардиограмм сердца с помощью генеративно-состязательной нейронной сети с условным дискриминатором на основе патчей. Продемонстрировано, что удается улучшить качество УЗИ-изображений сердца в двух- и четырехкамерной проекциях с помощью слоев pixel shuffle. Ожидается, что данный способ позволит повысить точность решения прямой задачи автоматической сегментации левого желудочка сердца.

One of the most significant tasks of echocardiography is the automatic delineation of the cardiac structures from 2D echocardiographic images. One of the most effective approaches is based on the deep convolutional neural networks. Nonetheless, it is necessary to use echocardiogram frames of the cardiac muscle, which show the boundaries of the cardiac structures annotated by experts to train it. However, the number of databases containing the necessary information is relatively small. Therefore, generated echocardiogram frames are used to increase the amount of training samples. The article proposes an improved method for generating echocardiograms using a generative adversarial neural network (GAN) with a patch-based conditional discriminator. It has been demonstrated that it is possible to improve the quality of generated echocardiogram frames in both two and four chamber views (AP4C, AP2C) using the masks of cardiac segmentation with sub-pixel convolution layer (pixel shuffle). t is expected that this method will improve the accuracy of solving the direct problem of automatic segmentation of the left ventricle.