Research of Left Ventricular Segmentation on Two-dimensional Ultrasound Images Based on Different Deep Learning Models : master's thesis

Abstract

В последние годы распространенность сердечно-сосудистых заболеваний, а также уровень смертности растет, что серьезно угрожает здоровью человека, что требует от врачей ранней диагностики сердечно-сосудистых заболеваний, чтобы выиграть время для последующего лечения пациентов, а результаты сегментации ультразвуковых изображений левого желудочка могут помочь врачам в диагностике сердечно-сосудистых заболеваний, но ультразвуковые изображения левого желудочка имеют характеристики сильного шума, слабых границ и сложной структуры ткани, что делает сегментацию изображения сложной, низкой эффективностью и плохой точностью. Одним из важнейших этапов оценки здоровья сердца является отслеживание и сегментация эндокардиальной границы левого желудочка (ЛЖ) с помощью ЭхоКГ, которая используется для измерения фракции выброса и оценки движения региональной стенки. Недостатком этих методов является необходимость применения обработки изображений вручную или в полуавтоматическом режиме, что требует специальных знаний и навыков. В результате вопрос автоматического отслеживания и сегментации ЛЖ на ЭхоКГ-изображениях является актуальной и практической проблемой. В моем проекте изучается способность полностью обученных моделей глубокого обучения U-Net, U-Net++, MANet, LinkNet, FPN, PSPNet, PAN, DeepLabv3 и DeepLabv3+ автоматически определять область левого желудочка. В то же время в архитектурах U-Net, U-Net++, MANet, LinkNet, PSPNet, PAN, FPN, DeepLabv3 и DeepLabv3+ модули кодировщика затем последовательно заменялись на ResNet18, ResNet34, ResNet5, ResNet101, EfficientNet-b0, EfficientNet-b1, EfficientNet-b3, EfficientNet-b5, EfficientNet-b7 и MobileNetv2, а ImageNet использовался в качестве весов предварительной подготовки; Добавление магистральных сетей в архитектуру модели приводит к более высокой точности сегментации по сравнению с исходной моделью. В рамках той же архитектуры модели EfficientNet в качестве кодировщика достигает лучших результатов сегментации, а EfficientNet-b3 работает лучше. Аналогично, в рамках серии ResNet ResNet34 работает лучше. В модели сегментации этого эксперимента Deeplabv3+ показывает превосходную производительность. Это указывает на то, что в архитектуре модели этого эксперимента интеграция модулей ResNet34 и EfficientNet-b3 в качестве кодировщиков может эффективно и осуществимо автоматизировать распознавание эндокардиальной границы левого желудочка на ультразвуковых изображениях. Кроме того, аугментация данных также в определенной степени повысит точность сегментации модели.

In recent years, the prevalence of cardiovascular diseases. as well as the mortality rate is increasing, which has seriously threatened human health, which requires doctors to diagnose cardiovascular diseases early to gain time for patients' later treatment, and the segmentation results of left ventricular ultrasound images can assist doctors in the diagnosis of cardiovascular diseases, but the left ventricular ultrasound images have the characteristics of strong noise, weak edges and complex tissue structure, which makes the image segmentation difficult, low efficiency and poor precision. One of the most important steps in estimating the health of the heart is the tracking and segmentation of the left ventricular (LV) endocardial border from EchoCG, which is used for measuring the ejection fraction and assessing the regional wall motion. The disadvantage of these methods is the necessity to apply image processing manually or in a semi-automatic mode, which requires special knowledge and skills. As a result, the issue of an automatic tracking and segmentation of the LV on EchoCG-images is an actual and practical problem. In my project, the ability of fully trained Deep Learning Models U-Net, U-Net++, MANet, LinkNet, FPN, PSPNet, PAN, DeepLabv3and DeepLabv3+ to automatically identify the left ventricular region is explored. At the same time, in the U-Net, U-Net++, MANet, LinkNet, PSPNet, PAN, FPN, DeepLabv3 and DeepLabv3+ architectures, the encoder modules were then sequentially replaced with ResNet18, ResNet34, ResNet5, ResNet101, EfficientNet-b0, EfficientNet-b1, EfficientNet-b3, EfficientNet-b5, EfficientNet-b7and MobileNetv2, and ImageNet was used as the pre-training weights; The addition of backbones to the model architecture leads to higher segmentation accuracy compared to the original model. Within the same model architecture, EfficientNet as the encoder achieves better segmentation results, with EfficientNet-b3 performing the best. Similarly, within the ResNet series, ResNet34 performs better. In the segmentation model of this experiment, Deeplabv3+ shows superior performance. This indicates that in the model architecture of this experiment, integrating ResNet34 and EfficientNet-b3 modules as encoders can effectively and feasibly automate the recognition of the endocardial boundary of the left ventricle in ultrasound images. Furthermore, data augmentation will also enhance the model’s segmentation accuracy to a certain extent.