Сравнительный анализ МЛ-систем извлечения ключевых точек для видеозаписей жестового языка : магистерская диссертация

Abstract

The object of the research is ML-systems for key point extraction for video recordings. The aim of the research is to analyze ML-systems and find the best model for extracting key points from video recordings. The aim of the paper is to analyze the existing ML-systems for extracting key gesture language from video recordings. The research methods are based on data analysis, theory of extracting key points from image, conducting experiments, measuring and comparing the obtained values to evaluate the models. The scientific novelty of the study lies in solving the actual problem of evaluating ML-based keypoint extraction systems for the task of sign language, using modern technologies. The result of the work is a comparative analysis of ML-systems of keypoint extraction from video recordings of sign language, which allowed to identify the best models in terms of metrics and efficiency, and a gloss gluing algorithm is developed, which allows to combine them into one single gesture.

Объект исследования — МЛ-системы извлечения ключевых точек для видеозаписей. Цель исследования – проанализировать мл-системы и найти наилучшую модель для извлечения ключевых точек из видеозаписей. Целью работы – анализ существующих МЛ-систем для извлечение ключевых жестового языка из видеозаписей. Методы исследования основываются на анализе данных, теории извлечения ключевых точек из изображения, проведение экспериментов, измерении и сравнении полученных значений для оценки моделей. Научная новизна исследования заключается в решение актуальной задачи оценки МЛ-систем извлечения ключевых точек для задачи жестового языка, с применением современных технологий. Результатом работы является сравнительный анализ МЛ-систем извлечения ключевых точек из видеозаписей жестового языка, который позволил определить лучшие по метрикам и по эффективности модели, а также разработан алгоритм склейки глоссов, который позволяет объединить их в один единый жест.