Интеллектуальные мультимодальные интерфейсы для обработки биомедицинских сигналов : практикум

Abstract

Рассматривается использование биомедицинских сигналов при реализации интеллектуальных мультимодальных интерфейсов. Информационные характеристики биомедицинских сигналов, модулирующихся функциональными процессами организма, могут быть использованы в приложениях, с помощью которых требуется получать данные о психофизическом состоянии человека и производить количественную оценку изменения состояния человека. Разработка интеллектуальных мультимодальных интерфейсов рассматривается на примере интерфейсов мозг-компьютер. В качестве входных модальностей интерфейса используется сигнал ЭЭГ и данные с 3‑осевого акселерометра, размещенного на голове человека. В работе представлены материалы и методы, связанные с архитектурой мультимодальных интерфейсов, применением методов обработки сигналов и методов машинного обучения для формирования метрик изменения функционального состояния человека, а также спецификации для работы с облачным сервисом Google Fit для хранения данных приложений. Отдельное внимание уделено проектированию интерфейсов мозг-компьютер с применением открытых программных продуктов BCI2000 и Open Vibe.