Использование многослойного перцептрона для предсказания эмоционального состояния человека

Abstract

Статья посвящена использованию математических методов (модель машинного обучения - многослойный перцептрон и генетический метод отбора признаков) для распознавания эмоционального состояния человека на основе данных его электроэнцефалограммы и дальнейшего применения полученных результатов при создании программного обеспечения для нейроинтерфейсов «мозг - компьютер». Цель исследования - обучение многослойного перцептрона на базе данных ЭЭГ для его дальнейшего использования при решении задач распознавания эмоционального состояния человека. За основу были взяты датасет «Database for Emotion Recognition System - GAMEEMO», содержащий записи электроэнцефалограмм 28 участников эксперимента, а также данные анкет, в которых они описывали выраженность тех или иных своих эмоций, их характер и интенсивность в рамках двух характеристик - валентности (valence) и возбуждения (arousal). Участники играли в одну из четырех компьютерных игр, каждая из которых должна была провоцировать одно из четырех эмоциональных состояний: скуку, страх, спокойствие или радость, которые анализируются в данном исследовании. Признаками являлись значения сигналов мозга, зарегистрированные у участников эксперимента через определенный временной промежуток в процессе игры. Отбор признаков-электродов происходил посредством генетического алгоритма (для повышения точности предсказания и выявления наиболее важных с точки зрения модели областей мозга по декодированию состояний человека). Для сопоставления эмоциональных состояний (скука, страх, радость и спокойствие) использовалась схема классификации аффективных слов, предложенная Дж. Расселом. В результате генетический метод отбора признаков позволил выявить закономерности в расположении отобранных электродов при распознавании эмоций. Точность предсказания удалось повысить, проанализировав определенные диапазоны фреймов и выявив те временные отрезки, когда участники эксперимента сильнее всего испытывали ту или иную эмоцию в зависимости от событий, происходящих на данный момент в игре.

The present work is devoted to the use of mathematical methods (machine learning model - a multilayer perceptron, and a genetic method of feature selection) to recognize a person’s emotional state based on his/her electroencephalogram data for further application of the results in creating software for brain-computer neural interfaces. The aim of the study is to train a multilayer perceptron based on EEG data for its further use in solving problems of recognizing a person’s emotional state. The dataset «Database for Emotion Recognition System - GAMEEMO», containing recordings of electroencephalograms of 28 participants of the experiment, as well as data from questionnaires in which they noted their own feelings about the manifestation of certain emotions, their nature and intensity within the framework of two characteristics - valence and arousal, was taken as a basis. Participants played one of four computer games, each of them was supposed to provoke one of four emotional states: boredom, fear, calmness or joy, which are analyzed in this study. The features are the values of brain signals registered after a certain time interval during the passage of one of the four games by the participants of the experiment. The selection of features-electrodes is carried out by the genetic algorithm to increase the accuracy of prediction and identify the most important, from the point of view of the model, brain areas for decoding human states. As a basis for comparing emotional states (boredom, fear, joy, and calmness), the classification scheme of affective words proposed by J. Russell is used. As a result, the genetic method of feature selection made it possible to identify patterns in the location of the selected electrodes when recognizing emotions. The accuracy of the prediction was improved by analyzing precise frame ranges and identifying the time periods when the participants experienced this or that emotion, depending on the current game events.