EmoEye: Eye-Tracking and Biometrics Database for Emotion Recognition

Abstract

Emotion recognition using Machine Learning algorithms is often used both in science and commerce. Responding to the demand for deep learning techniques of automatic emotion detection using biological signals and our own business needs as a neuromarketing laboratory, we created a large dataset of eye tracking and biometrics data suitable for emotion recognition tasks. The EmoEye database sample consisted of 200 people (147 women, 49 men, 4 non-binary individuals; 27.46 ± 11.45 years old). Each respondent was asked to view 316 images from the Open Affective Standardized Image Set (OASIS) and rate them on arousal and valence scales from the Self-Assessment Manikin questionnaire. Eye tracking, galvanic skin response (GSR), and photoplethysmogram were recorded throughout the experiment. Demographic data was also collected for each respondent. The image ratings on the valence scale did not differ statistically from the standard ratings of the corresponding images for the original stimulus base. The overall distribution trends of ratings on both scales for different categories of images were similar for standard ratings and ratings obtained from our respondents. As a result of this study, a corpus of GSR, heart rate variability and eye movement reactions data (fixation coordinates; fixation duration; average pupil size for the right and left eye) was compiled and successfully trained on a multimodal neural network algorithm within our laboratory and is ready for further implementation.

Распознавание эмоций с помощью алгоритмов машинного обучения часто используется как в науке, так и в коммерции. С помощью методов глубокого обучения для автоматического обнаружения эмоций с использованием биологических сигналов мы подготовили набор данных для айтрекинга и биометрических данных, подходящих для задач распознавания эмоций. Выборка базы данных EmoEye состояла из 200 человек (147 женщин, 49 мужчин, 4 небинарных индивидуума; 27,46 ± 11,45 лет). Каждому респонденту было предложено просмотреть 316 изображений из открытого аффективного стандартизированного набора изображений (OASIS) и оценить их по шкалам возбуждения и валентности из опросника «Манекен самооценки». Отслеживание взгляда, кожно-гальваническая реакция (GSR) и фотоплетизмограмма регистрировались на протяжении всего эксперимента. Также были собраны демографические данные по каждому респонденту. Оценки изображений по валентной шкале статистически не отличались от стандартных оценок соответствующих изображений для исходной базы стимулов. Общие тенденции распределения оценок по обеим шкалам для разных категорий изображений были одинаковыми для стандартных оценок и оценок, которые были даны нашими респондентами. В результате исследования в рамках нашей лаборатории были получены данные о GSR, вариабельности сердечного ритма и реакциях движения глаз (координаты фиксации; длительность фиксации; средний размер зрачка для правого и левого глаза), которые были успешно реализованы на основе мультимодального нейросетевого алгоритма и готовы к внедрению.