Опыт построения системы распознавания эмоций по параметрам функционального состояния мозга (ЭЭГ).
Горбунов И.А., Зайнутдинов М.Р.
Санкт-Петербургский государственный университет
jean@psy.pu.ru
Данная работа посвящена разработке системы распознавания
эмоций по характеристикам функционального состояния мозга, измеряемым с помощью
ЭЭГ. Для распознавания используется метод искусственных нейронных сетей. Такая
система обладает как практической актуальностью, так и теоретической. На
практике эта система может использоваться в психотерапии, маркетинге, в
системах человек-машина, в правоохранительных и судебных органах, в педагогике,
армии. Однако ее применимость в теоретической психологии куда более
впечатляющая. Такая система, при ее широком внедрении, может дать толчок целому
витку новых исследований, где исследователь вычисляет значение какой-либо
переменной косвенно через другие более доступные. Так, например, если мы сможем
выразить уровень эмоционального возбуждения через физиологические показатели,
то тогда можно изучать динамику эмоционального возбуждения во время какой-либо
деятельности, например, взаимодействия в коллективе. В перспективе можно
создавать такие системы не только для моментального определения выраженности эмоций,
но и более специфических для психологии понятий, таких как, концентрация
внимания, обращение к памяти, конформизм, психологическая защита, инсайт и др.
Искусственные нейронные сети (ИНС) – это математические
модели, построенные по принципу упрощенного представления о работе биологических
нейронных сетей. Особенность ИНС в том, что они
не программируются, а обучаются. Процесс обучения чаще всего
представляется как предъявление сети
входных данных и обучающих (выходных) данных, по которым она пытается выявить
скрытые закономерности. Затем по выявленным закономерностям сеть сама
определяет выходные данные. ИНС уже зарекомендовали себя во многих областях
применения. Чаще всего ИНС используются в задачах распознавания и предсказания
какого-либо значения по множеству других переменных, например, определение человека
по изображению его лица, распознавание слов из речи, прогнозирование котировок
акций. Но нас интересует применение ИНС в психологии. Например, в работе (Gorban etc) показан интересный результат по
выявлению статуса человека в группе по результатам опросника. Там же(Gorban
etc; Доррер М.Г.), авторы предлагают использовать ИНС для создания и упрощения
самих опросников.
Интересный способ построения предложен Иваницким и его
коллегами (Musha T. etc). Их система работает в режиме реального времени, вычисляя значения четырех
эмоций каждые 0.6 секунды по данным ЭЭГ. На данный момент уже применяются
системы диагностики эмоциональной компетентности ребенка по показателям
функционального состояния мозга с помощью математических моделей нейронных
сетей [Вишневетская Е.В. Горбунов И.А. ]
При построении диагностической системы распознавания эмоций
нами был проведен эксперимент. В эксперименте было исследовано 28 студентов. В
ходе эксперимента испытуемый сидел перед монитором, на котором предъявлялся
стимульный видеоряд эмоциогенного содержания. Одновременно записывалась ЭЭГ
испытуемого и видеозапись его мимических реакций. Затем испытуемых просили
заполнить анкету «дифференциальных шкал эмоций» К. Изарда. После того, как были
проведены все лабораторные исследования, два эксперта оценили эмоции испытуемых
по отснятым видеоматериалам, фиксирующим их мимику.
Для каждой из 10 эмоций по мимике и по самооценке, а также по факторам, полученным в ходе факторного анализа, обучалась отельная нейронная сеть. Все сети строились по одному принципу. Сначала выбирались значимые для предсказания переменные. Для этого строились множественные регрессионные уравнения с пошаговым добавлением переменных (forward stepwise) выражающие эмоцию по физиологическим показателям. Затем выбирались 10-20 самых значимых переменных, которые служили входными данными для нейронной сети. Затем сеть обучалась на 75% выборки, а на оставшихся 25% выборки происходила валидизация сети. Для этого вычислялся коэффициент корреляции Пирсона между предсказанными с помощью сети значениями и измеренными в эксперименте значениями выраженности эмоции.
Было замечено, что осознанные эмоции, т.е. отмечаемые испытуемым по методике дифференциальных шкал эмоций и демонстрируемые эмоции, выявленные экспертами по мимике, имели различное распределение (рисунок 1). По критерию LSD-Фишера было показано, что только радость и удивление не различались. Факторы в факторном анализе вычислялись отдельно по самоотчету и отдельно по мимике.
Рисунок 1. Распределение
среднего по z-преобразованным значениям по
осознаваемым (самоотчет) и неосознаваемым (мимика) эмоциям.
Были получены 3 фактора по осознаваемым эмоциям (витальные негативные
эмоции, когнитивные, социально-негативные) и 4 фактора по демонстрируемым в
мимике эмоциям (отторжение, когнитивные положительные, простые отрицательные,
самообвинение).
В результате попытки построения системы распознавания
факторов эмоций по ЭЭГ были получены следующие результаты(таблица
1):
Таблица 1. Результаты распознавания факторов эмоций. Представлены в виде
коэффициентов корреляции. Пустые ячейки обозначают, что распознавание не
удалось, то есть, не получен статистически достоверный результат.
Фактор эмоции |
Предсказуемость по ЭЭГ
(коэффициент корреляции) |
|
Осознаваемые отрицательные |
-- |
|
Осознаваемые когнитивные |
-- |
|
Осознаваемые соц-негативыне |
-- |
|
Демонстрируемое отторжение |
0,78 |
|
Демонстрируемые положительные |
0,3 |
|
Демонстрируемые простые отрицательные |
0,34 |
|
Демонстрируемое самообвининие |
0,6 |
В таблице видно, что факторы осознаваемых эмоций не поддались
распознаванию, в то время как для факторов, выделенных из
совокупности демонстрируемых эмоций удалось достичь статистически достоверного
качества распознавания. Возможно, что осознаваемые эмоции не диагностировались
в силу того, что при осознании происходит встраивание целостной физиологической
реакции, сопровождающей эмоцию в субъективный контекст, который уменьшает
взаимосвязь осознанной эмоции с функциональным состоянием мозга или значительно
усложняет ее.
Если сравнить результаты распознавания факторов с результатом
распознавания самих эмоций, то увидим противоречащие этой таблице данные
(таблица 2):
Таблица 2. Результаты распознавания по параметрам ЭЭГ эмоций, измеренных по
самооценкам и экспертным оценкам мимики. Представлены в виде коэффициентов
корреляции. Пустые ячейки обозначают, что предсказание не удалось, то есть, не
получен статистически достоверный результат.
|
Эмоция |
Самооценка |
Экспертная оценка |
|
Интерес |
0,45 |
0,57 |
|
Радость |
-- |
0,40 |
|
Удивление |
0,44 |
0,35 |
|
Горе |
0,27 |
-- |
|
Отвращение |
0,24 |
-- |
|
Презрение |
-- |
-- |
|
Стыд |
0,29 |
0,49 |
|
Вина |
0,30 |
-- |
|
Страх |
0,29 |
0,23 |
|
Гнев |
-- |
0,44 |
Исходя из результатов представленных
в таблице 1 получается, что факторы осознаваемых эмоций нельзя распознать
электроэнцефалографическими показателями, но по таблице 2 видно, что сами
эмоции хорошо поддаются распознаванию. Данный парадокс можно объяснить только
тем, что при факторизации осознаваемых эмоций основную долю дисперсии на себя
берет субъективный контекст, в то время как отражаемая в сознании отдельная
эмоция все же содержит большую долю корреляции с физиологической реакцией.
Таким образом, сложная дифференциация эмоций необходима человеку для того,
чтобы описать одновременно и физиологические реакции, стоящие за эмоциями и социальный, а также и другие контексты.
Выводы
Общим результатом исследования служит демонстрация того, что
факторы осознаваемых эмоций имеют слабые корреляции с изменениями
функционального состояния мозга человека, а факторы демонстрируемых эмоций,
т.е. эмоций выраженных в мимике имеют сильные значимые корреляции. Также,
значения факторов демонстрируемых эмоций можно вывести из физиологических
показателей функционального состояния мозга человека с помощью искусственных нейронных
сетей, однако для факторов осознаваемых эмоций это сделать в настоящей работе
не удалось.
Возможно,
эмоциональные процессы, протекающие в психике человека и обеспечиваемые
определенными физиологическими механизмами и их осознание, феномены разных
классов. Так факторы демонстрируемых эмоций коррелируют с изменениями
функционального состояния мозга, а факторы осознаваемых эмоций теряют эти
корреляции и в большей степени зависят от субъективного контекста
Список литературы.
1. Вишневетская Е.В, Горбунов И.А.
Использование нейросетевого моделирования для диагностики структуры эмоциональной
компетентности ребенка по факторам, включающим физиологические параметры//
Вестник ЮУРГУ, Серия: Компьютерные технологии, управление, радиоэлектроника, №26,
2009, с.26-34.
2. Доррер М.Г. Психологическая интуиция
искусственных нейронных сетей. // диссертация
на соискание ученой степени кандидата технических наук. http://psyfactor.org/lib/dorrer-0.htm
3. Gorban
A.N., Rossiyev D.A., Dorrer M.G. MultiNeuron – Neural Networks Simulator For Medical, Physiological, and Psychological Applications.
4. Musha
T., Yuniko T., Haque H., Ivanitsky G. Feature extraction from EEGs associated with
emotions. http://www.springerlink.com/content/d17573pn85u505k6/