Traducido del inglés al español - www.onlinedoctranslator.

com

Recibido el 29 de enero de 2020, aceptado el 26 de febrero de 2020, fecha de publicación 4 de marzo de 2020, fecha de la versión actual 16 de marzo de 2020.

Identificador de objeto digital 10.1109/ACCESS.2020.2978163

Clasificación de emociones basada en EEG mediante

redes neuronales puntiagudas

YULING LUO 1, QIANG FU1, JUNTAO XIE2, YUNBAI QIN1, GUOPEI WU1, JUNXIU LIU1,
FRANK JIANG 1,3,YI CAO4, Y XUEMEI DING5,6
1Escuela de Ingeniería Electrónica, Universidad Normal de Guangxi, Guilin 541004, China
2Departamento de Seguridad, Universidad Normal de Guangxi, Guilin 541004, China
3Facultades y universidades Laboratorio clave de automatización integrada inteligente, Universidad de Tecnología Electrónica de Guilin, Guangxi 541004, China
4Escuela de Negocios, Universidad de Edimburgo, Edimburgo EH8 9JS, Reino Unido
5Escuela de Computación, Ingeniería y Sistemas Inteligentes, Universidad de Ulster, Londonderry BT48 7JL, Reino Unido
6Facultad de Matemáticas e Informática, Universidad Normal de Fujian, Fuzhou 350108, China

Autor correspondiente: Yunbai Qin ( qinyunbai@gxnu.edu.cn )

Este trabajo fue apoyado en parte por la Fundación Nacional de Ciencias Naturales de China bajo la subvención 61976063 y la subvención 61762018, en parte por la
Fundación de Ciencias Naturales de Guangxi bajo la subvención 2017GXNSFAA198180, en parte por el Programa de 100 Talentos en el Extranjero de la Educación
Superior de Guangxi bajo la subvención F-KA16035 y la subvención F-KA16016, en parte del Laboratorio Clave de Automatización Integrada Inteligente de Colegios y
Universidades, Universidad de Tecnología Electrónica de Guilin, China, bajo la subvención GXZDSY2016-03, y en parte del Fondo de Investigación del Laboratorio
Clave de Información de Fuentes Múltiples de Guangxi Minería y Seguridad bajo la Subvención 18-A-02-02. El trabajo de Guopei Wu fue apoyado en parte por el
Proyecto de Innovación de Educación de Graduados de Guangxi bajo la subvención YCSW2020.

ABSTRACTOEn este artículo se propone un método novedoso para utilizar las redes neuronales de picos (SNN) y las técnicas de
procesamiento del electroencefalógrafo (EEG) para reconocer estados emocionales. Se emplean tres algoritmos, incluida la
transformada wavelet discreta (DWT), la varianza y la transformada rápida de Fourier (FFT), para extraer las señales de EEG, que
luego son tomadas por el SNN para la clasificación de las emociones. Se utilizan dos conjuntos de datos, es decir, DEAP y SEED,
para validar el método propuesto. Para el primer conjunto de datos, los estados emocionales incluyen excitación, valencia,
dominancia y agrado, donde cada estado se denota como estatus alto o bajo. Para este último conjunto de datos, los estados
emocionales se dividen en tres categorías (negativos, positivos y neutrales). Los resultados experimentales muestran que al
utilizar la técnica de procesamiento de datos de varianza y SNN, los estados emocionales de excitación, valencia, dominancia y
agrado se pueden clasificar con precisiones del 74%, 78%, 80% y 86,27% para el conjunto de datos DEAP, y una precisión general
del 74%, 78%, 80% y 86,27%. La precisión es del 96,67% para el conjunto de datos SEED, que supera a los métodos de
procesamiento FFT y DWT. Mientras tanto, este trabajo logra un mejor desempeño en la clasificación de emociones que los
enfoques de evaluación comparativa y también demuestra las ventajas de usar SNN para las clasificaciones de estados
emocionales.

TÉRMINOS DEL ÍNDICEClasificación de emociones, red neuronal de picos, señal EEG.

I. INTRODUCCIÓN En comparación con el primero, el segundo puede proporcionar información

En el campo de la investigación de las emociones, un objetivo es detectar
con precisión y rapidez los estados emocionales, ya que esto puede
usarse para ayudar a implementar varias aplicaciones, por ejemplo, un
sistema de reconocimiento emocional para aplicaciones móviles [1]. Hay
dos categorías de señales utilizadas para reconocer emociones: la
primera categoría se centra en el análisis de señales no fisiológicas, por
ejemplo, el habla y las expresiones faciales [2]–[4]. Sin embargo, a veces
estas señales no pueden reflejar plenamente los estados emocionales
reales. La otra categoría se centra en señales fisiológicas, por ejemplo,
electrocardiograma (ECG), electroencefalógrafo (EEG), conductancia de la
piel (SC), etc. [5].
El editor asociado que coordinó la revisión de este manuscrito y
aprobó su publicación fue Vivek Kumar Sehgal.
más precisa y detallada para ayudar a estimar los estados emocionales;
además, la señal EEG se captura del cerebro de forma no invasiva y, como
resultado, se selecciona para el reconocimiento de emociones en este estudio.
Los estados emocionales para las tareas de clasificación suelen dividirse en
varias clases, principalmente debido a sus características limitadas, alto ruido
de señal, etc. [6], [7]. En consecuencia, para abordar estos problemas, la
selección de características del EEG se vuelve crucial para el reconocimiento de
emociones. Se utilizan muchos métodos para la extracción de características,
donde las características adecuadas y la selección de la ubicación de los
electrodos generalmente se basan en los resultados de la investigación
neurocientífica [8]. Las características se pueden distinguir en dominios de
tiempo, frecuencia, tiempo-frecuencia mixto y/o mediante el uso de otros
métodos dinámicos no lineales [9]. En este papel,

Este trabajo está bajo una licencia Creative Commons Attribution 4.0. Para obtener más información, consulte https://creativecommons.org/licenses/by/4.0/
VOLUMEN 8, 2020 46007

Se utilizan varios métodos diferentes para preprocesar los datos del EEG
y se proporciona la precisión del reconocimiento de emociones utilizando
estos diferentes métodos. Una vez que se completa el pretratamiento de
los datos del EEG, los datos preprocesados se pueden utilizar para
clasificar las emociones. También se han investigado previamente
métodos convencionales de aprendizaje automático, por ejemplo, lógica
difusa [10], perceptrón multicapa (MLP) [11], modelos ocultos de Markov
[12] y máquina de vectores de soporte (SVM) [13]. Estos clasificadores
sólo pueden procesar datos espaciales sin considerar las relaciones
temporales de los datos. Sin embargo, los datos de EEG son espacio-
temporales, probablemente se pueda lograr un mejor rendimiento para
el reconocimiento de emociones si se considera la información espacial y
la información temporal de los datos de EEG durante el procesamiento.
La mayor parte de la investigación actual se centra en la extracción de
características de datos de EEG y la mejora de clasificadores [14]. Este
artículo elige los datos de EEG calculando la varianza y los identifica con
SNN. La idea principal del artículo es construir una red neuronal sipiking
(SNN) y emplear las características temporales y espaciales de SNN para
reconocer los datos de EEG. En comparación con otros trabajos de
investigación [14], el objetivo de este artículo es construir una red
neuronal de picos (SNN) y emplear las características temporales y
espaciales de SNN para reconocer los datos de EEG. Permite codificar
datos neuroinformáticos espaciales y temporales con ubicaciones de
sinapsis y neuronas, así como el momento de las actividades de
activación [15]-[17]. En particular, el SNN considera el orden de secuencia
de los datos del EEG, lo que puede ayudar enormemente a los resultados
del reconocimiento. Los resultados de la clasificación muestran que 74∼
Con el método propuesto se pueden lograr precisiones del 86% y del
96,67% para diferentes conjuntos de datos, que son superiores en efecto
a los puntos de referencia.
La parte restante de este documento está organizada de la siguiente
manera: Los conjuntos de datos de EEG que se utilizan en este estudio se
presentan en la SecciónIIque también ilustra el principio básico de cómo
se utiliza el SNN para reconocer emociones. SecciónIIIDescribe los
métodos para extraer las características del EEG. La clasificación de
emociones utilizando el SNN se analiza en la SecciónIV. SecciónV
proporciona los resultados experimentales y proporciona el análisis de
rendimiento. SecciónVIIproporciona la discusión, y la conclusión y el
trabajo futuro se presentan en la SecciónVIII.
II. CONJUNTO DE DATOS DE EEG Y REDES NEURALES DE PICO
En este artículo se utiliza un conjunto de datos multimodal que utiliza señales
fisiológicas para el análisis de emociones (DEAP) [18] y un conjunto de datos de
EEG de emociones de la Universidad Jiao Tong de Shanghai (SEED) [19]. Estos
conjuntos de datos registraron los datos de EEG a diferentes frecuencias de
muestreo de 512 Hz y 1000 Hz, respectivamente, y se refirió al sistema
internacional 10-20 para colocar electrodos en el cuero cabelludo. SecciónII-A
dará una introducción detallada para estos conjuntos de datos, y la SecciónII-B
Discutiremos las ventajas de utilizar SNN para el procesamiento de datos
espacio-temporales de EEG.
A. CONJUNTOS DE DATOS
La señal EEG se emplea con frecuencia para la evaluación de las
emociones humanas. La señal EEG se diferencia de otras señales porque
es un método práctico no invasivo y capaz de detectar con precisión
46008
Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN
Refleja la emoción "interna" del ser humano. Por tanto, la señal EEG se
puede utilizar para clasificar las emociones directamente desde el
cerebro [20].
1) CONJUNTO DE DATOS DEAP
En el conjunto de datos DEAP, las películas se utilizaron como
provocadores de emociones en los experimentos. La película es una de
las formas más impactantes de desencadenar emociones porque incluye
estímulos visuales y de audio dinámicos [21]. Hay más de 32 participantes
incluidos en el conjunto de datos, y la edad está entre 19 y 37 años con
un promedio de 26,9 años. La mitad de los participantes son mujeres
[18]. Todos los participantes siguieron las mismas instrucciones. Los
participantes se sientan a un metro de la pantalla. Las señales de EEG se
registran a frecuencias de muestreo de 512 Hz utilizando el equipo
uniforme.
El DEAP es un conjunto de datos multimodal y se utiliza para el análisis
de estados afectivos humanos. Se utilizaron cuarenta clips de vídeos
musicales seleccionados para desencadenar emociones. Mientras tanto,
se registraron la actividad del sistema nervioso central, las señales
fisiológicas periféricas y la expresión facial. Al final de cada vídeo, el
experimento pide a los participantes que realicen autoevaluaciones de
los niveles de excitación, valencia, agrado y dominancia. Se utilizó un
método de selección de estímulos para recopilar vídeos de un conjunto
de videoclips musicales seguido de una prueba de sujetos para elegir el
material de prueba más adecuado. Según la descripción del conjunto de
datos, el experimento seleccionó estímulos en varios pasos. En primer
lugar, se seleccionaron 120 estímulos iniciales de forma semiautomática y
manual, donde 60 de 120 estímulos se eligieron de forma manual y el
resto de forma semiautomática. En segundo lugar, se determinó un
momento destacado de un minuto para cada estímulo. Al final, los 40
estímulos finales se seleccionaron mediante un experimento de
evaluación subjetiva basado en la web. Se seleccionaron un total de 32
electrodos activos para recopilar los datos del EEG. Otras señales
fisiológicas periféricas incluyen electromiografía, electrooculograma,
pulso de volumen sanguíneo que se recopilaron en función de la
temperatura de la piel, pletismógrafo y respuestas galvánicas de la piel.
Los vídeos de rostros se recopilaron de 22 participantes [18], [22].
Durante el experimento, utilizamos las calificaciones de los
participantes como base para crear cuatro clasificaciones binarias, a
saber, clasificaciones de niveles altos o bajos de excitación, valencia,
agrado y dominancia. Los rangos de escala de tres etiquetas (es
decir, excitación, valencia y dominancia) van desde calma (o
aburrido) a estimulado (o excitado), infeliz (o triste) a feliz (o alegre),
sumiso (o sin control) a dominancia (o facultados), respectivamente.
La escala de gusto se basa en el gusto personal de los sujetos por el
vídeo musical, que es diferente de la escala de valencia. Se basa en el
sentir, no en los sentimientos. Por ejemplo, al participante le pueden
gustar vídeos grabados tristes o enojados. La escala de calificación
de autoevaluación varía del 1 al 9. Por lo tanto, las calificaciones de
los sujetos se dividen en dos categorías (baja o alta) según un
umbral estable que se selecciona como 4,5. Las señales de EEG
preprocesadas en el conjunto de datos DEAP se muestrean a 128 Hz.
Se aplica un filtro de paso de banda con una frecuencia de corte de
4-45 Hz.
VOLUMEN 8, 2020
Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN

2) CONJUNTO DE DATOS DE SEMILLAS

En este trabajo también se utiliza el conjunto de datos SEED [19]. Los

datos de EEG de los 15 participantes se recopilaron mientras miraban
películas emocionales. Con un intervalo de aproximadamente una
semana, cada participante realizó tres experimentos. El conjunto de datos
de SEED contiene un total de 45 experimentos. Se utiliza un equipo con
una frecuencia de muestreo de 1000 Hz de 62 canales para recopilar los
datos de EEG según el sistema internacional 10-20.
Para una comparación justa con las obras existentes, se utilizan
los mismos datos preprocesados para el análisis de rendimiento.
Los datos se muestrean a 200 Hz. Se aplica un filtro de frecuencia de
paso de banda de 0-75 Hz. Las secciones de EEG se extraen según la
duración de cada película. El archivo de datos para cada sujeto
incluye 16 matrices, donde 15 matrices incluyen datos de EEG de 15
pruebas segmentarias preprocesadas en un experimento. Una
matriz de etiquetas contiene las etiquetas emocionales
correspondientes (1 para positiva, 2 para negativa y 3 para neutral).

B. REDES NEURALES PICOS

En esta subsección se ofrece una breve introducción a los SNN. Para FIGURA 1.Procedimiento de reconocimiento de emociones.

medir las respuestas del cerebro a estímulos externos, generalmente se

recopilan datos cerebrales espaciales y temporales (STBD). Sin embargo,
los enfoques actuales carecen de capacidad de análisis de datos de series
temporales y el rendimiento se puede mejorar aún más, y las técnicas
basadas en SNN existentes solo utilizan un algoritmo de aprendizaje
(supervisado o no supervisado) durante el período de entrenamiento.
Para aprender los datos del EEG tanto de forma supervisada como no
supervisada, en este trabajo se utiliza el modelo SNN. Por lo tanto, se
requiere un nuevo esquema para procesar los STBD. Este artículo
sostiene que los SNN son adecuados para el aprendizaje y la
comprensión de datos de EEG.
Un SNN está compuesto por neuronas con picos que pueden
transmitir y recibir cantidades sustanciales de información a través del
tiempo relativo de los picos [23] – [25]. Esta propiedad de un SNN es
particularmente adecuada para aplicaciones donde la temporización de
las señales de entrada transporta información importante. Se ha
demostrado que el SNN se puede aplicar a problemas que pueden
resolverse mediante redes neuronales sin picos y, lo que es más
importante, el SNN es más potente que las redes neuronales
convencionales.al netwo rks [16].
Pendientet Debido al hecho de que las señales de EEG incluyen información
temporal y espacial, los SNN son más adecuados para procesar datos espacio-
temporales y datos de series de tiempo en comparación con los
convencionales.
convencional métodos [16]. Por ejemplo en el enfoque
de [26], SNNes emplear Ed para clasificar la tarea de movimiento usando
mi
Lectromyog. rafia (E MG). Los resultados experimentales muestran
que el SNN es más eficaz para el reconocimiento de señales EMG
que convenirti Sólo se utilizan métodos de aprendizaje automático. En el
proceso h de [15], an SNN es
a utilizado para modelar y reconocer
Datos EEG complejos que están relacionados con movimientos físicos e imaginados.
elementos. Por lo tanto, los SNN son aplicables para realizar la
EEG - basado en clasificación de movimiento y este artículo explorará
este potencial.
t el detalla d información del conjunto de datos EEG y el SNN
nosotros somosdiscutimos ed en esta sección. Las señales EEG incluyen
información temporal y espacial significativa. Sin embargo, no toda
la información está relacionada con el estado emocional. Por lo
tanto, es necesario preprocesar las señales de EEG para adquirir una
medida precisa del estado emocional que se presentará en la
siguiente sección.
III. MÉTODOS DE PROCESAMIENTO DE SEÑALES EEG
El procedimiento de reconocimiento de emociones comprende tres
etapas: procesamiento de datos, extracción de características y
clasificación, como se muestra en la Fig.1. Con el fin de investigar las
correlaciones en el intervalo de las calificaciones de los participantes y los
datos de EEG, los datos DEAP sin procesar se muestrean a 128 Hz y se
filtran paso de banda con una frecuencia de corte de 4-45 Hz usando la
caja de herramientas EEGlab [ 27] en la etapa de procesamiento de datos.
El enfoque de Murugappanet al., [28] utiliza tres bandas de frecuencia (es
decir, bandas alfa, beta y gamma) para su trabajo. Sin embargo, la
frecuencia de 4-45 Hz incluye cuatro bandas de frecuencia (es decir,
bandas theta, alfa, beta y gamma) de señal EEG para extraer
características. En este trabajo también se utiliza la banda theta.
Diferentes bandas corresponden a diferentes estados fisiológicos de los
participantes. Por ejemplo, la banda alfa es la principal manifestación de
la corteza cerebral en estado de vigilia y tranquilidad. La onda theta se
registra en el estado de inhibición (o somnolencia) del sistema nervioso
central. Por lo tanto, puede obtener información más eficaz utilizando
más bandas de frecuencia, lo que puede mejorar el rendimiento de la
clasificación. Luego, los datos preprocesados se dividen en recorridos de
60 segundos, donde se elimina una línea de base previa al juicio de 3
segundos. Los datos restantes de 60 segundos se procesan en la tercera
etapa. La segunda etapa se refiere principalmente a este proceso en la
Fig. 1. El conjunto de datos SEED se muestrea a 200 Hz y se aplica un filtro
de frecuencia de paso de banda de 0 a 75 Hz. También contiene cuatro
bandas de frecuencia.
En el siguiente paso, se extrae la característica de los datos preprocesados.
En esta sección se presentan varios métodos para la señal EEG.

VOLUMEN 8, 2020 46009


Se propone la extracción de características. Los datos de extracción de
características del conjunto de datos DEAP contienen 32 participantes, donde
cada participante corresponde a un archivo. La cantidad de datos para cada
archivo es 40.×32×8064 (vídeo/prueba×canal×datos) bytes. Los datos de
extracción de características del conjunto de datos SEED contienen 15
participantes, donde cada participante corresponde a tres archivos. Los
métodos de extracción de características se basan en los dominios de tiempo,
frecuencia y tiempo-frecuencia en este estudio.
La varianza se selecciona para el método de análisis en el dominio del
tiempo en este estudio. En primer lugar, es necesario calcular la media de
la señal EEG, que viene dada por
∑t
ξ(t1) + ξ(t2) +. . .+ ξ(tt) i=1ξ(ti)
µξ= = ,
t t
dóndetsignifica el tiempo de la muestra,tsignifica el tiempo total, ξ(t)
significa el valor de la señal EEG en el momentot. Para seleccionar datos
se utiliza el método de varianza con diferentes ventanas deslizantes. Se
calcula la varianza de cada muestra de fila y la varianza de las diferentes
ventanas de tiempo deslizantes. Finalmente, los datos correspondientes a
la ventana de tiempo con pequeña varianza se seleccionan como datos
objetivo. El objetivo del cálculo de la varianza es seleccionar la señal con
una varianza baja (es decir, un rango de fluctuación pequeño). Por lo
tanto, se calcula la varianza de la señal EEG sin procesar. Se puede
considerar que el momento actual ha sido estable en un estado
emocional, lo que puede hacer que los datos seleccionados sean fáciles
de identificar.
Entonces la varianza de la señal EEG sin procesar se define como
1∑t
υξ= (ξ(t) − µξ)2, t
t=1
La ventana de tiempo deslizante se utiliza para seleccionar y procesar los
datos del EEG. Teniendo en cuenta la cantidad de datos, las duraciones de las
ventanas de tiempo se seleccionan como 1, 2 y 3 respectivamente. Elegimos
estas ventanas de tiempo en función del mecanismo de atención [29]. Los
estudios han demostrado que la capacidad de atención humana promedio es
de 12 segundos en 2000 y de 8 segundos en 2013. Mientras tanto, utilizamos la
ventana de tiempo deslizante para la clasificación, donde estas ventanas de
tiempo dan resultados detallados y pueden usarse para marcar decisiones
adicionales. Los datos de estas ventanas de tiempo son suficientes para reflejar
el estado emocional y hacer que los problemas sean manejables.
En este artículo se selecciona la transformada rápida de Fourier (FFT)
para el procesamiento en el dominio de la frecuencia. La FFT se utiliza
para calcular la transformada discreta de Fourier (DFT), que se selecciona
como método de ejemplo en el dominio de la frecuencia. El cálculo de
DFT viene dado por
∑norte−1
ξ(k) =DFT[ξ(norte)] = ξ(norte)W. nk,
norte
norte=1
dóndeW.nk=mi−j2π
norte
nortenk . Según la teoría de Nyquist,
la frecuencia máxima (Fmáximo) que se puede medir está dada
por
F (4) se utiliza para clasificar las emociones en este estudio. La arquitectura NeuCube
Fmáximo=s,
2 SNN se compone de tres partes principales: módulo de entrada para
dóndeFses la frecuencia de muestreo. La composición de frecuencia
es continua y la reproducción exacta de la señal requiere todos los
componentes de frecuencia.
46010
Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN
Como la señal EEG posee características no estacionarias, un
método de análisis en el dominio del tiempo-frecuencia puede
brindar más información considerando las características
dinámicas. El método DWT se selecciona para descomponer los
datos de EEG en diferentes aproximaciones y niveles detallados
(ambos corresponden a rangos de frecuencia). La característica
no estacionaria de las señales EEG les permite expandirse a
funciones básicas creadas al expandir, contraer y cambiar una
única función prototipo (ψa,b, la onda madre) [28]. Los métodos
de filtrado de señal incluyen filtro de paso bajo y alto.
pasar el filtro. El filtro de paso bajo se puede describir mediante
∑
Fyo(k) = (5)
(1) s(norte)gramo(2k− norte),
norte
dóndes(norte) es la señal de entrada. El filtro de paso alto se puede
describir mediante
∑
Fh(k) = s(norte)h(2k− norte). (6)
norte
El DWT se puede calcular mediante
∫
1 t
W.X(cd) = s(t)√ ψ(√ − d)dt, (7)
2C 2C
dóndecd∈R,c >0,yRrepresenta el espacio wavelet. Los
factores de escala y desplazamiento se presentan mediante
parámetros.Cyd, respectivamente. La única limitación para
elegir una función prototipo como wavelet madre es
satisfacer la condición de admisibilidad dada por
(2) ∫∞|ψ(ω)|2
Cψ= dω<∞, (8)
−∞ ω
dóndeψ(ω) es la transformada de Fourier deψcd(t). En nuestro estudio, los
datos de EEG utilizan la función wavelet ''db4'' para descomponerse en
cuatro niveles. La wavelet ''db4'' puede detectar con precisión
información de corta duración y señales transitorias rápidas. Debido a las
propiedades de localización tiempo-frecuencia casi óptima, se utiliza en
este trabajo. Por lo tanto, es mucho más probable que el uso de este
método para extraer características de los datos del EEG tenga éxito [28].
En esta sección se explican tres métodos para el procesamiento
de señales EEG, es decir, varianza, FFT y DWT. Se basan en los
dominios de tiempo, frecuencia y tiempo-frecuencia,
respectivamente. Las señales EEG posprocesadas se utilizan luego
como entradas al SNN para la clasificación de emociones, que se
presentará en la siguiente sección.
IV. CLASIFICACIÓN DE EMOCIONES USANDO EL SNN
El SNN se emplea para clasificar estados emocionales para el proceso.
(3) señales EEG cesadas. Como la señal EEG es un patrón espacio-
temporal que debe aprenderse, clasificarse y predecirse [30],
Se utiliza una regla de codificación temporal para el SNN, que permite
aprender las relaciones temporales de las señales de entrada.
Un modelo basado en la arquitectura SNN llamado NeuCube [31]
codificación, el SNNcube 3D y el clasificador SNN en evolución. La
codificación temporal que considera la información como temporalmente
significativa se utiliza para codificar información.
VOLUMEN 8, 2020
Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN
FIGURA 2.Se elige un reservorio SNN de 1000 neuronas para el conjunto de datos de
EEG.
en NeuCube. Se incluyen cuatro reglas diferentes en el Neu-Cube, es decir, la
regla del remate de Ben, la regla de codificación de contraste temporal, la regla
del remate de paso adelante y la regla del remate de ventana móvil.
Los diferentes algoritmos de codificación de picos tienen
características distintas para representar los datos de entrada. La regla
de los picos de Ben es apropiada para procesar señales de alta
frecuencia, ya que se basa en la técnica de respuesta de picos finitos. La
señal codificada se puede utilizar para recuperar la señal original
fácilmente. Sin embargo, la regla del atacante de Ben sólo puede generar
picos positivos (excitadores), mientras que todas las demás técnicas
también pueden generar picos negativos (inhibidores). El hardware de la
retina de silicio artificial implementó originalmente la codificación de
contraste temporal [32]. Identifica cambios significativos en la intensidad
de la señal por encima de un umbral específico. Sin embargo, si la
intensidad de la señal cambia drásticamente, es demasiado difícil
recuperar la señal original según esta regla. Por lo tanto, se propone una
regla mejorada de codificación de picos para establecer un mapeo de las
intensidades de la señal. La ventaja de la regla de codificación de ventana
móvil es que puede ser robusta ante ciertos tipos de ruidos.
Los SNN procesan señales de picos discretas. Por lo tanto, para procesar el
flujo de datos de manera conveniente en el SNNcube, el flujo de datos continuo
se convierte en trenes de picos discretos mediante el módulo de codificación. El
SNNcube es un módulo escalable. Las neuronas con fugas de integración y
disparo (LIF) se utilizan para implementar SNNCube [33], [34]. Los parámetros
denorteX,norteyynortezse utilizan para controlar el tamaño de SNNcube, que
representa el número de neuronas a lo largo delX,yyzejes, respectivamente.
norte=norteXnorteynortez
es el número de neuronas en el SNNcube. En este estudio se
utiliza un reservorio de neuronas SNN, como se muestra en la
Fig.2. El número de neuronas en el SNNcube es 1000 (10×10×10
neuronas).
Después de cargar los datos EEG procesados y elegir el método
de codificación, cada neurona se asigna a un área funcional y
estructural específica de la red neuronal, de acuerdo con su (X,y,z)
coordenadas. Higo.3muestra las ubicaciones de los sitios de
adquisición de EEG en NeuCube. Las neuronas resaltadas se utilizan
para mapear las características de entrada. Estas coordenadas se
pueden asignar de forma automática o manual.
Después de inicializar el cubo, el entrenamiento no supervisado
del SNNcube crea conexiones entre las neuronas basadas en los
picos de entrada que se organizan como un "pequeño mundo".
VOLUMEN 8, 2020
FIGURA 3.Las ubicaciones de los sitios de adquisición del EEG. Las neuronas
resaltadas se utilizan para mapear las características de entrada.
principio conectado. El principio de conectividad del "mundo
pequeño" se elige en función del proceso biológico. Hace que
las neuronas vecinas se interconecten con potenciación entre sí.
La inicialización es un proceso básico para el aprendizaje [30].
Para capturar las correlaciones de los datos codificados entre las
relaciones espaciales y temporales, se emplea un modelo de
aprendizaje no supervisado de la plasticidad dependiente del
tiempo de pico (STDP) para el SNNcube [35], [36]. El STDP
potencia la conexión entre las neuronas presinápticas y las
neuronas postsinápticas si su activación persiste y se repite, lo
que sigue la regla de aprendizaje de Hebb. En este estudio se
implementa una variante del modelo STDP.
El modelo se describe como
{
wj(t−1)± α/1t, wj(t tj6=ti
wj(t) = (9)
−1), tj=ti,
dóndeti,tjreferirse al tiempo de activación de la neuronaiyj,
respectivamente,αsignifica la tasa de aprendizaje STDP. Siti<tj, entonceswj
aumenta en caso contrario disminuye con respecto aα. Además, 1t=t
j−ti+1, que es el tiempo transcurrido entre el momento en que se
recibe un pico de la neurona presinápticaiy cuando una neurona
postsináptica emite un picoj.
Hay varios hiperparámetros que se pueden configurar para el
entrenamiento, como la tasa de fuga potencial, la tasa STDP, el
umbral de disparo, la ronda de entrenamiento, el tiempo refractario
y la probabilidad de crear una conexión de larga distancia. Una vez
finalizado el aprendizaje no supervisado, se puede analizar y
visualizar el estado final. Higo.4muestra la interacción uno a uno
promedio entre las neuronas de entrada según las interacciones de
entrada promedio para el conjunto de datos de EEG. Las líneas
gruesas indican una fuerte interacción. Por ejemplo, FP1, FC2, CZ y
O1 se refieren a la posición de los puntos frontal izquierdo, vértice,
vértice central y occipital, respectivamente. La interacción de FP1 y
FC2 es fuerte y la interacción de CZ y O1 es débil. Muestra que la
correlación entre FP1 y FC2 es más fuerte que CZ y O1.
Después del entrenamiento del cubo SNN (SNNc), las conexiones espaciales
y temporales de las neuronas se pueden ver en forma de visualización 2D.
Higo.5muestra que las conexiones positivas están representadas por líneas
azules, mientras que las conexiones negativas están representadas por líneas
rojas. El código de color de un nodo representa la intensidad de la actividad.
Cuanto más brillante sea el nodo, más fuerte será
46011
 Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN

FIGURA 6.Niveles de activación de las neuronas para datos de EEG en el SNNcube después
FIGURA 4.Interacciones totales entre las neuronas de entrada. Las líneas gruesas
del aprendizaje no supervisado. El nivel de brillo de una neurona identifica su nivel de
indican una fuerte interacción.
activación. Cuanto más brillante es la neurona, más picos se emiten.

FIGURA 7.Histograma de disparo de picos excitadores e inhibidores para datos de EEG.

Las neuronas de excitabilidad emiten picos positivos y las neuronas de inhibición emiten
FIGURA 5.Conexiones sinápticas después de completar el entrenamiento no supervisado. Las
picos negativos.
conexiones positivas están representadas en azul, mientras que las conexiones negativas
están representadas en rojo. El color de un nodo representa la intensidad de la actividad.
Cuanto más brillante es el nodo, más fuerte es la actividad.
dóndewyo, jSe refiere a una sinapsis conectada entre neuronas.i yj, yorden
(yo, j) significa el primer orden del pico entrante. El peso sináptico se
la actividad es. La fuerza de conectividad de la neurona se puede actualiza utilizando un parámetro de deriva sobre la base de la regla de
identificar por el grosor de las líneas. La información detallada sobre aprendizaje de plasticidad sináptica impulsada por picos. Esto se utiliza
los procesos de red relacionados con la clasificación de emociones para actualizar los pesos sinápticos teniendo en cuenta el evento natural
se mostraría en las áreas específicas de conexiones en el SNNcube. de los siguientes picos con respecto
al tiempoSi(t). Los pesos se actualizan según
Los niveles de activación de las neuronas se muestran en la Fig.6. El {
wyo, j(t−1) + deriva, Sj(t) = 1
nivel de brillo de una neurona identifica su nivel de activación. Cuanto wyo, j(t) = (11)
más brillante es la neurona, más picos se emiten. El histograma de picos wyo, j(t−1) − deriva, Sj(t) = 0,
positivos y negativos emitidos por todas las neuronas se puede visualizar
dóndeSj(t) es un pico en el tiempot. si neuronaifihay un pico en el
en NeuCube. Higo.7muestra el histograma de emisión de picos generado
tiempotque es después de que la neurona presináptica se activa, el
para el conjunto de datos de EEG. Todas las neuronas se dividen en dos
peso sináptico se potencia; de lo contrario, el peso sináptico
categorías (excitabilidad e inhibición). Las neuronas de excitabilidad
disminuye.
emiten picos positivos y las neuronas de inhibición emiten picos
Esta sección describe el proceso de uso de la arquitectura NeuCube
negativos.
SNN para el reconocimiento de emociones. En comparación con los
El algoritmo de clasificación deSNN [35] se aplica a la
enfoques tradicionales, el método basado en NeuCube tiene las ventajas
classifíEh yo n / A sorberejem
vised modelo de aprendizaje. Cada entrenamiento
metro
de analizar los datos espaciotemporales del EEG y utilizar la información
insta e escorre oh d a an neurona de salida. Las neuronas son
Carolina del Norte sp sustantivo,
Delaware
masculino—
histórica para ayudar en la clasificación. Los resultados experimentales
estafa CE
norteted h CE a h ohejem
ingenio th iEn el SNNcube. El sináptico
detallados se proporcionarán en la siguiente sección.
wyoght mi él ne turen i anunciojse calcula sobre la base
apuesta
nosotrosNuevo Testamento norte

ohpie él corriók- odejemyo

miar ingalogor ithm, que es descrito por
norte
wyo, j(t) =modificaciónorden(yo, j),
V. RESULTADOS EXPERIMENTALES
En los enfoques recientes de clasificación de emociones [37],
(10) El modelo bidimensional de activación de valencia se utiliza ampliamente [38].

46012 VOLUMEN 8, 2020

Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN
Por ejemplo, la excitación positiva/baja se utiliza para definir la emoción
"satisfecha", la excitación positiva/alta se utiliza para definir la emoción
"feliz", la excitación negativa/baja se utiliza para definir la emoción
"triste". '' emoción, etc. En el conjunto de datos DEAP, cuatro etiquetas de
emoción (valencia, excitación, dominancia y agrado) se dividen en dos
categorías, es decir, baja y alta. Una matriz de etiquetas contiene las
etiquetas emocionales correspondientes (1 para baja, 2 para alta). El
conjunto de datos de SEED se divide en estados emocionales positivos,
neutrales y negativos. Se utilizan dos conjuntos de datos para validar el
SNN, es decir, los conjuntos de datos DEAP y SEED. Se utilizarán más
conjuntos de datos para evaluar el método propuesto en trabajos
futuros.
A. AJUSTES EXPERIMENTALES
El conjunto de datos DEAP contiene datos de 32 participantes, cada
participante corresponde a un archivo. Hay 40 vídeos musicales, 32
canales y 128 puntos de muestreo por segundo, es decir, la forma de
matriz de 40×32×128 (vídeo/prueba×canal×datos) bytes. Los 20
participantes se seleccionan como datos de entrenamiento y 12
participantes se seleccionan como datos de prueba, al azar. Los
resultados son interdisciplinarios. El modelo SNN tiene 32 neuronas
de entrada en el reservorio SNN correspondientes a 32 canales de
EEG. El conjunto de datos SEED contiene datos de 15 participantes,
donde cada participante tiene tres archivos. Hay 62 canales y 200
puntos de muestreo por segundo. El 80% de los datos se seleccionan
como entrenamiento y el 20% se utilizan para pruebas. El SNN tiene
62 neuronas de entrada en el reservorio correspondientes a 62
canales de EEG. El modelo SNN es una estructura de red completa y
todos los participantes que se utilizan para entrenar SNN pueden
representarse mediante un modelo SNN.
Para lograr una clasificación confiable, en este estudio se
utiliza una ventana de tiempo móvil. Para obtener la ventana de
tiempo más adecuada, se utiliza el método de varianza en todos
los datos de EEG para comparar el rendimiento de la
clasificación en tres ventanas de tiempo diferentes, que en este
enfoque son 1 s, 2 s y 3 s. Los datos DEAP EEG se seleccionan
entre 32 electrodos (p. ej., P7, O1, O2, etc.). Los datos de SEED
EEG se seleccionan entre 62 canales. Debido a que las señales
de EEG contienen la información de tiempo y la información de
ubicación, mapear la información de ubicación a las neuronas
de entrada necesita determinar las coordenadas de los
electrodos respectivos, como P7 (-60, -60, 0), O1 (-30 , -80, 10),
O2 (30, -80, 10), etc. El valor máximo de la posición de las
coordenadas no es más de 100, por lo tanto 10×100×100×Se
selecciona 100 como tamaño de coordenadas de SNNcube y
SNNcube contiene 10×10×10 neuronas.
Se selecciona el algoritmo de codificación de picos de ventana móvil
para codificar las señales de EEG. En la sección de codificación, el umbral
se establece en 0,3 mV. La duración del tiempo de entrenamiento, el
tiempo refractario y la tasa STDP se establecen en 1 s, 6 ms y 0,01 en la
sección del cubo de entrenamiento, respectivamente. En la sección del
clasificador de entrenamiento, los parámetros mod, deriva, k y sigma se
establecen en 1,1, 0,5, 2 y 1,5 respectivamente. Para los parámetros
experimentales, utilizamos múltiples experimentos para obtener valores
apropiados. Es decir, dentro de un cierto rango, los parámetros se
ajustan en el mismo paso hasta alcanzar el valor óptimo del parámetro
VOLUMEN 8, 2020
TABLA 1.La precisión de la clasificación en una ventana de tiempo de 1
segundo utilizando diferentes métodos.
TABLA 2.La precisión de la clasificación se realiza en una ventana de tiempo de
2 segundos utilizando diferentes métodos.
TABLA 3.La precisión de la clasificación se realiza en una ventana de tiempo de
3 segundos utilizando diferentes métodos.
se obtiene el resultado experimental. Por ejemplo, el parámetro
sigma, en el rango de [0,2], se incrementa gradualmente en 0,5
pasos y el mejor resultado experimental se obtiene en 1,5.
B. RESULTADOS DE LA CLASIFICACIÓN DEL DEAP
Para las comparaciones se utilizan tres métodos diferentes (la
varianza, FFT y DWT) de extracción de características de EEG. La
arquitectura Neu-Cube SNN se aplica a los datos propuestos. Los
resultados de la clasificación en tres ventanas de tiempo diferentes
se dan en la Tabla1a la mesa3. El método de variación elige datos de
diferentes períodos a partir de los datos originales y mantiene las
características temporales y de ubicación de los metadatos.
Arquitectura SNN en la que los datos neuroinformáticos tanto
espaciales como temporales se pueden codificar como ubicaciones
de sinapsis y neuronas, así como el momento de su actividad
máxima. Es adecuado para representar la característica EEG. Por lo
tanto, la arquitectura SNN puede obtener un mejor rendimiento.
Mesa1muestra las precisiones de clasificación en una ventana de
tiempo de 1 s. Se puede ver que la precisión del método de varianza
es mucho mayor que la de FFT y DWT para clasificar las emociones
de valencia y dominancia. La precisión del método DWT es máxima
para clasificar la excitación y el agrado.
Mesa2muestra las precisiones de clasificación en una ventana
de tiempo de 2 s. La precisión de reconocimiento del método de
varianza es máxima para clasificar valencia y dominancia. Los
métodos de varianza y DWT tienen la misma precisión y son más
precisos que la FFT para clasificar la excitación. La FFT y la DWT
tienen la misma precisión y son más precisas que la variación
para clasificar el gusto.
Mesa3muestra las precisiones de clasificación en la ventana de
tiempo de 3 segundos. La precisión del método de la varianza es la
más alta para clasificar la valencia, la excitación, la dominancia y el
agrado. Mientras tanto, la Mesa3muestra que la precisión bajo el
46013
 Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN

TABLA 4.La precisión de la clasificación se realiza en una ventana de tiempo de 3 segundos utilizando diferentes métodos.

La ventana de tiempo de 3 segundos usando el método de varianza es mayor que la TABLA 5.La precisión de la clasificación en una ventana de tiempo de 1
segundo utilizando diferentes métodos.
ventana de tiempo de 1 y 2 segundos.
Además, se seleccionan los resultados de varios otros enfoques que
utilizan el mismo conjunto de datos para comparar el rendimiento. Las
precisiones promedio de estos enfoques se dan en la Tabla4. Los
resultados de [18] mostraron que las señales de EEG se pueden usar de
manera confiable para clasificar emociones e informar precisiones (55%
TABLA 6.La precisión de la clasificación se realiza en una ventana de tiempo de
-62%) mediante el uso de un clasificador gaussiano de Bayes. El enfoque 2 segundos utilizando diferentes métodos.
de [22] utilizó diferentes clasificadores para la clasificación y los
resultados experimentales demostraron que la precisión del uso de SVM
es mayor que la del ingenuo Bayes. Las mismas características y
clasificador en [22] se usan en el enfoque de [39] pero con diferente
número de subbandas, es decir, se usan 12 y 16 subbandas para [22] y
[39], respectivamente. Los resultados muestran que el enfoque de [22] TABLA 7.La precisión de la clasificación se realiza en una ventana de tiempo de
2 segundos utilizando diferentes métodos.
tiene una mayor precisión de clasificación que [39]. El enfoque de [40]
utilizó un clasificador de máquina de vectores de relevancia (RVM) y
extracción de características gráficas para clasificar las emociones, lo que
logra una precisión de clasificación del 65% al 69%. Los enfoques de [41]
y [42] utilizaron características de potencia espectral (SPF) y
características SPF con patrones espaciales comunes (CSP),
respectivamente. Ambos utilizaron SVM para las clasificaciones. Sin
es más alto, especialmente para los estados emocionales positivos y
embargo, sólo clasificaron dos estados emocionales y las precisiones son
neutrales. Se puede ver que la precisión utilizando el algoritmo FFT
del 50% al 62%. En este trabajo, se utiliza el método de varianza para
es mayor para la clasificación de estado negativo.
seleccionar los datos de señales EEG preprocesadas y luego se utiliza el
Mesa7muestra las precisiones de clasificación en una ventana de
SNN para clasificar los estados emocionales. La precisión de los cuatro
tiempo de 3 s. La precisión general del método de varianza es mayor que
estados emocionales (valencia, excitación, dominancia y agrado) es del
la de otros. Mientras tanto, la precisión de la clasificación individual
78%, 74%, 80% y 86,27%, respectivamente, lo que es mejor que otros
utilizando el método de varianza también es máxima. Cabe señalar que la
enfoques. Esto demuestra que debido a la capacidad de procesamiento
precisión del reconocimiento de la ventana de tiempo de 3 segundos
de información temporal-espacial, el SNN se puede utilizar para procesar
utilizando el método de varianza es mayor que la de la ventana de tiempo
tareas en el dominio de series de tiempo, como las clasificaciones de
de 1 y 2 segundos.
emociones basadas en EEG.
Los resultados de clasificación de varios otros enfoques que utilizan el
conjunto de datos SEED para la evaluación también se incluyen para
comparar el desempeño. Estos enfoques seleccionan 62 canales de datos
VI. RESULTADOS DE LA CLASIFICACIÓN DE SEMILLAS y cuatro bandas de frecuencia. Las precisiones de clasificación de estos
En el conjunto de datos SEED se utilizan tres métodos diferentes enfoques se muestran en la Tabla8. El enfoque de [19] muestra que el
(varianza, FFT y DWT) de extracción de características para realizar modelo de red de creencias profundas (DBN) puede obtener una
comparaciones. La arquitectura NeuCube SNN se aplica a los datos precisión general del 86,08%. El enfoque de [43] utiliza el método de
propuestos. Los resultados de la clasificación en tres ventanas de tiempo transferencia transductiva de parámetros (TPT) y el marco de
diferentes se dan en la Tabla5a la mesa7. Mesa5muestra las precisiones transferencia de sujetos, que logra una precisión general del 76,31%. El
en la ventana de tiempo de 1 s. Se puede ver que la precisión del método enfoque de [44] utiliza una estructura de red jerárquica con nodos de
de la varianza es mucho mayor que la de FFT y DWT. subred para la clasificación,
especialmente las precisiones de clasificación de positivo y neutral y puede obtener una precisión del 93,26%. En nuestro trabajo,
puede llegar al 100%. el método de varianza y SNN se utilizan para clasificar estados
Mesa6muestra las precisiones de clasificación en una ventana de emocionales. La precisión global muestra que se puede obtener un
tiempo de 2 s. Thmi precisión general del método de varianza resultado prometedor (96,67%).

46014 VOLUMEN 8, 2020

Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN
TABLA 8.Exactitudes de clasificación de diferentes enfoques.
VII. DISCUSIÓN
Los hallazgos de este estudio respaldan nuestra hipótesis de que la
viabilidad y las ventajas del SNN para el análisis emocional de
señales EEG. Como herramienta eficaz, el SNN se utiliza con señales
de EEG. En los estudios previos sobre la emoción, se han
considerado muchas técnicas estándar de aprendizaje automático
(por ejemplo, Bayes ingenuo [22], Bayes gaussiano [18], RVM [40],
etc.). Con la comparación de estos métodos, el SNN es más
adecuado para datos espaciales y temporales.
El marco NeuCube no sólo puede aprender rutas funcionales a partir
de datos, sino también predecir estados futuros. El modelo se puede
desarrollar para aprender datos espaciales y temporales de forma
supervisada y no supervisada. Incluye un componente de entrada para
codificar los datos de entrada en secuencias de picos, donde un SNNcube
aprende los datos de entrada en un modo no supervisado para capturar
patrones espaciales y temporales, y una parte de salida en evolución para
tareas de clasificación o regresión.
Este estudio ha demostrado que la varianza es un método eficaz para
procesar los datos. En el conjunto de datos DEAP, SNN reconoce los
cuatro estados emocionales como clases bajas o altas. Las precisiones de
clasificación son 78%, 74%, 80% y 86,27%, respectivamente. En el
conjunto de datos de SEED, los estados emocionales se dividen en
positivos, neutrales y negativos. Se puede obtener una precisión global
del 96,67%. La precisión es mucho mayor que la de las técnicas
tradicionales de aprendizaje automático. Debido a que el SNN exhibe la
característica de la memoria para procesar los datos de series de tiempo,
la información espacial y temporal está codificada por ubicaciones de
sinapsis, ubicaciones de neuronas y tiempos de actividad máxima en el
SNN. Se puede realizar una memoria asociativa y un sistema predictivo
utilizando el modelo SNN para clasificar los estados emocionales del
cerebro.
VIII. CONCLUSIÓN Y EL TRABAJO FUTURO
En este artículo se propusieron métodos para procesar señales EEG y
clasificar estados emocionales. Los conjuntos de datos DEAP y SEED
utilizados en este trabajo contienen las señales de EEG que se recopilaron
de dispositivos de interfaz cerebro-computadora (BCI) de 32 y 62 canales.
Se utilizaron tres métodos de extracción de características, incluida la
varianza, FFT y DWT, para procesar los datos del EEG. Luego se empleó el
SNN para clasificar los estados emocionales. Los resultados
experimentales mostraron que, en comparación con otros dos métodos
de extracción de características, el método de varianza con una ventana
de tiempo de 3 segundos es más adecuado para procesar los datos EEG
sin procesar. Para la clasificación del estado emocional, el SNN logró la
mayor precisión que otros enfoques convencionales debido a su
capacidad de procesamiento de datos espaciales y temporales. El trabajo
futuro incluye la optimización
misación de los métodos propuestos, una mayor exploración de la
VOLUMEN 8, 2020
clasificación de clases múltiples e integraciones del clasificador basado en
SNN y los dispositivos de hardware integrados BCI.
REFERENCIAS
[1] MS Hossain y G. Muhammad, ''Un sistema de reconocimiento de emociones para
aplicaciones móviles''.Acceso IEEE, vol. 5, págs. 2281–2287, 2017.
[2] A. Hernández-Matamoros, A. Bonarini, E. Escamilla-Hernández,
M. Nakano-Miyatake y H. Perez-Meana, ''Reconocimiento de expresiones faciales con
segmentación automática de regiones faciales utilizando un enfoque de clasificación
difuso''.Sistema basado en el conocimiento., vol. 110, págs. 1 a 14, octubre de 2016.
[3] A. Mencattini, E. Martinelli, G. Costantini, M. Todisco, B. Basile,
M. Bozzali y C. Di Natale, "Reconocimiento de emociones del habla mediante parámetros de
modulación de amplitud y un procedimiento de selección de características combinado".
Sistema basado en el conocimiento., vol. 63, núm. 1, págs. 68–81, junio de 2014.
[4] L. Zhang, K. Mistry, SC Neoh y CP Lim, ''Reconocimiento inteligente de emociones faciales
mediante optimización de polilla-luciérnaga''.Sistema basado en el conocimiento., vol. 111,
núm. 1, págs. 248–267, noviembre de 2016.
[5] KH Kim, SW Bang y SR Kim, "Sistema de reconocimiento de emociones que utiliza
monitoreo a corto plazo de señales fisiológicas".Medicina. Biol. Ing. Computadora., vol.
42, núm. 3, págs. 419–427, mayo de 2004.
[6] J. Atkinson y D. Campos, "Mejora del reconocimiento de emociones basado en BCI mediante la
combinación de selección de características de EEG y clasificadores de núcleo",Sistema experto.
Aplica., vol. 47, núm. 1, págs. 35 a 41, abril de 2016.
[7] J. Liu, J. Harkin, LP Maguire, LJ McDaid y JJ Wade, ''SPANNER: Una arquitectura de
hardware de red neuronal con picos autorreparables''.Traducción IEEE. Red
neuronal. Aprender. Sistema., vol. 29, núm. 4, págs. 1287–1300, abril de 2018.
[8] R. Jenke, A. Peer y M. Buss, "Extracción y selección de características para el
reconocimiento de emociones a partir de EEG".Traducción IEEE. Afectar. Computadora.
, vol. 5, núm. 3, págs. 327–339, julio de 2014.
[9] J. Liu, J. Zhang, Y. Luo, S. Yang, J. Wang y Q. Fu, "Detecciones de sustancias
espectrales de masas utilizando redes de memoria a largo plazo".Acceso IEEE,
vol. 7, págs. 10734–10744, 2019.
[10] T. Nguyen, S. Nahavandi, A. Khosravi, D. Creighton e I. Hettiarachchi, ''Análisis de señales
EEG para aplicaciones BCI utilizando un sistema difuso'', enProc. En t. Conferencia
conjunta. Red neuronal. (IJCNN), julio de 2015, págs. 1–8.
[11] YKD Nishikawa, W. Yu y H. Yokoi, "Controlador de mano protésico EMG utilizando un
método de aprendizaje en tiempo real", enProc. En t. Conf. Intel. Sistema de robots.,
1999, págs. 153-158.
[12] ADC Chan y KB Englehart, "Control mioeléctrico continuo para prótesis
motorizadas utilizando modelos ocultos de Markov",Traducción IEEE.
Biomédica. Ing., vol. 52, núm. 1, págs. 121-124, enero de 2005.
[13] MA Oskoei y H. Hu, "Esquema de clasificación basado en máquinas de vectores de soporte para el
control mioeléctrico aplicado a las extremidades superiores".Traducción IEEE. Biomédica. Ing.,
vol. 55, núm. 8, págs. 1956-1965, agosto de 2008.
[14] T. Song, W. Zheng, P. Song y Z. Cui, "Reconocimiento de emociones EEG mediante redes
neuronales convolucionales de gráficos dinámicos".Traducción IEEE. Afectar.
Computadora., para ser publicado.
[15] D. Taylor, N. Scott, N. Kasabov, E. Capecci y E. Tu, "Viabilidad de la arquitectura
NeuCube SNN para detectar la ejecución del motor y la intención del motor
para su uso en aplicaciones BCI", enProc. En t. Conferencia conjunta. Red
neuronal. (IJCNN), 2014, págs. 3221–3225.
[16] E. Tu, N. Kasabov, M. Othman, Y. Li, S. Worner, J. Yang y Z. Jia, ''NeuCube(ST) para
modelado predictivo de datos espacio-temporales con un estudio de caso sobre datos
ecológicos'', enProc. En t. Conferencia conjunta. Red neuronal. (IJCNN), julio de 2014,
págs. 638–645.
[17] J. Liu, LJ Mcdaid, J. Harkin, S. Karim, AP Johnson, AG Millard,
J. Hilder, DM Halliday, AM Tyrrell y J. Timmis, "Explorando la autorreparación en una
red neuronal de astrocitos acoplados",Traducción IEEE. Red neuronal. Aprender.
Sistema., vol. 30, núm. 3, págs. 865–875, marzo de 2019.
[18] S. Koelstra, C. Muhl, M. Soleymani, J.-S. Lee, A. Yazdani, T. Ebrahimi,
T. Pun, A. Nijholt e I. Patras, ''DEAP: una base de datos para el análisis de emociones; usando
señales fisiológicas''Traducción IEEE. Afectar. Computadora., vol. 3, núm. 1, págs. 18 a 31, enero
de 2012.
[19] W.-L. Zheng y B.-L. Lu, ''Investigación de bandas y canales de frecuencia críticos para el
reconocimiento de emociones basado en EEG con redes neuronales profundas''.
Traducción IEEE. Auto. Desarrollo mental., vol. 7, núm. 3, págs. 162-175, septiembre de 2015.
[20] Y. Liu, O. Sourina y MK Nguyen, "Reconocimiento y visualización de emociones humanas
basadas en EEG en tiempo real", enProc. En t. Conf. Cibermundos, octubre de 2010,
págs. 262–269.
[21] X.-W. Wang, D. Nie y B.-L. Lu, "Clasificación del estado emocional a partir de datos de EEG
mediante un enfoque de aprendizaje automático".Neurocomputación, vol. 129, págs.
94-106, abril de 2014.
46015
 Y. Luoet al.: Clasificación de emociones basada en EEG mediante SNN

[22] SN Daimi y G. Saha, ''Clasificación de emociones inducidas por videos musicales y [43] WL Zheng y BL Lu, ''Personalización de modelos afectivos basados en EEG con
correlación con la calificación de los participantes''.Sistema experto. Aplica., vol. 41, aprendizaje por transferencia'', enProc. En t. Conferencia conjunta. Artif. Intel. (IJCAI),
núm. 13, págs. 6057–6065, octubre de 2014. 2016, págs. 2732–2738.
[23] W. Maass, ''Redes de neuronas con picos: la tercera generación de modelos de redes [44] Y. Yang, QMJ Wu, W.-L. Zheng y B.-L. Lu, "Reconocimiento de emociones basado
neuronales''.Red neuronal., vol. 10, núm. 9, págs. 1659-1671, diciembre de 1997. en EEG utilizando una red jerárquica con nodos de subred".Traducción IEEE.
[24] Y. Luo, L. Wan, J. Liu, J. Harkin, L. McDaid, Y. Cao y X. Ding, "Arquitectura Cognir. Desarrollar. Sistema., vol. 10, núm. 2, págs. 408–419, junio de 2018.
interconectada de bajo costo para redes neuronales con picos de hardware".
Fronteras Neurociencias., vol. 12, núm. 857, págs. 1 a 14, noviembre de 2018.
[25] J. Liu, Y. Huang, Y. Luo, J. Harkin y L. McDaid, "Circuitos de detección de
YULING LUO,fotografía y biografía no disponibles en el momento de la
fallas bioinspirados basados en modelos de sinapsis y neuronas con publicación.
picos".Neurocomputación, vol. 331, págs. 473–482, febrero de 2019, doi:
10.1016/j.neucom.2018.11.078.
QIANG FURecibió la maestría de la Escuela de
[26] L. Peng, Z.-G. Hou, N. Kasabov, G.-B. Bian, L. Vladareanu y H. Yu, ''Viabilidad de la
Ingeniería Electrónica de la Universidad Normal de
arquitectura de red neuronal de picos NeuCube para el reconocimiento de
Guangxi. Sus intereses de investigación incluyen
patrones EMG'', enProc. En t. Conf. Adv. Mec. Sistema. (ICAMechS), agosto de
redes neuronales con picos y análisis BCI.
2015, págs. 365–369.
[27] A. Delorme y S. Makeig, ''EEGLAB: una caja de herramientas de código abierto para el
análisis de la dinámica del EEG de un solo ensayo, incluido el análisis de componentes
independientes''.J. Neurosci. Métodos, vol. 134, núm. 1, págs. 9-21, marzo de 2004.
[28] M. Murugappan, N. Ramachandran e Y. Sazali, ''Clasificación de las emociones humanas a
partir de EEG mediante transformada wavelet discreta''.J. Biomed. Ciencia. Ing., vol. 03,
núm. 04, págs. 390–396, 2010.
[29] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, AN Gómez,
JUNTAO XIE,fotografía y biografía no disponibles en el momento de la
L. Kaiser y I. Polosukhin, "Lo único que necesitas es atención", enProc. Adv. Inf.
publicación.
neuronal. Proceso. Sistema., 2017, págs. 5999–6009.
[30] N. Kasabov, V. Feigin, Z.-G. Hou, Y. Chen, L. Liang, R. Krishnamurthi,
M. Othman y P. Parmar, "Evolución de redes neuronales de picos para modelado, clasificación y YUNBAI QINRecibió una licenciatura y una maestría en
predicción personalizados de patrones espacio-temporales con un estudio de caso sobre ingeniería de comunicaciones de la Universidad de Jilin,
accidente cerebrovascular".Neurocomputación, vol. 134, págs. 269–279, junio de 2014.
Changchun, China, en 2008 y 2011, respectivamente.
Actualmente es profesor de la Escuela de Ingeniería
[31] N. Kasabov, NM Scott, E. Tu, S. Marks, N. Sengupta, E. Capecci, Electrónica de la Universidad Normal de Guangxi. Sus
M. Othman, MG Doborjeh, N. Murli, R. Hartono, JI Espinosa-Ramos, intereses de investigación incluyen visión artificial,
L. Zhou, FB Alvi, G. Wang, D. Taylor, V. Feigin, S. Gulyaev,
robots inteligentes, electrónica automotriz y big data de
M. Mahmoud, Z.-G. Hou y J. Yang, "Evolución de máquinas de datos espacio-
infraestructura de transporte.
temporales basadas en el marco neuromórfico NeuCube: metodología de
diseño y aplicaciones seleccionadas".Red neuronal., vol. 78, págs. 1 a 14, junio
de 2016.
[32] T. Delbruck y P. Lichtsteiner, "Control motor sensorial rápido basado en un sistema híbrido
GUOPEI WUActualmente está cursando la maestría en la
neuromórfico-procedimental basado en eventos", enProc. IEEE Internacional. Síntoma. Sistema
Escuela de Ingeniería Electrónica de la Universidad
de circuitos., mayo de 2007, págs. 845–848.
Normal de Guangxi. Sus intereses de investigación
[33] W. Gerstner, "¿Qué es diferente con las neuronas que se disparan?" enProc. Red neuronal
incluyen redes neuronales y análisis BCI.
plausible. Biol. Modelado, 2001, págs. 23–48.
[34] J. Liu, T. Sun, Y. Luo, S. Yang, Y. Cao y J. Zhai, "Una arquitectura de red de estado
de eco basada en una puerta lógica cuántica y su optimización".
Neurocomputación, vol. 371, núm. 1, págs. 100-107, enero de 2020.
[35] N. Kasabov, K. Dhoble, N. Nuntalid y G. Indiveri, "Redes neuronales dinámicas en
evolución para el reconocimiento de patrones espacio-temporales y espectro-
temporales en línea".Red neuronal., vol. 41, núm. 5, págs. 188-201, mayo de 2013.
[36] J. Liu, T. Sun, Y. Luo, S. Yang, Y. Cao y J. Zhai, "Optimización de la red de estado de
JUNXIU LIU,fotografía y biografía no disponibles en el momento de la
eco utilizando el algoritmo binario del lobo gris".Neurocomputación, vol. 385,
publicación.
págs. 310–318, abril de 2020, doi:10.1016/j.neucom.2019.12.069.
[37] Y. Liu y O. Sourina, "Reconocimiento del nivel de dominancia basado en EEG para la
interacción habilitada por emociones", enProc. IEEE Internacional. Conf. Expo FRANK JIANGRecibió la maestría en informática de la
Multimedia, julio de 2012, págs. 1039-1044. Universidad de Nueva Gales del Sur (UNSW) y el
[38] AJ Gerber, J. Posner, D. Gorman, T. Colibazzi, S. Yu, Z. Wang, Ph.D. Licenciado por la Universidad Tecnológica de
A. Kangarlu, H. Zhu, J. Russell y BS Peterson, "Un modelo circumplejo afectivo Sydney, en 2008. Tiene más de tres años de
de sistemas neuronales que sirven a la valencia, la excitación y la superposición experiencia como investigador postdoctoral en la
cognitiva durante la evaluación de rostros emocionales".Neuropsicología, vol.
UNSW. Ha publicado más de 80 artículos de
46, núm. 8, págs. 2129-2139, julio de 2008.
conferencias y artículos de revistas indexadas SCI/EI
[39] DS Naser y G. Saha, ''Reconocimiento de emociones inducidas por vídeos
de gran reputación. Sus principales intereses de
musicales utilizando DT-CWPT'', enProc. Conferencia india. Medicina.
investigación incluyen esquemas de aprendizaje de
Información. Telemedicina (ICMIT), marzo de 2013, págs. 53–57.
inspiración biológica y sus aplicaciones en el
[40] R. Gupta, KUR Laghari y TH Falk, "Fusión de decisión del clasificador de vectores de
sistemas sensibles al contexto, ciberseguridad basada en datos, análisis predictivo y
relevancia y características teóricas de gráficos EEG para la caracterización automática
técnicas blockchain.
del estado afectivo".Neurocomputación, vol. 174, págs. 875–884, enero de 2016.
[41] M. Soleymani, M. Pantic y T. Pun, ''Reconocimiento de emociones multimodal en
respuesta a videos''.Traducción IEEE. Afectar. Computadora., vol. 3, núm. 2, YI CAO,fotografía y biografía no disponibles en el momento de la publicación.
págs. 211–223, abril de 2012.
[42] S. Koelstra, A. Yazdani, M. Soleymani, C. Mühl, JS Lee, A. Nijholt,
T. Pun, T. Ebrahimi e I. Patras, "Clasificación de ensayo único de EEG y señales XUEMEI DING,fotografía y biografía no disponibles en el momento de la
fisiológicas periféricas para el reconocimiento de emociones inducidas por vídeos publicación.
musicales", enProc. En t. Conf. Información cerebral., 2010, págs. 89-100.

46016 VOLUMEN 8, 2020