Rendimiento de la interfaz cerebro-computadora (BCI) basada en el potencial evocado visual en estado

estable (SSVEP) bajo diferentes perturbaciones

Resumen
Los paradigmas de la interfaz cerebro-computadora (BCI) generalmente se prueban cuando se evitan
intencionalmente artefactos ambientales y biológicos. En este estudio, introdujimos deliberadamente
diferentes perturbaciones para probar la solidez de un BCI basado en el potencial evocado visual en estado
estacionario (SSVEP). Específicamente, investigamos en qué medida una caída en el rendimiento está
relacionada con la calidad degradada de las señales de EEG o más bien debido al aumento de la carga
cognitiva. En las tareas en línea, los sujetos se enfocaron en uno de los cuatro círculos y dieron
retroalimentación sobre la corrección de la clasificación en cuatro condiciones aleatorizadas entre los sujetos:
Control (sin perturbación), Habla (contando en voz alta y repetidamente de uno a diez), Pensamiento (mental
contar repetidamente del uno al diez) y Escuchar (escuchar el conteo verbal del uno al diez). Árbol de
decisión, Los clasificadores Naïve Bayes y K-Nearest Neighbour se utilizaron para evaluar el rendimiento de la
clasificación utilizando características generadas por el análisis de correlación canónica. Durante la condición
en línea, Speaking and Thinking disminuyó moderadamente la precisión de la clasificación media en
comparación con la condición de Control, mientras que no hubo diferencias significativas entre las condiciones
de Escucha y Control entre los sujetos. Las actuaciones fueron sensibles al método de clasificación y a las
condiciones de perturbación. No hemos observado artefactos significativos en EEG durante perturbaciones en
el rango de frecuencia de interés, excepto en la banda theta. Por lo tanto, concluimos que es probable que la
caída en el rendimiento tenga un origen cognitivo. Durante la condición de Escucha, la potencia alfa relativa
en un área amplia que incluye regiones centrales y temporales principalmente sobre el hemisferio izquierdo se
correlacionó negativamente con el rendimiento, lo que probablemente indica una supresión activa de la
presentación distractora de la reproducción. Este es el primer estudio que evalúa sistemáticamente los efectos
de los artefactos naturales (es decir, perturbaciones mentales, verbales y de audio) en las BCI basadas en
SSVEP. Los resultados se pueden usar para mejorar el rendimiento de la clasificación individual teniendo en
cuenta los efectos de las perturbaciones.
Introducción
Las interfaces cerebro-computadora (BCI) tienen el potencial de ayudar a las personas con discapacidades severas al
traducir las intenciones de los sujetos en varios comandos diferentes [ 1 ]. Debido a su seguridad y alta resolución de
tiempo, los BCI basados en electroencefalograma (EEG) se han vuelto populares y se han propuesto varios diseños que
utilizan diferentes señales (p. Ej. P300 [ 2 , 3 ], ritmos sensoriomotores [ 4 , 5 ]). Entre ellos, los potenciales evocados
visuales en estado estable (SSVEP) son particularmente atractivos debido a la alta relación señal / ruido (SNR) [ 6 ] y
robustez [ 7] La SSVEP es un fenómeno de resonancia que se puede observar principalmente en electrodos sobre los
lóbulos occipitales y parietales del cerebro cuando un sujeto observa una fuente de luz que parpadea a una frecuencia
constante [ 7 ]. En este caso, hay un aumento en la amplitud del EEG en las frecuencias parpadeantes y sus armónicos y
existen diferentes métodos para extraer los componentes de frecuencia de los SSVEP. Recientemente, el análisis de
correlación canónica (CCA) se ha convertido en un enfoque popular para analizar estos componentes de frecuencia, ya
que su rendimiento fue mayor en comparación con la transformación de Fourier tradicionalmente utilizada [ 8 ] y la
combinación de energía mínima [ 9 ]. Se propusieron varias extensiones al método CCA estándar y se evaluaron sus
rendimientos [ 10 ].
La robustez de CCA [ 11 ] y SSVEPs [ 12 - 14 ] a diferentes condiciones experimentales se mencionaron en varios
documentos. En [ 11 ], los autores mostraron que la CCA era robusta para caminar (movimiento) en la detección de
SSVEP. En [ 12 ], los autores evaluaron sistemáticamente los efectos de la locomoción al caminar en los SSVEP
utilizando un sistema de EEG móvil y mostraron que la precisión de la detección fuera de línea del SSVEP disminuía a
medida que aumentaba la velocidad al caminar. En [ 13], los autores encontraron menor carga mental y fatiga para la tarea
de atención visual de inversión de movimiento en comparación con el paradigma con el parpadeo convencional. En otro
estudio, los autores demostraron que la adición de un ruido visual puede aumentar el rendimiento tanto fuera de línea
como en línea de un BCI basado en el potencial evocado [ 14 ]. Aunque este último fue un BCI basado en el potencial
evocado visual en movimiento en estado estable, el estudio es relevante en términos de introducción de
perturbaciones. Sin embargo, en ninguno de los estudios mencionados anteriormente, hubo perturbaciones mentales,
verbales o de audio introducidas en el sistema BCI. Sin embargo, son exactamente estos tipos de perturbaciones y cargas
mentales las que son relevantes para el uso diario de BCI fuera del entorno estéril de los laboratorios de investigación.
En este estudio, evaluamos el rendimiento de un BCI de cuatro clases basado en SSVEP bajo diferentes perturbaciones en
las que los sujetos hablaban, pensaban o escuchaban según la tarea dada. Presumimos que, aunque el SSVEP es un
fenómeno robusto, diferentes perturbaciones (es decir, verbales, mentales, de audio) deberían tener efectos variables
dentro y entre los sujetos debido al desempeño concurrente de otra tarea y, por lo tanto, debido a los cambios en la
atención dedicada al BCI actuación. Hasta donde sabemos, este es el primer estudio que analiza sistemáticamente los
efectos de estas perturbaciones en el rendimiento en línea de BCI basado en SSVEP dentro y entre sujetos.
materiales y métodos
Participantes
Los participantes fueron reclutados en el verano-otoño de 2016 utilizando la base de datos del Centro de Cognición y
Toma de Decisiones de la Escuela Superior de Economía (HSE). La mayoría de ellos eran estudiantes de HSE. No hubo
pago para los participantes y esto quedó claro antes del reclutamiento. Veintisiete sujetos sanos (ocho hombres) entre 18 y
41 años de edad (media: 26 ± 1, SE) participaron en el estudio después de dar un consentimiento informado por escrito de
acuerdo con la Declaración de Helsinki. Los experimentos fueron aprobados por el Comité de Ética Local de la
Universidad Nacional de Investigación de la Escuela Superior de Economía de Moscú. Todos los sujetos participaron en
tareas fuera de línea y en línea. Sin embargo, tres sujetos (dos hombres) fueron excluidos de los análisis debido a su
desempeño relativamente bajo en tareas fuera de línea. Dos de ellos informaron que no podían concentrarse
adecuadamente en la tarea fuera de línea. Por lo tanto, veinticuatro sujetos (tres zurdos) se incluyeron en los resultados.
Configuración del experimento
EEG se registraron en una cabina oscura blindada eléctricamente. La computadora de grabación y presentación de
estímulos estaba afuera de la sala de grabación. Los paradigmas de estímulo se prepararon en el software Matlab (The
MathWorks, Inc., Natick, Massachusetts, Estados Unidos) utilizando Psychophysics Toolbox Versión 3
( http://psychtoolbox.org/ ). Los estímulos principales se componen de cuatro círculos colocados en diferentes ubicaciones
con frecuencias de parpadeo individuales ( f ): 5.45 (arriba), 8.57 (abajo), 12 (derecha) y 15 (izquierda) Hz). Los
participantes siguieron los estímulos presentados en un monitor LED Ultra HD de 28 pulgadas (Samsung LED
LU28D590DS) con una resolución de 1920 x 1080 píxeles y una frecuencia de actualización de 60 Hz. El ciclo de trabajo
se determinó como 1 / (60 / f) Por lo tanto, durante un ciclo, el círculo relacionado era blanco solo en un cuadro y era
negro para los otros cuadros. En este caso, cuando el color del cuadro se invierte una vez cada cuatro cuadros, obtenemos
15 (es decir, 60/4) Hz. De manera similar, se obtuvieron 12 (60/5), 8,57 (60/7) y 5,45 (60/11) Hz. Para evitar problemas
de rendimiento debido a la resolución de frecuencia, había al menos un intervalo de 3 Hz entre las frecuencias
seleccionadas. No utilizamos frecuencias que sean múltiplos entre sí para evitar la coincidencia de los primeros armónicos
de una frecuencia de parpadeo correspondiente a los segundos armónicos de otro estímulo. Durante el experimento, la
distancia entre los participantes y el monitor fue de 90 cm. La figura 1 muestra las posiciones de los círculos parpadeantes
en el monitor.
Tarea sin conexión
El experimento sin conexión comienza con un mensaje de bienvenida después de una pantalla en
blanco. Para cada una de las 25 pruebas, hay una instrucción en la pantalla que informa a un sujeto para
enfocarse en el círculo presentado. Luego, los sujetos se centran en cada uno de los cuatro círculos
parpadeantes presentados al azar indicados por un marco ovalado rojo durante tres segundos con un
intervalo entre estímulos (ISI) de un segundo. La prueba finaliza con una pantalla en blanco. Una vez
finalizadas todas las pruebas, el experimento termina con un mensaje de "gracias". Los sujetos recibieron
instrucciones de parpadear durante ISI para evitar artefactos relacionados con el parpadeo durante la
presentación de los estímulos parpadeantes. Esta tarea dura unos nueve minutos. El momento de la tarea
fuera de línea se presenta en la figura 2A . Se muestra una demostración de una prueba de la tarea fuera de
línea en S1 Video
Tarea en línea
El experimento en línea comienza con un mensaje de bienvenida después de una pantalla en blanco. Para cada una de las
100 pruebas, hay una instrucción en la pantalla que informa al sujeto para enfocarse en el círculo. Luego, el sujeto se
enfoca en uno de los cuatro círculos blancos parpadeantes durante tres segundos. En esta tarea, los sujetos eran libres de
seleccionar el círculo para enfocarse. Al cabo de tres segundos, el resultado de la clasificación (es decir, un círculo en una
ubicación específica) se presenta en la pantalla con un color rojo. Los sujetos confirman (presionan la tecla 'Y') o rechazan
(presionan la tecla 'N' y luego especifican la respuesta correcta con las teclas de flecha) la ubicación usando el teclado. No
hay límite de tiempo para la retroalimentación del tema. Una vez finalizadas todas las pruebas, el experimento termina
con un mensaje de "gracias". El momento de la tarea en línea se presenta en la Fig. 2B. Se muestra una demostración de
una prueba de la tarea en línea en S2 Video .
La tarea en línea se realizó en cuatro condiciones aleatorizadas entre sujetos:
1. Control: No hay conteo (sin perturbación).
2. Habla: los sujetos contaron en voz alta y repetidamente del 1 al 10 (perturbación verbal).
3. Pensamiento: Los sujetos contaron repetidamente de 1 a 10 mentalmente (perturbación mental).
 4. Escucha: los sujetos escucharon su voz pregrabada en formato de archivo de audio de forma de onda (.wav) con
una frecuencia de muestreo a 22 kHz y un tamaño de muestra de 16 bits) cuando contaban de 1 a 10 (perturbación
de audio).
Los sujetos contaban a una velocidad constante con la que se sentían cómodos.
Grabaciones de EEG
Los EEG se registraron con el amplificador ActiCHamp usando el software PyCorder (Brain Products) de 60 canales
usando el diseño de electrodo estándar de 64 canales para actiCHamp, excepto FT9, FT10, TP9 y TP10. El electrodo de
referencia estaba en el mastoideo izquierdo. Se colocaron tres electrodos electrooculográficos (EOG) sobre el nasion y
debajo del canto externo de los ojos como se indica en [ 15 ]. Las impedancias de los electrodos se mantuvieron por
debajo de 20 kΩ. La frecuencia de muestreo fue de 1 kHz.
Preprocesamiento
Los EEG se segmentaron utilizando los marcadores de estímulo que especifican el inicio y el final del parpadeo. La
tendencia en los datos segmentados se eliminó y los datos se filtraron con un filtro de paso de banda con frecuencias de
corte de 0,53 y 40 Hz para eliminar componentes de CC y artefactos de alta frecuencia, incluido el ruido de la línea de
alimentación (50 Hz). No se utilizó ningún método adicional de eliminación de artefactos, ya que los SSVEP no son
sensibles a los artefactos de baja frecuencia como los movimientos oculares o corporales [ 16 ]. Los 60 canales de EEG se
incluyeron en las tareas fuera de línea y en línea para tener coherencia entre los temas. La caja de herramientas Fieldtrip
se usó para el análisis fuera de línea y en línea [ 17 ].

Espectro de potencia

La Transformada rápida de Fourier se utilizó con la ventana de Hanning para calcular el espectro de potencia del EEG preprocesado
para una longitud de estímulo de 3 segundos. El espectro contenía los armónicos primero y segundo (el armónico n- ésimo = n × la
frecuencia de estimulación) de las frecuencias parpadeantes. El espectro de frecuencia incluyó bandas delta (1–3 Hz), theta (4–7 Hz),
alfa (8–13 Hz) y beta (14–30 Hz). La potencia relativa se calculó como la relación de la suma de la potencia en una banda específica
(por ejemplo, delta) sobre la suma de la potencia en el amplio espectro (1–30 Hz).

Extracción de características

El análisis de correlación canónica (CCA) se utilizó para generar características para la clasificación. Para la implementación detallada
del método ver [ 18 ]. Brevemente, generamos datos compuestos de funciones seno y coseno que tienen las mismas longitudes que los
datos EEG segmentados. Luego se calcularon las correlaciones canónicas entre el EEG y los segmentos seno y coseno. Las
frecuencias de las funciones seno y coseno correspondían al primer y segundo armónicos de las frecuencias de estimulación. Por lo
tanto, se calcularon dos valores de correlación canónica para cada una de las cuatro frecuencias de estimulación y sus segundos
armónicos. Estos dieciséis (8 × 2) valores de correlación se utilizaron como características para la clasificación.

Clasificación

El árbol de decisión, los clasificadores Naïve Bayes y K-Nearest Neighbour se utilizaron para evaluar el rendimiento de la
clasificación BCI utilizando las características generadas por CCA. Estos clasificadores se usaron en diseños de BCI basados en
SSVEP anteriores en la literatura: K-NN [ 19 ], Naïve Bayes [ 20 ] y Decision Tree [ 21] Los tres clasificadores se implementaron con
la Caja de herramientas de estadísticas de Matlab. La precisión de la clasificación fuera de línea se calculó para diferentes longitudes
(1s, 2s y 3s) de los estímulos utilizando el enfoque de dejar uno afuera. Antes de la clasificación en línea, los clasificadores fueron
entrenados utilizando todos los datos en la tarea fuera de línea. Los tres clasificadores se utilizaron en la clasificación en línea. Sin
embargo, como cada clasificador generó resultados de clasificación diferentes, solo uno de ellos (predicción del clasificador Naïve
Bayes) se presentó al sujeto para evitar confusiones. Aquí, la decisión de usar el clasificador Naïve Bayes entre otros se basó en su
popularidad en la investigación de BCI. Es importante destacar que, al seleccionar el clasificador por adelantado, no sabíamos acerca
de los resultados finales de la precisión de clasificación entre todos los clasificadores, que solo fue posible evaluar al completar todos
los experimentos en línea. La clasificación en línea se realizó para la duración del estímulo de 3 segundos.

análisis estadístico

Se utilizó el análisis de varianza de medidas repetidas bidireccionales (ANOVA) para investigar las diferencias en el rendimiento
medio de los sujetos según el clasificador y los factores de duración del estímulo para la tarea fuera de línea, y según el clasificador y
los factores de perturbación para la tarea en línea. Las diferencias entre los clasificadores en la tarea fuera de línea y las diferencias
entre las condiciones en la tarea en línea entre los sujetos se evaluaron mediante una prueba t de muestras pareadas con corrección de
tasa de descubrimiento falso (FDR) [ 22] Se calcularon las correlaciones entre la potencia relativa durante la presentación de estímulos
y el rendimiento entre los sujetos para las bandas delta, theta, alfa (alfa bajo: 8-10 Hz, alfa alto: 10-13 Hz) y beta con coeficiente de
correlación de Pearson y se estimó la importancia. utilizando estadísticas de permutación basadas en grupos, que tienen en cuenta la
proximidad espacial de los electrodos con efectos significativos [ 23 ]. Las diferencias en la duración de los experimentos y el poder
de las oscilaciones en diferentes bandas de frecuencia entre las condiciones en línea entre los sujetos se evaluaron mediante el análisis
de varianza unidireccional (ANOVA).

Resultados
Clasificación fuera de línea

En la Fig. 3 , se dan precisiones medias (%) con errores estándar para diferentes longitudes de estímulo de 1 a 3 segundos en la parte
fuera de línea del experimento.

En la Fig. 3 , cuando la longitud del estímulo era corta (es decir, 1 s), la precisión del clasificador Naïve Bayes era mayor
que la precisión de los clasificadores K-NN y el Árbol de decisión (p <0.001 en cada caso). Sin embargo, no hubo
diferencias significativas entre el rendimiento de los clasificadores K-NN y el Árbol de decisión. Para la mayor longitud de
estímulo (es decir, 2 s), la precisión del clasificador Naïve Bayes fue aún mayor que la precisión de los clasificadores K-
NN (p <0.05) y el Árbol de decisión (p <0.01). Para esta longitud, la precisión de K-NN también fue superior al árbol de
decisión (p <0.01). Para la longitud de estímulo más larga (es decir, 3s), la precisión de K-NN fue mayor que la precisión
de los clasificadores Naïve Bayes (p <0.05) y el Árbol de decisión (p <0.01). Para esta longitud, el rendimiento de Naïve
Bayes fue aún superior al Árbol de decisión (p <0.05).

Las medidas repetidas ANOVA (ver Tabla 1 ) mostraron diferencias significativas en las precisiones medias en la tarea
fuera de línea dependiendo del clasificador, la duración de los estímulos y su interacción ( p <0.001 en cada caso).

Las precisiones de clasificación promedio entre los sujetos fueron> = 97% para todos los clasificadores (media ± DE; K-
NN: 99.54 ± 0.72, Naïve Bayes: 98.93 ± 1.69, Árbol de decisión: 96.62 ± 4.30) en condiciones fuera de línea cuando la
duración del estímulo fue de 3 s .

En la Fig. 4 , el espectro de potencia media de todos los sujetos y el espectro de potencia de un sujeto representativo
(Sujeto 18) se presentan dependiendo de la frecuencia de parpadeo (F) en la tarea fuera de línea.