Interfaz neuronal para detección de emociones

aplicadas a las Redes Sociales
 

Eduardo N CAMPAZZO
Depto. Cs. Exactas Físicas y Naturales, Universidad Nacional de La Rioja
La Rioja, La Rioja CP 5300, Argentina

Manuel PEREZ COTA

Depto. Informática, Universidad de Vigo
Vigo 36208, España

Calixto A. MALDONADO
Facultad Regional Córdoba, Universidad Tecnológica Nacional
Córdoba CP 5000, Argentina

Marcelo MARTINEZ
Depto. Cs. Exactas Físicas y Naturales, Universidad Nacional de La Rioja
La Rioja, La Rioja CP 5300, Argentina

RESUMEN Para la captura de las señales eléctricas del cerebro se utiliza

La interfaz neuronal permite convertir la actividad eléctrica del
cerebro, inducida por los cambios emocionales del usuario, en
señales digitales para ser analizadas y procesadas por un sistema
de computarizado.
La interfaz consta de electrodos ubicados en la parte exterior de
la cabeza a través de un casco flexible diseñado para tal fin. Los
electrodos capturan las señales eléctricas producidas por el
cerebro, estas señales son amplificadas por amplificadores de
instrumentación y filtradas para eliminar las señales de
frecuencias no significativas en el análisis y procesamiento. Una
vez adaptadas las señales son muestreadas por conversores
analógico/digital y transmitidas a una computadora a través de
un dispositivo con un microcontrolador, denominado Arduino,
conectado al puerto USB de una computadora. En la ésta última
se instala y ejecuta un software desarrollado en lenguaje C#, el
mismo es el encargado de capturar y procesar las señales
digitales y a su vez enlazar código javascript instalado en un
hosting. Este código javascript es conectado a una aplicación
Facebook que realiza publicaciones automáticas en el muro del
usuario de la red social.
Palabras Claves: Interfaz neuronal, Control cerebral,
Detección de emociones, Redes Sociales.
1. INTRODUCCION
En la ejecución de este proyecto se desarrolló una interfaz
hombre-máquina compuesta por hardware y software,
integrando cada una de las partes componentes para lograr un
dispositivo funcional.
electrodos implementados en cabeza del usuario a través de un
casco flexible, los mismos son conectados a amplificadores de
instrumentación, encargados de amplificar la señal 2000 veces
para posteriormente convertir las señales analógicas en señales
digitales utilizando un dispositivo denominado Arduino, que
posee un microcontrolador, conversores A/D y conexión a
puerto USB. A través de la conexión USB se transmite en
tiempo real la captura de las ondas cerebrales. Estas señales son
procesadas en la computadora para luego ser interpretadas y
transmitidas a la red de datos.
Existen interfaces hombre-máquina que permiten realizar el
control de computadoras desde diferentes dispositivos. Desde el
teclado hasta el control por detección de movimiento de los
ojos, siempre valiéndose de movimientos del usuario para
introducir los datos de control al sistema computarizado.
Actualmente se experimenta con el control de computadoras a
través de Brain Control Interface (BCI), y con el mismo se
pretende lograr el control computarizado aun cuando se carece
de posibilidad de movimiento del usuario.
En la comunidad científica se investiga diferentes maneras de
detectar emociones en los usuarios de computadoras, ya sea a
través de detección gestual del rostro o bien del modo de
escritura. Incorporar las emociones del usuario de redes sociales
a los mensajes que transmite a través de las redes permite una
mejor interpretación de los mismos.
En la actualidad existen interfaces que permiten el monitoreo de
parámetros biométricos. Entre los que encontramos aquellos que
detectan actividad eléctrica del cerebro (electroencefalogramas),
los que detectan la actividad eléctrica del sistema circulatorio
(electrocardiogramas), los que detectan la conductividad de la
piel para inferir ansiedad, entre otros.
Esta interfaz permitirá convertir la actividad eléctrica del
cerebro, inducida entre otros estímulos por cambios
eemocionales del usuario, en señaales digitales parra ser analizadas compponentes de las ffrecuencias no significativas parra el análisis
y procesadas porr un sistema com
mputarizado. y el pprocesamiento dde las mismas.
Los ffiltros utilizadoss son filtros pasa-bajos activos Butterworth
con ffrecuencia de corrte 41 Hz como indica la figura 3.

2. DISEÑO Y DESARROLLO
D O

LLa interfaz que comprende harrdware y softwaare que incluye

ddesde la capturaa de la actividad d eléctrica del cerebro
c hasta laa
ppublicación auto omática en el muro
m de la redd social. Puede
ddividirse en 5 etaapas bien definid
das como indica la figura 1.

quema filtro pasaa-bajo Butterworth.

Figura 3: Esq

Es nnecesario destaccar que la etaapa de amplificcación cada

electrrodo está conecttado a un amplifficador de instrum
mentación y
un filltro activo.

Convversores analóggico digital

Esta etapa no solo es la encargadda de convertir las señales
analóógicas de las onndas cerebraless en digitales siino también
debe proveer todo el protocolo de comunicaciión para la
Figura 1: Diagra
amas de Bloques transmmisión a la com
mputadora.
Interfaz de Hard
dware/Software
Todaas las funcionaliddades anteriormeente descriptas een esta etapa
son pprovistas por un único dispositivvo denominado Arduino, ya
A
Amplificadores y filtros analóg
gicos que el mismo poseee entradas anaalógicas, converrsores A/D,
memmoria, capacidad de procesamientto y puerto USB B cliente.
LLa primera etap pa de la interffaz consta de seis electrodos
innsertados en un gorro de materiial flexible (lycrra) conectados a Este dispositivo, moostrado en la fiigura 4, posee uun software
ccables-paciente utilizados normmalmente electro oencefalógrafos. embeebido cuyo códiigo fuente es deesarrollado en leenguaje C++
ÉÉstos cables so on insertados al amplificadorr a través de utilizzando las libreerías que su ffabricante provvee para la
cconectores rj45 para brindar mayor seguriidad y menorr progrramación. El prrograma desarroollado para estee dispositivo
resistencia de con
ntacto a la conex
xión. realizza la lectura de las entradas anaalógicas y las traansmite a la
compputadora a travéés del puerto USB utilizando uun protocolo
LLa etapa amplifiicadora consta de
d amplificadorees operacionales impleementado especííficamente para esta comunicaciión.
qque en su conjunto con nfiguran ampllificadores de
innstrumentación como indica la figura 2. Se utillizó este tipo de
aamplificador porr su alta impedancia de entrad da y su elevado
rechazo de ruido o. Esta etapa ammplifica la señaal analógica conn
uuna ganancia dee 2000, puesto que es necesarrio convertir laa
aamplitud de las señales
s de las on
ndas cerebrales desde
d una mediaa
550µV a 2 voltios para poder serr muestreadas porp el conversorr
AA/D.

Figu ura 4: Esquema ddel Arduino.

http:///arduino.cc/es/Refference/Board

El coonversor A/D quue posee el disppositivo utilizaddo tiene una

Figura 2: Amplificador de instrumentación.
PPosterior a la amplificación ded las señales de las ondas
ccerebrales éstas son filtradas para
p eliminar de
d la señal las
resolu
lución de 10 bitts y un tiempo óptimo de connversión que
permmite lecturas conn una frecuencia de muestreo dee 1 Khz. Por
lo quue las característticas del mismo se encuentran dde acuerdo a
las nnecesidades reqqueridas por la interfaz, ya quue las ondas
cerebbrales que se connsideran para el análisis están poor debajo de
los 400 Hz.
El diispositivo Arduino se conecta a través del puerrto USB a la
compputadora y la intteracción la realiza a través de uun protocolo
ccreado específiccamente para transmitir
t el reesultado de laa de accceder a las applicaciones FB, la primera es a través de
cconversión de laas entradas analóógicas a través de puerto USB librerrías desarrolladaas para su utiliización en PHPP, y otra es
ccuando el softwaare de la computaadora lo requieraa. mediiante una API JaavaScript. Por suus característicass y facilidad
de coonexión utilizammos esta última.
Para la implementación de este bloqque fue necesarioo instalar en
S
Software de Aná
álisis y procesam
miento de señalles digitales un hoosting con protoocolo https, requuerido para la coonexión con
EEl software insstalado en la computadora
c ess un desarrollo la ap licación FB a traavés de la API dde FB, un códigoo JavaScript
realizado en el leenguaje C# y ess el encargado de
d las funciones el cuual es el enlazaddo y ejecutado ddesde una la applicación del
qque se enumerann a continuación: bloquue anterior installada en la compuutadora.

 Gestionar laa conexión a trravés del puertto USB con ell
dispositivo externo
e Arduino, determinando y estableciendo
la velocidad de conexión y ell formato de los datos.
 Recibir los datos digitales provistos por los l conversores
A/D del Ardu uino y graficarlo
os en la pantalla.
 Establecer laa conexión con ele hosting que seerá el encargado
de la conexióón con la aplicacción de la red soccial Facebook.
La API JavaScrript de FB está en la dirección
http:///connect.faceboook.net/en_US/aall.js, una vez incorporada
en nuuestro código ess factible utilizarr funciones de validación de
sesióón de usuario y ppoder realizar innteracciones conn las cuentas
de FB B, publicando een el muro o innteractuando conn cuentas de
otross usuarios bajo determinadas ccondiciones com mo indica la
figurra 6.

AAl instalar un sooftware en la commputadora se logra incrementarr

laa potencia dee cómputo y determinar en n tiempo real
ccaracterísticas sig
gnificativas de la
l señal, tales co
omo amplitud y
fr
frecuencia de lass ondas cerebralles detectando y analizando las
vvariaciones de laas mismas.
EEn la figura 5 se muestra como es e presentada la información de
laas señales de lass ondas cerebralees de cada electrrodo a través de
uun gráfico que muestra
m la formaa de onda y cu uadros de textos
qque nos indican n numéricamentee y con diferen ntes colores los
vvalores y las varriaciones de las amplitudes, máx ximo, mínimo y
fr
frecuencia de las ondas cerebralees.

Figuraa 6: Aplicación dee Facebook de

publiccación automáticca en el muro.

33. FUNCIOM
MIENTO

Actuualmente la interrfaz desarrolladaa permite inferirr estados de

somnnolencia, vigilia,, tranquilidad, allerta y stress en llos usuarios,
Figura 4: Software
S desarro
ollado en C# de la
a interfaz. a traavés de la deteccción de variaciones de frecueencia en las
ondaas cerebrales, ppara posteriormeente realizar laa respectiva
publiicación en la reed social. Se prrevé en un futuuro próximo
CCada electrodo ubicado
u en la caabeza tiene su propio
p gráfico e poderr inferir tambiénn estados emocioonales básicos coomo alegría,
inndicadores de lo
os parámetros dee las señales, lo cual
c nos permite tristeeza e indiferenccia en base al estudio de la rrespuesta de
oobservar la evolu
ución de las señ
ñales como respu uesta a distintos distinntos usuarios a ddiferentes estímuulos.
eestímulos del usu
uario. Una vvez que el usuarrio se coloca el ggorro con los seiis electrodos
EEn base al análissis de las señaless detectadas y a su variación de y se conecta a travéss de puerto USB B, se ejecuta el software de
fr
frecuencia se innfiere, en princcipio, estados de d somnolencia, análi sis y procesaamiento de seeñales para innicializar la
vvigilia, tranquiliidad, alerta y stress; siendo estos estados comuunicación del puerto serial. Esstablecida la com municación,
ccompatibles con frecuencias de las ondas cereb brales desde 0,5 autommáticamente el ssoftware recibe los datos a de laa conversión
HHz hasta los 30 Hz. Después de d que la aplicaación detecta laa A/D realizada en eel Arduino de las ondas cereebrales para
fr
frecuencia de lasl señales lanzza en forma automática
a unaa anali zarlas y processarlas. El sistem ma de software posee un
aaplicación instalaada en la web quue permite a travvés de la mismaa algorritmo que ademáás de graficar y m medir amplitud y frecuencia
laa posterior con nexión con unaa aplicación dee la red sociall de laas ondas cerebraales nos permitee en base a esas mediciones
FFacebook (FB) que
q es la encargaada de realizar laas publicaciones enlazzar condicionalmmente una aplicaación web que sse conecta a
een forma automáática. una aaplicación de laa red social. Dee esta forma el software de
análi sis y control ppuede publicar een forma autom mática en el
muroo del FB.
Aplicaciones da la Web y de la red social
A Es neecesario aclarar que si bien es ccierto que la inteerfaz infiere
los e stados anteriorm
mente nombradoos con alto gradoo de certeza,
L mo una interfaz intermedia paraa
La aplicación weeb se utiliza com
la mmisma tiene quee ser calibrada en forma mannual para el
aacceder a la red social FB. Exissten principalmeente dos formas
usuarrio. Se prevé quue con un mayoor número de prruebas sobre
ddiferentes usuarrios la implem
mentación por software
s de laa emocciones y sentimiientos que los m
mismos experim
mentan en el
ccalibración. trans curso de la clasee.
EEn la figura 7 see puede observarr el prototipo dee la interfaz, los Utilizzar una herramiienta tecnológicca que nos permmita detectar
eelectrodos, los amplificadores, el Arduino y el sistema de emocciones o cambioos emocionales een los educandoos puede ser
software. aplic ada para la reestructuracióón de una pplanificación
preesstablecida con el objeto de optimmizar recursos y mejorar el
rendiimiento académiico.

Incorrporación de em
mociones en mu
undos virtuales 3D
Por ootro lado existenn entornos virtuuales de mundoss 3D, en los
cualees cada usuario ttiene una repressentación gráficaa inmersa en
el muundo virtual llam mado avatar. El aavatar es una reppresentación
icóniica del usuario, un modelo que carece de repreesentatividad
emoccional del mism mo, esto significca que el usuariio no puede
transmmitir su estadoo emocional a ttravés de su reppresentación
icóniica, es por elloo que se pretennde desarrollar uuna interfaz
(harddware-software) que permita adicionar al avatar una
anim
mación en representación del esttado anímico del usuario en
respuuesta a la actividdad neuronal de ssu propio organiismo.
Figura 7:
7 Interfaz neuronal Hardware/So
oftware
Interrfaz gráfica adaaptativa de acu
uerdo al estadoo emocional
del u
usuario
4. TRAB
BAJO A FUTU
URO DE LA INT
TERFAZ
NEU
URONAL Una interfaz que detecta estados emocionales puede ser
utilizzada por los sisteemas informáticcos para adaptar una interfaz
CCon el uso de esta
e interfaz se podrá incorporrar en el futuro gráficca a los estados emocionales de los usuarios, poor ejemplo si
ppróximo aplicaciiones a las redes sociales y entorrnos virtuales de el si stema detecta uun alto grado de ansiedad enn el usuario
aaprendizajes que incorporen el estado anímico de d los usuarios y produucto de la complejidad de la interfaz gráfica, essta puede ser
dde esta forma ag
gregar un parámeetro más al perffil de quienes se reemmplazada, en tieempo real, por una menos com mpleja, mas
eencuentran regisstrados y así ex xtender las funccionalidades de intuittiva, con menoor cantidad de funciones paraa un mejor
eestas redes a campos relacio onados con la neurociencia o entenndimiento y utiliización por partee del usuario.
innteligencia emoccional. Tambbién sería posible la implem mentación de ssistemas de
EEs necesario desstacar que esta interfaz
i se encu
uentra en estado softw
ware que recomiienden lecturas o películas a ussuarios para
eexperimental, co
on un prototipo desarrollado caapaz de detectarr contrrarrestar estados emocionales dee tristeza o depreesión.
eestados de somnoolencia y estrés. Actualmente esstá en desarrollo En eel de sistemas dde entretenimiennto también pueede tener su
laa detección dee patrones de señales
s de acuuerdo al estado aplic abilidad una interfaz de la naturraleza propuestaa, dotar a los
eemocional. avataares en los juegoos de rol de unaa animación prooducto de un
EEn un futuro estte tipo de interffaces permitirán
n poder detectarr estaddo de excitaciónn o somnolenciaa del usuario puuede agregar
eemociones y utillizarlas en el caampo de la med dicina pudiendo un aatractivo más m motivador a essta los producttos de esta
aayudar a quienees padecen enfeermedades como la depresión, indusstria.
ddiagnosticando patologías
p neurronales a través de las redes
sociales.

d emociones a las plataformas virtuales de
IIncorporación de
aaprendizajes
UUna de las desveentajas de los enntornos virtualess de aprendizaje
ees que a través de
d estas plataforrmas no hay un contacto visuall
eentre el educad dor y el educaando que perm mita inferir las
eemociones que están
e sintiendo ambos en el traanscurso de unaa
cclase. Con el deesarrollo de unaa interfaz que detecta
d cambios
eemocionales en los
l usuarios de estas
e plataformass y transmitirlos
a través de red des de datos y ser visualiizados por los
innterlocutores quue participan enn las plataformmas virtuales de
aaprendizajes, esttaríamos potenciiando el uso y la aplicabilidad d
dde estas plataform
mas, aumentand do las capacidades de desarrollo
dde los usuarios. En definitiva ala lograr a travéés del diseño y
ddesarrollo de un na interfaz emo ocional para seer utilizadas en n
pplataformas virtu
uales de aprendizzajes, es subsanaar los problemas
qque se generan al no tener un n contacto pressencial con los
eeducandos y no o poder percibirr a través de ese contacto las
55. CONCLUS
SIONES
La inncorporación de estados emocioonales a los mennsajes que se
transmmiten a travéss de las redess sociales impplica mayor
inform
rmación para unna mejor interpretación de esoos mensajes.
Las emociones conndicionan el conntexto de quienn envía los
menssajes y la interprretación de quienn lo recibe. Esto no se limita
en laa aplicación dee las redes socciales sino tambbién en los
entorrnos virtuales de aprendizaajes y la inddustria del
entreetenimiento a traavés de los juegoos de rol en 3D.
Si bieen es cierto que el prototipo estáá diseñado para ser aplicado
en laa red social FB, también puede ser utilizado en otras redes,
comoo la Twitter, ya que la misma ttambién provee entornos de
desarrrollo con la possibilidad de realizar publicacionnes en forma
autommática.
No se puede dejar dde lado todos laas discusiones ééticas que se
puedden generar a paartir de exteriorizzar y dejar eviddencia de las
emociones de los usuarios en una red social o en un sistema for the ecg. IEEE Transactions on Biomedical Engineering,
informático. En la defensa del presente proyecto se puede 28(10), 1981.
agregar a la propuesta de la utilización de la interfaz este
habilitado con el permiso del usuario y para los fines que fue [14] J.J. Segura, D. Cuesta, L. Samblás, and M. Aboy. A
desarrollada. microcontroller-based portable electrocardiograph recorder.
IEEE Transactions on Biomedical Engineering, 51(9):pp. 1686–
También es necesario aclarar, en defensa de los profesionales de 1690, 2004.
la medicina, que por más desarrollo e investigación con las
tecnologías actuales no será posible una certeza absoluta en la [15] J.J. Segura, D. Cuesta, L. Samblás, and M. Aboy. A
inferencia de estados emocionales partiendo únicamente de la microcontroller-based portable electrocardiograph recorder.
actividad eléctrica del cerebro, puesto que existen diferentes IEEE Transactions on Biomedical Engineering, 51(9):1686–
factores biométricos, químicos y/o psicológicos que influyen en 1690, 2004.
los estados emocionales que aún no se pueden medir ni [16] P. Smyth. Hidden markov models for fault detection in
contrastar. dynamic systems. Pattern Recognition, 27(1):149–164, 1994.
[17] H. Spath. Cluster Analysis Algorithms. Ellis Horwood,
1980. 22. L. Sörnmo. Time-varying digital filtering of ecg
baselinewander. Medical and Biological Engineering and
6. REFERENCIAS Computers, pages pp. 503– 508, 1993.
[18] J.C. Stiller and G. Radons. Online estimation of hidden
[1] B.K. Ray and K.S. Ray. An algorithm for polygonal markov models. IEEE Signal Processing Letters, 6(8):213–215,
approximation of digitised curves. Pattern Recognition Letters, 1999. 24. S. Suppappola and Y. Sun. Nonlinear transforms of
13:pp. 489– 496, 1992. ecg signals for digital qrs detection: A quantitative analysis.
IEEE Transactions on Biomedical Engineering, 41(4):pp. 397–
[2] Campazzo E., Martínez M., Guzmán A. y Agüero L. “De la 400, 1994.
Presencialidad a la Interacción Virtual 3D” 2010
[19] Premeaux E. and B. Evans. Arduino Project to Save the
[3] Campazzo E., Martínez M., Guzmán A. y Agüero L. ”El world. Technology in Action. 2010
tutor y su rol en los mundos tridimensionales en la WEB 3.0”
2010. [20] Puy, M; Larrainzar,A; Escudero Herrera, C; Santamaria
Gonzalez, ,F. “El mundo virtual: Second life y su aplicación a la
[4] Campazzo E., Martínez M., Guzmán A. y Agüero L. “La enseñanza del derecho”. Universidad a distancia de Madrid.
diversidad de aprendizxajes con la evolución de la WWW. Del 2008.
modelo estático plano WEB 1.0 al tridimensional interactivo,
corpóreo y persistente de la WEB 3.0” - 2010. [21] Roldan, Marcelo F. Neuro Aprendizaje Sometido a
Estímulos de Riesgos. Trabajo final de la carrera licenciatura en
[5] DAVID CUESTA FRAU. Estudio de métodos para análisis de sistemas. UNLaR. 2005
procesamiento y agrupación de señales electrocardiográficas.
Departamento de Informática de Sistemas y Computadoras  
(DISCA). Universidad Politécnica de Valencia. 2001
[6] D. CUESTA FRAU, D. NOVAK, M. LLORCA ALCÓN
.Reducción del ruido en señales electrocardiográficas mediante
la transformada Wavelet. UPV. Czech Technical University in
Praga, Republica Checa.2000
[7] DONOHO D. De-noising by soft-thresholding, IEEE Trans.
Information Theory, vol. 41, num. 3, 1995.
[8] ENRIQUE. ECG Front-End design is simplified with
Microconverter. AnalogDevices Company-Bosch. 2003.
[9] GERTZ E., P. DI JUSTO. Environmental Monitoring with
Arduino. O REILLY. 2012.
[10] H. CAICEDO, G. SALGADO, H. LOAIZA, E.
CAICEDO, J. CITELLI. Herramienta de Captura y
Procesamiento Digital de Señales Electrocardiográficas.
Escuela de Ingeniería Eléctrica y Electrónica. Universidad
del Valle Cali, Colombia. 2005.
[11]NATIONAL SEMICONDUCTOR. National Power ICs
Databook.1995.
[12] I. Rezek and S.J. Roberts. Learning ensemble hidden
markov models for biosignal analysis. In 14th International
Conference on Digital Signal Processing, Greece, 2002.
[13] D.E Rumelhart and D. Zipser. Feature discovery by
competitive learning. Cognitive Science, 9:75– 112, 1986. 13.
L. Sörnmo, P.O. Börjesson,M.Ñygards, and O. Pahlm. Amethod
for evaluation of qrs shape features using a mathematical model