LNR Ingles Teoria (1) - 4

Machine Translated by Google
Ejemplo
Fecha Entidad
Titular de opinión
Publicado por: Juan Smith

Fecha: 10 de septiembre de 2016
Compré un teléfono Samsung Galaxy hace una semana. Simplemente me encanta.

La calidad de la cámara es asombrosa. La duración de la batería también es larga.
Aspecto de la entidad Aspecto de la entidad
Opinión sobre el aspecto Opinión sobre el aspecto

Niveles de análisis de opinión
A. Nivel de documento
– Clasificar un documento completo como expresión
de un sentimiento positivo o negativo
B. Nivel de oración
– Determina si cada oración expresa una opinión
positiva, negativa o neutral
C. Nivel de aspecto
• El nivel de aspecto realiza un análisis más detallado y
determina el sentimiento hacia diferentes aspectos
Análisis de nivel de documento

A.Análisis de opinión a nivel de documento
• Suposición:
• Cada documento se enfoca en un solo objeto (no es cierto en la
mayoría de los casos)
• Cada documento contiene la opinión de un solo titular de

opinión (no es cierto en la mayoría de los casos)
• Estas suposiciones pueden ser ciertas en muy poco tiempo

documentos como tweets pero no tanto en documentos más
largos
– Tarea 1: identificar si el documento tiene opiniones
– Tarea 2: determinar la polaridad del documento
Análisis de nivel de oración
B. Análisis de sentimiento a nivel de oración

• Suposición: una oración contiene solo una opinión
(no es cierto en muchos casos)
– Tarea 1: identificar si la oración es obstinada –
Tarea 2: determinar la polaridad de la oración
“Donald John Trump fue elegido el 45°

“¡Esta es una camisa hermosa!” presidente de los Estados Unidos el martes”
¿Es esta oración subjetiva/objetiva? ¿Es esta oración subjetiva/objetiva?

¿Es positivo, negativo o neutral? ¿Es positivo, negativo o neutral?
Análisis de nivel de aspecto

C. Análisis de opinión a nivel de aspecto/característica
• Objetivo: identificar la opinión expresada hacia los
diferentes aspectos
• Tarea 1: Identificar y extraer aspectos del objeto que hayan sido
comentados por un titular de opinión (p. ej., "imagen", "duración
de la batería").
• Tarea 2: Determinar la polaridad de opiniones sobre aspectos
Entidad
• Tarea 3: Sinónimos de aspectos de grupo

Publicado por: Juan Smith
Fecha: 10 de septiembre de 2016
Compré un teléfono Samsung Galaxy hace una semana. Simplemente me encanta. La

calidad de la cámara es increíble. La duración de la batería también es larga.
Aspecto de la entidad Aspecto de la entidad
Opinión sobre el aspecto Opinión sobre el aspecto

Enfoques de análisis de sentimiento
Análisis de los sentimientos

Enfoques
Sin supervisión, por ejemplo: supervisado Semi-Supervisado por ejemplo:
patrón de PNL, léxicos por ejemplo: SVM, Naive léxico+clasificador
Bayes, etc. (con diferentes

características como etiquetas
POS, frases de palabras)
Características
una. Características sintácticas
b. Características semánticas
C. Características estilísticas
Aproximaciones no supervisadas
• No se requieren datos de entrenamiento
• También conocidos como enfoques basados en el léxico.
• Confíe en recursos léxicos externos que asocien una puntuación de

polaridad a cada término; el sentimiento del contenido depende
del sentimiento de los términos que lo componen
hermoso, bueno,
excelente, etc.
terribles, dañinas, etc.

Léxicos de sentimientos
• Léxicos de sentimientos: listas de palabras y

expresiones utilizadas para expresar sentimientos subjetivos
y sentimientos/opiniones de las personas
– No solo palabras individuales, sino también frases y modismos,
por ejemplo, "cuesta un brazo y una pierna"
– Positivo: hermoso, maravilloso, bueno, increíble, –

Negativo: malo, pobre, terrible, cuesta un ojo de la cara
• Tres formas principales de construir dichos léxicos:
1. Manual de léxicos
2.Léxicos basados en diccionarios
3.Léxicos basados en corpus
18
Léxicos de sentimiento: 3 tipos diferentes
Sentimiento Léxicos
lista simple Puntuaciones Numeros reales
excelente malo excelente +2 malo -2 terrible 1.000 1.000

pobre incorrecto
bien terrible bueno +1 -3 malcriado rosado 0.875 0.999
bendecido malcriado perfecto +5 -2 -2 bendito 0.855 malcriado 0.989
Perfecto horrible bendito +3 pobre perfecto brillante 0.804 miserable 0.918
… … … … … …
Ventajas desventajas
• Ventajas:
– Bastante preciso independientemente del medio
– Sin necesidad de corpus de entrenamiento
– Ampliable fácilmente a nuevos dominios con efectos afectivos adicionales
palabras
– Fácil de racionalizar el resultado de la predicción y de explicar
– A menudo se utiliza en la recuperación de opiniones (ver más adelante)
• Desventajas:
– En comparación con los modelos de ML bien entrenados en el dominio, generalmente tienen
un rendimiento inferior
– Sensible a la cobertura del diccionario afectivo (es decir, ¡depende mucho del tema!)
20

Enfoques

Características
Enfoque supervisado
• Paradigma de “aprender con el ejemplo”
• Proporcionar un algoritmo con muchos ejemplos.
• Documentos que han sido manualmente/ semi
anotado automáticamente con una categoría, por ejemplo,
críticas positivas/negativas/neutrales
– El algoritmo extrae patrones característicos para cada categoría y
construye un modelo predictivo
– Aplicar modelo a texto nuevo -> obtener predicción
• Cosas a tener en cuenta:

– Utilice algoritmos clásicos de aprendizaje automático (p. ej., SVM, Naïve
Bayes, Maximum Entropy)
– ¡El enfoque se centra principalmente en modelar mejor los documentos
-> diseñar mejores características!
• Mejorar/reemplazar el enfoque estándar de bolsa de palabras
• Puede ser capacitado en temas muy específicos
Enfoque supervisado
• Enfoque supervisado típico que utiliza “saco

de palabras”:
23
Recordatorio: bolsa de palabras
• Las funciones son representación de bolsa de palabras (es

decir, un documento es un vector)
- Ejemplo:
d1=“bueno promedio excelente bueno”
d2=“bien bueno promedio bien”
d3=“bien bien bien”
– Vocabulario={“bueno”, “promedio”, “excelente”, “bien”,
“bien”} y d1 se representará como: – d1={2,1,1,0,0} si las
características son frecuentes- basado o – d1={1,1,1,0,0} si
está basado en booleanos
• Problemas:
– Se pierde el orden de las fichas (¡vea el problema más adelante en el
caso de la recuperación de opiniones!)

Enfoques

Características
Enfoque supervisado (básico)
1. Obtenga documentos anotados manualmente del dominio que le interesa (es decir,
corpus de capacitación).
– por ejemplo, críticas positivas y negativas de productos electrónicos
2. Entrene a cualquier clasificador estándar usando una bolsa de palabras como
características » Clasificadores típicos: máquinas de vectores de soporte (SVM), Naïve Bayes, máxima entropía
» Usar características booleanas no basadas en frecuencia
3. Aplicar un clasificador entrenado para probar el corpus o la aplicación
– Si desea predecir una calificación, por ejemplo, 1-5 estrellas:

» Igual que el anterior, pero use una clasificación o regresión multiclase
» Regresión lineal, regresión de vector de soporte
– La principal diferencia es que necesitamos especificar cuidadosamente las características en las que centrarnos
Características sintácticas
• A. Características sintácticas
– Principios y reglas para la construcción de oraciones en natural
idiomas
• Uso diferente de características sintácticas:

POS+puntuación Patrón de punto de venta Modificadores
Etiquetas y puntuación POS (parte del Patrones de n-gramas de POS Usó un conjunto de características modificadoras (p. ej.,
discurso) “This_DT is_VBZ a_DT love_NN muy, en su mayoría)
por ejemplo: una oración que contiene un película_NN.” la presencia de estas características indica la
adjetivo y “!” podría indicar la existencia de patrones como "n+aj" (sustantivo seguido de +ve presencia de evaluación
una opinión adjetivo) - representa un sentimiento positivo “..esta cámara es muy útil”
“¡El libro es genial!”
patrones como "n-aj" (sustantivo seguido de -ve
adjetivo) - expresa negativa
sentimiento
Características semánticas
• B. Características semánticas
– Aprovechar el significado de las palabras.
– Se puede hacer de forma manual/semi/totalmente automática
• N-gramas de orden superior (por ejemplo, bi-gramas)

• “La película no fue muy buena, en realidad” (negación para invertir la
polaridad)
• Bi-gramas: (La_película) (película_era) (no_era) (no_muy)
(muy_buena) (buena_realmente)
• Captan características como: was_not (negación), very_good
(intensificadores)
Características estilísticas
– Incorporar estudios estilométricos / de autoría en
clasificación de sentimientos, por ejemplo, Estudie el estilo de autoría
del blog de "Estudiantes vs Profesores"
Incluye:
– Lenguaje de argot – “Mi iPhone acaba de llegar. JAJAJA"

”
– Uso de emoticonos – “Mi nuevo iPhone es genial ÿ
– Hashtags – “¡Madonna es increíble!
#madonnaImpresionante”
– Alargamiento enfático – “¡Sí, claro!”
– Uso extensivo de signos de puntuación – “¡Verano
ya!!!!!!!!!!!!!!!”
Ventajas desventajas
• Ventajas:
– Buena precisión predictiva
• Desventajas:
– Necesidad de un corpus de entrenamiento muy específico
Solución: extracción automatizada (p. ej., reseñas
de Amazon , Rotten Tomatoes) o crowdsourcing del
proceso de anotación (p. ej., Mechanical Turk)
– Sensibilidad de dominio
Solución: entrenar muchos modelos específicos de dominio
Recuperación de opinión
La recuperación de documentos que tratan sobre un tema

y que expresan una opinión sobre ese tema.
Compáralo con la recuperación de información clásica:

Recuperación de información Recuperación de Opinión
buscar temas reales búsqueda de opiniones / temas de opinión
clasifique las páginas de acuerdo con los clasifique las páginas según su relevancia para el
puntajes de relevancia temática y (tal vez) tema y el contenido de la opinión
alguna autoridad
Tarea de recuperación de opinión
• Tarea: localizar publicaciones de blog que expresen una opinión sobre un objetivo/
tema determinado
– objetivo: cualquier entidad nombrada, por ejemplo, persona, ubicación, organización, concepto, evento
• “¿Qué piensa la gente sobre X?”
• Ejemplo de tema de la pista TREC Opinion Retrieval:
<arriba>
<num>Número: 930</num>
<título>ikea</título>
<desc>Descripción:Buscar opiniones sobre los productos de Ikeao</desc>

<narr>Narrativa: las recomendaciones para comprar en Ikea son relevantes para las opiniones. Recomendaciones de Ikea
los productos son relevantes para las opiniones. Las imágenes en un sitio relacionado con Ikea que no están relacionadas con la tienda o
sus productos no son relevantes.</narr>
</arriba>
Pasos para la recuperación de opiniones
Consulta esquema estándar de

recuperación y clasificación
Recuperación
Documentos clasificados
-tf*idf
-modelo de lenguaje
-probabilidad +
reclasificación/filtro
Clasificado
obstinado
relacionado con la opinión Opinión
documentos -basado en diccionario
-clasificación de texto
Análisis
-lingüística
=
Opinión
Recuperación
Pasos para la recuperación de opiniones
• Primera etapa
• Los documentos se clasifican en función de su relevancia temática • Utilice
sistemas de recuperación y modelos de ponderación listos para usar • Esquema de
clasificación TF*IDF, enfoques de modelado de lenguaje, enfoques probabilísticos
• Segunda etapa
• Resultados reclasificados o filtrados aplicando una o más heurísticas para detectar
opiniones
• La mayoría de los enfoques utilizan una combinación lineal de puntuación de relevancia y puntuación de opinión para
clasificar los documentos, por ejemplo:
*
( , )QD
* puntuación (1 una puntuación
ÿÿ
) ( , QDÿ ÿuna
de_relevancia ) puntuación _de opinión
( , QD )
La puntuación_relevancia se puede estimar mediante algoritmos IR estándar (LM, BM25,...).
• Cómo estimar opinion_score

– Enfoque inicial: soluciones basadas en léxico o aprendizaje automático
Proximidad para la recuperación de opiniones
• ¿Cómo estimamos el opinion_score(Q,D)?
*
( , )QD
* puntuación (1 una puntuación
ÿÿ
) ( , QDÿ ÿuna
de_relevancia ) puntuación _de opinión
( , QD )
• Todas las opiniones expresadas en un documento no

necesariamente se refieren a la entidad en la consulta
– una publicación de blog puede referirse a múltiples entidades
– una revisión puede comparar múltiples productos

• ¿Cómo podemos capturar la relación entre los
términos de consulta y la opinión?
– Mejor solución: considere la distancia entre la consulta
términos y palabras afectivas
la idea basica
¿La opinión expresada en este blog es relevante para ”Munich” ?
Palabras en verde = tema

Palabras en azul = opinión
La idea básica (continuación)
… ¿O está más bien relacionado con "Brokeback Mountain" ?
Palabras en rojo, verde y naranja = temas

Palabras en azul = opinión
La idea básica (continuación)
bonito
discusión
pesada
bonito
discusión
pesado
bonito
discusión
pesado
Seguimiento de la distribución de los

Densidad de opinión: P(o|i,d)
Seguimiento de opiniones
• La recuperación de opiniones se puede utilizar para otros

desafíos, por ejemplo:
1.Podemos rastrear opiniones a lo largo del tiempo
2. Podemos realizar un seguimiento de los cambios de opinión a lo largo del tiempo.
3.Podemos determinar qué pudo haber causado

un cambio de opinión
Ejemplo de seguimiento de opiniones
Tema: “Michele Obama arruinó nuestro

almuerzo” (5 de mayo de 2016)
Relacionado con el cambio de Michele Obama en el programa de almuerzos escolares que los
estudiantes no apreciaron
con retuits
sin retuits
Eventos:
Día Sentimiento Potencial Razón
5May negativo MichelleObamaruinuinourlunch
12May negativo MichelleObamagaveatalkand

menciona el racismo
2 de junio positivo ¡Michelle Obama responde a Kanye!
8 de noviembre negativo Michelle

Obamadragherniñosduranteunaentrevista
40
Seguimiento de la opinión pública
Política
Seguimiento de la opinión pública en Twitter

para la palabra clave “leche”.
Mercado
El pico se produce el 04/08/2011, después de
una serie de muertes en China relacionadas
con la mala calidad de la leche
Desafíos del análisis de sentimientos
• Lenguaje figurativo: por ejemplo, ironía y sarcasmo
• Lenguaje engañoso: por ejemplo, reseñas falsas

Lenguaje figurativo: ironía y sarcasmo
• Motivación
• Impacto: análisis de sentimiento, reputación, seguridad

• Ironía versus humor • Ironía versus no ironía • Ironía
versus sarcasmo • Algunos enfoques
• El papel del contexto

Motivación
• Análisis de sentimiento
• Reputación
Reyes A., Rosso P. Sobre la dificultad de detectar automáticamente la ironía: más allá de un simple caso de neg
Sistemas de Información y Conocimiento 40(3):595-614, 2014
Maynard D., Greenwood MA ¿A quién le importan los tuits sarcásticos? Investigando el impacto del sarcasmo en
el análisis de sentimiento. En: Proc. LREC, 2014
Hernández I., Rosso P. Ironía, sarcasmo y análisis de sentimiento. Capítulo 7 En: Análisis de sentimiento en redes
sociales, FA Pozzi, E. Fersini, E. Messina y B. Liu (Eds.), Elsevier Science and Technology, pp. 113-128, 2016.
Motivación
• Análisis de
sentimiento •
Reputación • Marketing
• Ciberseguridad
• Salud: mecanismo de alivio del estrés…
• ¡Divertida!

SemEval-2014 Tarea 9 sobre SA en Twitter
Sistema Twitter2014 Twitter2014 -Sarcasmo
EquipoX 70.96 56,50 (3º)

genial 70.14 46.66 (14)
RTRGO 69.95 47.09 (23)
NRC-Canadá 69.85 58.16 (1º)
TUGAS 69.00 52,87 (12º)
CISUC_KIS 67.95 55.49 (5º)

NAVEGAR 67.77 57.26 (2º)
EL CHOCOLATE SUIZO 67.54 49.46 (16)
Synalp-Empatico 67.43 51.06 (15)
Piensa positivo 67.04 47.85 (21)


SemEval-2015 Tarea 10 sobre SA en Twitter
Sistema Twitter2015 Twitter2015 -Sarcasmo
Webis 64.84 53.59 (22)

unidad 64.91 55.01 (19)
islif 64.27 46.00 (33)
INESC-ID 64.17 64.91 (2º)
plusplus 63.73 60.99 (7º)
wxiaoac 63.00 52.22 (26)
OIA 62.62 65.77 (1º)
El chocolate suizo 62.61 54.66 (20)
ClaC-SentiPipe 62.00 58.55 (9º)
TwitterHalcón 61.99 61.24 (6º)
Hernández I., Rosso P. Ironía, sarcasmo y análisis de sentimiento. Capítulo 7 En: Análisis de sentimiento en las redes social
Networks, FA Pozzi, E. Fersini, E. Messina y B. Liu (Eds.), Elsevier Science and Technology, págs. 113-128,
2016.
Reputación
• Nuevo eslogan de Toyota; seguir adelante (incluso si no quieres);
jajajaja :)
• 'Toyota; avanzando.' Sí, porque tienes frenos defectuosos y

aceleradores atascados. :PAGS
• ¡Mi carro se rompió! ¡Nooooooooooo! Compré un Toyota para

que no se descompusiera. :(
• CERN reclutando ingenieros de Toyota para más

mejoras a su acelerador de partículas :P IamconCERNed
Reyes A., Rosso P., Veale T. Un enfoque multidimensional para detectar la ironía en Twitter. Idioma
Recursos y Evaluación 47(1):239-268, 2013.
Marketing: críticas irónicas y viralidad

La seguridad cibernética
• ¿Amenaza terrorista?
A dos irlandeses se les negó la entrada a los Estados Unidos después de twittear
que iban a "destruir" Estados Unidos

http://abcnews.go.com/Blotter/pair-held-twitter-homeland
Threat-Mix-Reports/Story?id=15472918 (30 de enero de 2012)
que iban a "destruir" Estados Unidos http://

abcnews.go.com/Blotter/pair-held-twitter-homeland Threat-Mix-
Reports/Story?id=15472918 (30 de enero de 2012)
• Servicio Secreto busca detector de sarcasmo en Twitter
http://www.bbc.com/news/technology-27711109 (5 de junio de 2014)
que iban a "destruir" América

http://abcnews.go.com/Blotter/pair-held-twitter-homeland
amenaza-mix-reports/story?id=15472918 (30 de enero de 2012)
• Servicio Secreto busca detector de sarcasmo en Twitter
http://www.bbc.com/news/technology-27711109 (5 de junio de 2014)
http://www.washingtonpost.com/blogs/the fix/
wp/2014/06/03/the-secret-service-wants-software-that detecta-
social-media-sarcasm-yeah-sure-it-will- trabajar/
• Oficina de Investigación del Ejército (ARO) - subvención 64481-MA / W9111F-13-1-0406
Español - PNL sociolingüísticamente informada: Automatización de la detección de ironía
• Fondo Nacional de Investigación de Qatar Research (QNRF) - NPRP 9-175-1-033

Arábica
• ¿Mensaje engañoso? •
¿Mensaje irónico?
En caso de una amenaza potencial: •
Elaboración de perfiles de género • Elaboración
de perfiles de edad • Elaboración de perfiles de
lengua materna • Elaboración de perfiles de
variedad lingüística
¿Humor o ironía? algunos patrones

Ambigüedad:
ÿ El cambio es inevitable, excepto en una máquina expendedora .
Inesperado: ÿ Estoy en una dieta de treinta días. Hasta ahora, he
perdido 15 días Ambigüedad sintáctica: ÿ Los niños en la parte trasera
del automóvil causan accidentes, pero los accidentes en la parte

trasera del automóvil causan niños
Oposición: ÿ
El amor es ciego, pero el matrimonio es una verdadera revelación [ironía]
Incongruencia:
ÿ A veces necesito lo que solo tú puedes brindar: tu ausencia [ironía]
Mihalcea R. Strapparava C., Risa computacional: reconocimiento automático de frases ingeniosas humorísticas.
proc. 27 de enero. Conf. Sociedad de Ciencias Cognitivas (CogSci 2005), 2005.
¿Humor o ironía? ¿Algún patrón?

ÿ ¡Jesús salva, ya los precios de hoy eso es un milagro! ÿ Puede
que las drogas no lleven a ninguna parte, pero al menos es una ruta
escénica ÿ Conviértete en un programador de computadoras y nunca vuelvas a
ver la palabra ÿ Mi soft nunca tiene errores, solo desarrolla características
aleatorias ÿ El sexo es una de las nueve razones de la reencarnación, las otras ocho son
sin importancia
ÿ No te preocupes por lo que piense la gente. No lo hacen muy a menudo. ÿ Tengo
un cuerpo de dios... por desgracia es Buda
Gibbs RW, Bryant GA, Colston HL ¿Dónde está el humor en la ironía verbal? Humor 27(4):575-595, 2014
Reyes A., Rosso P., Buscaldi D. Del reconocimiento del humor a la detección de la ironía: el lenguaje figurativo
de las redes sociales. Ingeniería de datos y conocimiento 74:1-12, 2012
¿Humor o ironía? ¿Algún patrón?

ÿ ¡Jesús salva, ya los precios de hoy eso es un milagro! [ambigüedad]
ÿ Puede que las drogas no lleven a ninguna parte, pero al menos es una ruta escénica
[debilidad humana]
ÿ Conviértete en un programador de computadoras y nunca vuelvas a ver la
palabra [tema / comunidad]
ÿ Mi software nunca tiene errores, solo desarrolla características aleatorias
[tema / comunidad]
ÿ El sexo es una de las nueve razones de la reencarnación, las otras ocho son
sin importancia [idioma]
ÿ No te preocupes por lo que piense la gente. No lo hacen muy a menudo.
[ironía]
ÿ Tengo un cuerpo de dios… por desgracia es Buda [ironía]
Gibbs RW, Bryant GA, Colston HL ¿Dónde está el humor en la ironía verbal? Humor 27(4):575-595, 2014
Reyes A., Rosso P., Buscaldi D. Del reconocimiento del humor a la detección de la ironía: el lenguaje figurativo de
Redes sociales. Ingeniería de datos y conocimiento 74:1-12, 2012
¿Ironía o no ironía? Esa es la pregunta

1. Es bueno escuchar los problemas de otras personas. Porque te darás cuenta de que tus problemas son pequeños
en comparación con ellos.
2. ¿Cuándo me di cuenta de que era Dios? Bueno, estaba rezando y de repente me di cuenta de que estaba hablando con
mí mismo.
3. Abogado: ¿Bebe cuando está de servicio?; Testigo: No bebo cuando estoy de servicio,
a menos que venga de servicio borracho.
4. @pwr: ¿Quieres que tu computadora vaya muy rápido? - ¡Tíralo por la ventana! :) 5. @delprado: Sin
perdedores, ¿dónde estarían los ganadores?
6. Siguen hablando de diversidad y cada una de las 500 personas aquí es blanca....
7. La chica del pelo alternativo, el novio alternativo y la mochila con 'FUCK THE
SYSTEM' tippexed está bebiendo un Starbucks.
8. Compañeros de habitación vegetarianos hablando de desconectarse si están en coma porque

no quiero ser vegetales.
9. Quiero agradecerle a mi esposo por darme este molesto resfriado. Te amo.
10. @sugayiffer Compra más RAM, chica :P
11. Me encanta volver a casa después de unas largas vacaciones y encontrar caca de perro en mi habitación...
12. Tener la sensación de ser ignorado simplemente genial

¿ Ironía o no ironía? Esa es la pregunta

1. Es bueno escuchar el problema de otras personas .. Porque te darás cuenta de que tus problemas
son pequeños en comparación con ellos
2. ¿Cuándo me di cuenta de que era Dios? Bueno, estaba rezando y de repente me di cuenta de que estaba habland
a mí mismo.



Reyes et al.
• Firmas: Puntuosidad (marcadores tipográficos: puntuación o
emoticonos); Contrafactualidad (marcadores discursivos: adverbios que
implican negación: sin embargo); Compresión temporal: oposición en el tiempo
(adverbios de tiempo: de repente, ahora).
• Inesperabilidad: Desequilibrio temporal (oposición en un mismo documento);

Desequilibrio contextual (inconsistencias dentro de un contexto - semántica
relación).
• Estilo: Caracteres n-gramas (c-gramas); Saltar n-gramas (s-gramas); Polaridad

s gramos (ps-sgrams).
• Contextos emocionales (Whissel Dictionary of Affective Language: DAL):

Activación (grado de respuesta que tienen los humanos ante un estado
emocional); Imágenes (lo difícil que es formar una imagen mental de una palabra da
Agradabilidad (grado de placer que producen las palabras).
Barbieri y Saggion
• Frecuencia: brecha entre palabras raras y comunes (frecuencia de uso de
palabras: American National Corpus) • Estructura: longitud, puntuación,
emoticones
• Sentimiento: brecha entre palabras positivas y negativas
(SentiWordNet)
• Ambigüedad: ambigüedad de palabras (WordNet)
• Sinónimos: frecuencia de sinónimos comunes frente a raros (WordNet
y ANC)
• Escrito-hablado: uso del estilo escrito-hablado (ANC)
• Intensidad: intensidad de los adjetivos y adverbios de Potts;
escala basada en calificaciones de estrellas en revisiones de servicios
y productos (http://www.stanford.edu/~cgpotts/data/wordnetscales/)
Modelo IDM: Hernández et al.
Características
Basado en estadísticas basado en léxico
Marcadores textuales Valor emocional
contrafactualidad Similitud semántica
Compresión Temporal Puntuación de sentimiento
Polaridad Valencia
• Valor emocional: activación, imaginería, placer

• Puntuación de sentimiento: brecha entre palabras positivas y negativas
• Valencia de polaridad : grado de polaridad (léxico AFINN)
Detección de ironía
Ironía-Educación Ironía-Humor Ironía-Política

Reyes et al. (REV 2013) 0.70 0.76 0.73
Barbieri & Saggion (taller EACL 2014) 0.73 0.75 0.75

Hernández et al. (IbPRIA 2015) 0.78 0.79 0.79
Resultados en el conjunto de datos de Twitter usando un árbol de decisión
Reyes A., Rosso P., Veale T. Un enfoque multidimensional para detectar la ironía en Twitter. Idioma
Recursos y Evaluación 47(1):239-268, 2013.
Barbieri F. y Saggion H. Ironía. Modelando ironía en Twitter, Proc. del Taller de Investigación Estudiantil en
la 14ª Conf. del Capítulo Europeo de la Asociación de Lingüística Computacional (EACL), pp. 56-64,
Gotemburgo, Suecia, 2014.
Hernández I., Benedí JM, Rosso P. Aplicación de características básicas del análisis de sentimiento en la ironía automática
Detección. En: Proc. VII Conf. Ibérica. sobre reconocimiento de patrones y análisis de imágenes (ibPRIA), patrones
Reconocimiento y análisis de imágenes, Springer-Verlag, LNCS(9117), págs. 337-344, 2015.
El modelo EmotIDM
EmotIDM: IDM + información afectiva (78 funcionalidades)
– Características estructurales :
• Signos de puntuación, etiquetas POS, marcas de Twitter, emoticonos, lenghtWords,

lenghtChars, similitud semántica, …
– Rasgos afectivos :
1. Características de sentimiento:
– Léxicos: AFINN, Hu& Liu, SentiWordNet, EffectWordNet, Subjetividad Lexicon,

SenticNet, Emolex (polaridad)
2. Rasgos afectivos de grano más fino ( modelo categórico):
– Recursos léxicos: Emolex (ocho emociones primarias de Plutchik),

EmoSenticNet (seis emociones de Ekman), SentiSense, LIWC
3. Características afectivas de grano más fino ( modelos dimensionales ):
– Recursos léxicos: DAL (Diccionario Whissel), ANEW, SenticNet

Resultados: IDM vs EmotIDM
Hernández-Farías I., Patti, V., Rosso P. Detección de ironía en Twitter: el papel del contenido afectivo.
Transacciones de ACM en tecnología de Internet 16(3):1-24, 2016
EmotIDM vs estado del arte
Ironía: ganancia de información y clasificación
Características
estructurales
Sentimiento Psicolingüística afectiva

¿Ironía o sarcasmo?
• Mi madre nunca vio la ironía en llamarme hijo

de puta
• Si te resulta difícil reírte de ti mismo, con gusto

lo haré por ti.
¿ Ironía o no ironía? Esa es la pregunta

1. Es bueno escuchar el problema de otras personas .. Porque te darás cuenta de que tus problemas
son pequeños en comparación con ellos
2. ¿Cuándo me di cuenta de que era Dios? Bueno, estaba rezando y de repente me di cuenta de que estaba habland
a mí mismo.



¿Ironía o sarcasmo? Esa es la pregunta

mí mismo.

10. @sugayiffer Compra más RAM, chica :P 11. Me
encanta volver a casa después de unas largas vacaciones y encontrar caca de perro en mi habitación...

¿ Ironía o sarcasmo? Esa es la pregunta

mí mismo.
8. Compañeros de habitación vegetarianos hablando de desconectar si están en coma porque

10. @sugayiffer Compra más RAM, chica :P [Discurso de odio: misoginia]

Ironía vs sarcasmo
• Ironía : más sutil, puede ser positiva (es decir, no

crítica), mientras que el sarcasmo no suele serlo.
• Sarcasmo: más agresivo y ofensivo que

ironía
• Los tweets con una intención más agresiva deben

estar cubiertos de azúcar con palabras más positivas
Giora R. y Attardo S. Ironía. Encyclopedia of Humor Studies, SAGE, págs. 397–401, 2014.
Wang AP #ironía o #sarcasmo: un estudio cuantitativo y cualitativo basado en Twitter. En Actas de

la 27.ª Conferencia de Asia Pacífico sobre lenguaje, información y computación, páginas 349–356. Nacional
Universidad de Chengchi, 2013.
Sarcasmo: ganancia de información y clasificación
SemEval-2015 en Task11 en
SA de lenguaje figurado
• La tarea se refiere a la clasificación de tweets
que contenga ironía, sarcasmo o metáfora
• Clasificación de polaridad (sentimiento positivo, negativo o neutral): escala
de sentimiento detallada de -5 a +5 • Seguimiento de tweets (1025)
anotados manualmente (por 7 anotadores), capacitación (8000) y prueba
(4000) anotados con CrowdFlower ( por un mínimo de 5 anotadores)
• Sentimiento mezquino más negativo para el sarcasmo, que para la ironía y que para
la metáfora; por ejemplo, en el conjunto de datos de prueba: sarcasmo (-2,02),
ironía (-1,87), metáfora (-0,77), otro (-0,26)
Ghosh A., Li G., Veale T., Rosso P., Shutova E., Barnden J., Reyes A. Semeval-2015 Tarea 11: Análisis de
sentimiento del lenguaje figurado en Twitter. En: Proc. 9º Int. Workshop on Semantic Evaluation (SemEval
2015), Co ubicado con NAACL, Denver, Colorado, 4-5 de junio. Asociación de Lingüística Computacional, págs.
470–478, 2015
Resultados
Sistema Coseno MSE
CLaC 0.758 2.117

ÿ CLaC: primero en tuits en la metáfora UPF 0.711 2.458
categoría LLT_PolyU 0,687 2.6
ÿ LLT_PolyU: primero en tuits en el elirfo 0.658 3.096
categoría de sarcasmo LT3 0.658 2.913
ÿ elirf: primero en tuits en la ironía valento 0.634 2.999
categoría HLT 0,63 4.088
CPH 0.625 3.078

ÿ Correlación de Spearman de los 10 principales
PRHLT 0.623 3.023
sistemas para ver cómo el total
DsUniPi 0.602 3.925
el rendimiento se correlaciona con la
PKU 0.574 3.746
rendimiento en los diferentes tipos
KELabTeam 0.552 4.177
de tuits: categoría metáfora (bueno
RGU 0.523 5.143
indicador)
SHELLFBK 0.431 7.701
BUAP 0.059 6.785

¿ Ironía o sarcasmo? Esa es la pregunta

mí mismo.
8. Compañeros de cuarto vegetarianos hablando de desconectar si están en coma porque


¿ Ironía o sarcasmo? #no

mí mismo.
8. Compañeros de cuarto vegetarianos hablando de desconectar si están en coma porque


Ironía vs sarcasmo vs #no

• Usamos el mismo modelo EmotIDM
– Rasgos estructurales + afectivos
• Tres experimentos de clasificación binaria diferentes:

– #irony-vs-#sarcasm (Iro – Sar) – #irony-vs-#not
(Iro – Not) – #sarcasm-vs-#not (Sar – Not)
• Clasificadores: Implementaciones Weka de cinco clasificadores estándar:

Naive Bayes, Árbol de decisión, Vector de soporte
Máquina, Regresión Logística, Bosque Aleatorio
• Todos los experimentos se realizaron en un entorno de validación

cruzada de 10 veces
#ironía #sarcasmo #no
Sulis E., Hernández I., Rosso P., Patti V., Ruffo G. Mensajes figurativos y afecto en Twitter: diferencias
entre #ironía, #sarcasmo y #no. Sistemas basados en el conocimiento 108:132–143, 2016
ganancia de información
Signos de puntuación y longitud
• ! más frecuentes para #sarcasmo y : para #ironía • Longitud:

los tuits de #sarcasmo son más cortos (el sarcasmo se expresa en
solo unas pocas palabras su contenido negativo)
Distribución de las emociones
• #sarcasmo : palabras más relacionadas con emociones positivas (p. ej. Plutchik: alegría,
anticipación); también en #no
• #ironía : más creativa y sutil; transmite emociones implícitas ( dimensión de imágenes
del diccionario Whissel) mientras que #sarcasm es más explícito
(Dimensión de dominancia de ANEW)
Nuevas tendencias en la detección de ironía/sarcasmo
• Incrustaciones de palabras (Word2Vec, GloVe, etc.): características basadas

en n-gramas, palabras emocionales de LIWC, términos positivos y negativos
y signos de puntuación
• Por ejemplo , redes neuronales convolucionales: características relacionadas

con el sentimiento, las emociones y la personalidad
Joshi A., Tripathi V., Patel K., Bhattacharyya P. y Carman MJ ¿Son útiles las funciones basadas en incrustación de palabras para
la detección de sarcasmo? En Proc. de la Conf. de 2016. on Empirical Methods in Natural Language Processing, EMNLP 2016,
Austin, Texas, EE. UU., noviembre, págs. 1006–1011, 2016.
Poria S., Cambria E., Hazarika D. y Vij P. Una mirada más profunda a los tweets sarcásticos usando redes neuronales
convolucionales profundas. CoRR, abs/1610.08815, 2016.
Zhang, S., Zhang, X., Chan, J., Rosso, P. Detección de ironía a través del aprendizaje por transferencia basado en sentimientos.
Procesamiento y gestión de la información 56(5): 1633-1644, 2019
Ironía multimodal
Ironía situacional: incongruencia
Ironía involuntaria: perdida en la traducción

Ahora no pretendas ver

ironía o sarcasmo por todas partes…
¿Ironía o no ironía? En español

1. Por favor quitenle el vencimiento a los paquetes y tendran más clientes y satisfacción, es
imposible que el que viva del salario pueda comprar el paquete más pequeño, 7.00 CUC,
son 175 pesos.
2. Que falta de respeto, a veces pienso que esas personas que aplican esas tarifas no viven
en este pais
3. Un cuc da para una bolsa de 50 megas y la app todus consume bastante, con un uso
medio esos cincuenta megas no duran ni tres dias
4. NO rebajen los precios de acceso a internet y telefonia movil, estan muy buenos asi, todos
podemos pagarlos
5. ¡¡Hermosísima instalación!! Me acaba de despertar el apetito, apenas perciba mi salario en
MN reservo una habitacion! Una nochecita nada mas!! Vale la pena, tan solo tengo que
ahorrar durante diez meses TODO lo que me pague mi empresa!
6. La intención, MUY BUENA, lo escrito MUY EFECTIVO, pero la realidad LA MISMA. No
se preocupen pronto cambiará, quizás para nuestros nietos!!!!
7. Cuando dijo que iba a bajar la gasolina, se referia al suministro. Siempre dice la verdad....
Un medio.
8. Estos de la 4T, ya no falta que renombren el organismo como CONASHIT
9. ¿Qué se fuma la gente que cree que la Tierra es plana? Yo quiero un poco
10. Pedro sanchez ha sido de los primeros en ir a la librería a comprar su libro: ”Estoy ansioso
de saber de que va”
¿ Ironía o no ironía? En español

1. Por favor quitenle el vencimiento a los paquetes y tendran más clientes y satisfacción,
es imposible que el que viva del salario pueda comprar el paquete más pequeño, 7.00
CUC, son 175 pesos.
2. Que falta de respeto, a veces pienso que esas personas que aplican esas tarifas no viven
en este pais
3. Un cuc da para una bolsa de 50 megas y la app todus consume bastante, con un uso
podemos pagarlos
5. ¡¡Hermosísima instalación!! Me acaba de despertar el apetito, apenas perciba mi salario en
MN reservo una habitacion! Una nochecita nada mas!! Vale la pena, tan solo tengo que
ahorrar durante diez meses TODO lo que me pague mi empresa!
Un medio.
Ironía: el papel del contexto

imposible que el que viva del salario pueda comprar el paquete más pequeño, 7.00 CUC, son 175
pesos.
Hogar plano
Sociedad
2. Que faltatecnológica
de respeto, a veces pienso que esas personas que aplican esas tarifas no viven
F-escasez
en este pais Economía
CONACYT LibroSanchez
3. Un cuc da para una bolsa de 50 megas y la app todus consume bastante, con un uso E-mobile
podemos pagarlos
5. ¡¡Hermosísima instalación!! Me acaba de despertar el apetito, apenas perciba mi salario en MN reservo
una habitacion! Una nochecita nada mas!! Vale la pena, tan solo tengo que ahorrar durante diez
meses TODO lo que me pague mi empresa!
Un medio.
El papel del contexto: variantes del español

imposible que el que viva del salario pueda comprar el paquete más pequeño, 7.00 CUC, son
175 pesos.
tierraplana
Sociedad
2. Que faltatecnológica
de respeto, a veces pienso que esas personas que aplican esas tarifas no viven
F-escasez
en este pais Economía
CONACYT LibroSanchez
3. Un cuc da para una bolsa de 50 megas y la app todus consume bastante, con un uso E-mobile
podemos pagarlos
5. ¡¡Hermosísima instalación!! Me acaba de despertar el apetito, apenas perciba mi salario en MN
reservo una habitacion! Una nochecita nada mas!! Vale la pena, tan solo tengo que ahorrar
durante diez meses TODO lo que me pague mi empresa!
Un medio.
Anotación
• Sin pautas estándar
• Anotadores para cada variante: hablantes nativos ( no anotan

mensajes en otras variantes de español)
• Anotadores: dado un contexto específico, etiquetando cada

mensaje como irónico/no irónico, basándose únicamente en su
propio concepto de ironía
• No diferenciación entre ningún tipo de ironía (ej.

situacional o verbal) vs. sarcasmo
Conjunto de datos cubano
CAPACITACIÓN PRUEBA
Tema Irónico no irónico Irónico no irónico
Televisión digital 137 275 32 sesenta y cinco
Deportes 108 219 28 55
Igualdad 100 201 25 51

E-Móvil 92 185 23 47
Transporte 91 184 23 46
Sociedad tecnológica 85 172 22 44
IC-Comercio 74 150 19 38
Economía 57 103 14 26
Ciencias 56 111 14 28
Total 800 1600 200 400
• Comentarios de noticias de 9 temas controvertidos: Cubadebate,

OnCuba, Cubasi
• Textos de no más de 300 caracteres
• Anotado manualmente por tres anotadores: comentarios en los que al
al menos dos anotadores acordaron que se consideraron irónicos/no irónicos
Conjunto de datos mexicano

DivorcioEPN 46 90 11 23
RomaPelícula 78 161 19 41
CRE 123 146 31 37
F-escasez 111 128 28 33
Ch-Centros 80 159 21 40
Gobierno de México 114 125 29 32
GobiernoCDMX 54 156 14 39
CONACYT 139 210 33 49
Venezuela 20 220 5 55
tierraplana 35 205 8 52
Total 800 1600 199 401
• Tweets de 10 temas controvertidos y ampliamente discutidos publicados

por usuarios mexicanos
• Anotado manualmente por dos anotadores: tweets en los que el

los anotadores en desacuerdo fueron resueltos por un tercer anotador
Conjunto de datos español

Tarda 32 240 8 64
relator 112 75 19 15
Librosánchez 162 90 19 12
Franco 52 240 10 86
Grezzi 54 182 20 36
SemáforosA5 48 215 12 54
Tierraplanistas 86 191 31 40
Venacenar 91 113 19 29
yoconalberto 55 150 12 38
PañalesIglesias 108 104 50 26
Total 800 1600 200 400
• Tweets de 10 temas controvertidos y ampliamente discutidos publicados

por usuarios españoles
• Anotado manualmente por dos anotadores (solo aquellos tweets en

que ambos anotadores acordaron)
Líneas base
• LDSE
– CU: LDSE+RF
– SP: LDSE+MVS
– MX: LDSE+BayesNet
• W2V
– CU: FastText-Wiki+LR
– SP: FastText-Wiki+Perceptrón votado

– MX: FastText-Wiki+BayesNet
• Ngrama de palabras
– CU: 10000 palabras+SVM
– SP: 200 palabras+BayesNet

– MX: 2000 palabras+SVM
• Clase de Mayoría
Evaluación
• Intra-variantes: entrenamiento y pruebas en el mismo
variante
• Variantes cruzadas: entrenamiento en una variante y

prueba en otra diferente
• Métricas: los sistemas se clasificaron según el F1-AVG en las

tres subtareas (F1-Macro,
También se informaron la precisión y la recuperación para
cada subtarea)
Participantes
CERPAMID, UO
ATC, UniTO
• Equipos de 7 instituciones SCoMoDi, UniTO
Aspie96, UniTO
de 5 países
• Un total de 14 carreras fueron LaSTUS/TALN, UPF
presentadas por 12 equipos ELiRF-UPV, UPV

JZaragoza, UPV
• Escenario multivariante: total
VRAIN, UPV
de 10 carreras de 9 equipos
CIMAT
CICLiku, CIC-IPN
LabGeoCi, CIMAT
Reglamento UFPel, UPEL

Resultados intra-variantes
Rango EQUIPO CU ES MX PROMEDIO
1 ELiRF-UPV 0.6527 0.7167 0.6803 0.6832

2 CIMAT 0.6596 0.6449 0.6709 0.6585
** LÍNEA DE BASE-LDSE 0.6335 0.6795 0.6608 0.6579
3 JZaragoza 0.6163 0.6605 0.6703 0.6490
** LÍNEA DE BASE-W2V 0.6033 0.6823 0.6271 0.6376
4 ATC 0.5941 0.6512 0.6454 0.6302
5 CICLiku 0.5621 0.6875 0.641 0.6302
6 LabGeoCi 0.6396 0.6251 0.6121 0.6256
** 0.5684 0.6696 0.6196 0.6192
BASELINE-ngramas
7 SCoMoDI 0.6338 0.6652 0.5574 0.6188
8 LASTUS-UPF1 0.6017 0.6606 0.5933 0.6185
VRAIN 0.5204 0,6842 0.6476 0.6174
9 10 LASTUS-UPF2 0.5737 0,6493 0.6218 0.6149
11 Aspie96 0.5388 0.5935 0.5747 0.5690
12 UO_run2 0.5930 0.5445 0.5353 0.5576
13 UFPelReglas 0,5620 0,5088 0,5464 0.5391
14 UO 0,4996 0,5110 0,4890 0.4999
**
BASELINE-mayoría 0,4000 0,4000 0,4000 0.4000
Ortega-Bueno R., Rangel F., Hernández-Farías I., Rosso P., Montes-y-Gómez M., Medina E. Overview of the
Tarea de detección de ironía en variantes españolas. En: Actas del Foro de Evaluación de Lenguas Ibéricas
(IberLEF 2019), coubicado con la 34ª Conferencia de la Sociedad Española de Procesamiento del Lenguaje Natural
(SEPLN 2019). Actas del Taller CEUR. CEUR-WS.org, Bilbao, España, 2019
Resultados intra-variantes
Resultados variantes cruzadas
EQUIPO MX->SP CU->SP SP->MX CU->MX SP->CU MX->CU PROMEDIO
JZaragoza 0.4904 0,5846 0,5734 0,5741 0.5216 0.5263 0.5451

ELiRF 0.5359 0.5442 0.5595 0.5733 0,4978 0,5585 0.5449
CIMAT 0.5070 0,6106 0,4944 0.5632 0.5187 0.5593 0.5422
LabGeoCi 0.5328 0,4825 0,5464 0.5663 0.5218 0.5648 0.5358
LASTUS-UPF1 0.5350 0.5183 0.5329 0.5404 0,5225 0,4842 0.5222
CICLiku 0.5238 0.5551 0.5100 0.5502 0,4841 0,5028 0.5210
SCoMoDI 0.4677 0.5333 0.5599 0.5519 0,5062 0,4866 0.5176
VRAIN 0.5198 0.5086 0.5422 0.5034 0.4683 0.5485 0.5151
LASTUS-UPF2 0.5176 0,4523 0,5516 0.5478 0.5207 0.4712 0.5102
UO 0.4626 0,3574 0,4891 0.4806 0,5166 0,4965 0.4671
Participantes
• Marco común para la evaluación de la detección de la ironía en español
modelos
• Amplia variedad de enfoques ÿ

Aprendizaje automático (siendo el SVM el más popular) ÿ
Aprendizaje profundo (LSTM, CNN, Transformer) ÿ Otros
métodos (patrones lingüísticos, método Impostor)
• Con respecto a las
características ÿ Incrustaciones de palabras (usando Word2Vec, FastText,
Doc2Vec, Elmo y Bert) ÿ N-gramas (en términos de palabras y caracteres)
ÿ Pocos enfoques aprovecharon la información afectiva y estilística •
Pocos enfoques tomaron en cuenta el contexto previsto para cada
mensaje
• No se arrojaron pruebas sólidas sobre el impacto del contexto para comprender la ironía.
Desafíos del análisis de sentimientos
• Lenguaje figurativo: por ejemplo, ironía y sarcasmo
• Lenguaje engañoso: por ejemplo, reseñas falsas

Lenguaje engañoso: reseñas falsas
• El 87% de los consumidores confían en la revisión en

línea para tomar sus decisiones de compra de un
producto o servicio.
• Las opiniones juegan un papel importante para

empresas: tendencia a publicar reseñas falsas
• Detección de opiniones falsas: humanos 60%

Opinión 1 vs….
Me casé en el área de Chicago este pasado fin de semana
y todos mis invitados se hospedaron en el Ambassador
East Hotel. ¡No tenían nada más que cosas buenas que
decir al respecto! La madre de mi esposo es terriblemente
exigente con el lugar donde se hospeda y este hotel
satisfizo sus necesidades. Las habitaciones están muy
bien decoradas y no tienen ese olor extraño a hotel. El
Pump Room era un lugar divertido para que los hombres
pasaran el rato y vieran deportes. Si alguna vez vuelvo a
la zona, me aseguraré de reservar una habitación en el
Ambassador East Hotel.
…Opinión 2
En una muy buena ubicación cerca de tiendas y

lugares para comer y también en un hermoso
vecindario. Un pequeño hotel con un lugar
agradable para sentarse en el vestíbulo, el Pump
Room es un lugar clásico para tomar una copa.
No cenamos allí, así que no puedo comentar,
pero disfrutamos viendo a la gente mientras
tomábamos una copa por la tarde mirando por la
ventana a la gente del vecindario. Está a un corto
paseo de muy buenas tiendas y restaurantes.
Lo último
• Ott et al., ACL 2011
SVM (LIWC+uni/bigrams) •
Feng & Hirst, JCNLP 2013 SVM
(características de perfiles de productos)
• Ren et al., EMNLP 2014 SVM
(pesos positivos/negativos para ejemplos de espionaje) •
Banerjee &Chua, IJCSA 2014 Regresión logística
• Hernández-Fusilier et al., IP&M 2015; CICLing 2015 PU-

Aprendizaje; PU-Learning (n-gramas de caracteres/palabras)
• Cagnina & Rosso, WASSA 2015
SVM (char n-grams en tokens)
Rosso P., Cagnina L. Detección de engaños y spam de opinión. En: Una guía práctica para el análisis de
sentimientos, Computación socioafectiva, vol. 5, E.Cambria, D. Das, S. Bandyopadhyay, S. Feraco (Eds.), Springer-
Verlag, págs. 155-171, 2017
Baja reducción de dimensionalidad
• Char n-grams en tokens frente a Char n-grams
• Token: secuencia de caracteres consecutivos

separados por uno o más espacios en blanco

• Característica basada en sentimiento (polaridad de sentimiento)
• Características basadas en LIWC (categorías de Investigación Lingüística

y recuento de palabras):
Pronombres yo, ellos, sí mismo
Artículos Una una la
Pasado fue, corrió, tuvo
Tiempo presente es, hace, escucha
Tiempo futuro voluntad, voy a

Experimentos
Conjunto de datos de opiniones falsas: 1600 opiniones sobre
los 20 hoteles más populares de Chicago
– 800 críticas positivas: Ott et al. , LCA 2011

400 veraces de las reseñas de 5 estrellas de
TripAdvisor 400 engañosas de Amazon Mechanical Turk
– 800 críticas negativas: Ott et al., NAACL 2013

400 veraces de TripAdvisor, Expedia, Hotels.com,
Orbitz, Priceline y Yelp 400 falsos de Amazon
Mechanical Turk
Experimentos
Clasificación de opinión verdadera vs. falsa

Experimentos
Clasificación de opiniones verdaderas frente

a falsas : rendimiento de funciones combinadas
4 gramos en fichas y LIWC
Clasificación de ganancia de información para críticas positivas

Experimentos
• Cagnina & Rosso, WASSA 2015

contra
• Ott et al., ACL 2011

• Feng y Hirst, JCNLP 2013 •
Banerjee y Chua, IJCSA 2014 •
Ren et al., EMNLP 2014 •
Hernández-Fusilier et al., CICLing 2015
Cagnina L., Rosso P. Detección de opiniones engañosas: clasificación intra y entre dominios utilizando una
representación eficiente. En: Revista internacional de incertidumbre, borrosidad y sistemas basados en el conocimiento
25(2):175-189, 2017
Experimentos
Comparación indirecta de resultados para el
conjunto de datos de reseñas positivas

Experimentos
Comparación directa de resultados para el
conjunto de datos de reseñas positivas y negativas
Hernández D., Montes-y-Gómez M., Rosso P., Guzmán R. Detección de opiniones engañosas positivas y
negativas mediante PU-learning. En: Procesamiento y gestión de la información 51(4):433–443, 2015
Discusión
• Char n-grams en tokens parecen capturar

correctamente el contenido y el estilo de redacción de las reseñas
ayudando a diferenciar lo verdadero de lo falso
opiniones
• Char 4-gramos en tokens combinados con información
LIWC : no hay diferencia estadísticamente significativa PERO
permite una representación de menor dimensionalidad
11. Discurso de odio

Trastorno de la información en línea: Información dañina
C. Wardle, H. Derakhshan. Un año después, todavía no reconocemos la complejidad del desorden de la información en línea.
https://firstdraftnews.org/latest/coe_infodisorder/
El discurso del odio
• Conceptos relacionados y tareas

compartidas • Identificación de misoginia
• Perfilado de haters@ • HS implícita:
estereotipos y sarcasmo • HS en memes
• Estrategias contra la HS
ÿ El discurso de odio (SH) se define comúnmente como cualquier comunicación que menosprecia
a una persona o un grupo sobre la base de alguna característica como raza, color, etnia,
género, orientación sexual, nacionalidad, religión u otra.
ÿ Expresiones que: (i) inciten a la discriminación o violencia por odio racial, xenofobia,
orientación sexual y otras formas de intolerancia; (ii) fomentar la hostilidad a través de los prejuici
e intolerancia.
JT Nockleby (2000). El discurso del odio. Encyclopedia of the American Constitution (2.ª ed., editada por Leonard W. Levy, Kenneth L. Karst et al., New
4
York: Macmillan), págs. 1277–1279
Libertad de expresión vs supresión de HS
Tolerancia vs intransigencia 5
Discurso de odio en línea

ÿ Comunicación descentralizada ÿ
Escala masiva ÿ Potencial de
multiplicación ÿ Uso generalizado
de seudónimos y anonimato ÿ La virtualidad ayuda a
las personas a perder sus inhibiciones ÿ Contenido
de tiempo ilimitado hasta su eliminación
contenido inflamatorio 6
Conceptos relacionados
Detección de lenguaje abusivo :

ÿ Cubre todo el lenguaje hiriente
ÿ Incluye discurso de odio
ÿ Muchas investigaciones lo refieren como lenguaje ofensivo
Detección de ciberacoso :
ÿ La forma en línea del acoso tradicional
ÿ Acoso: intención de dañar a un individuo (objetivo) que
no puede defenderse
Detección de radicalización :
ÿ Motiva el extremismo violento
7
Conceptos relacionados
Uno de los principales problemas consiste en la complejidad intrínseca en la definición de HS

y en la vaguedad generalizada en el uso de términos relacionados (como lenguaje abusivo,
tóxico, peligroso, ofensivo o agresivo), que a menudo se superponen y son propensos a
interpretaciones fuertemente subjetivas.
F. Poletto, V. Basile, M. Sanguinetti, C. Bosco, V. Patti (2021). Recursos y corpus de referencia para la detección del discurso de
odio: una revisión sistemática. Recursos lingüísticos y evaluación, 55: 477–523
tareas compartidas
• Identificación de lenguaje ofensivo @ GermEval 2018, …

• Detección de HS @ EVALITA 2018, 2020
• HS e identificación de contenido ofensivo @ FIRE 2019, …
• OffenseEval @ SemEval 2019, …
• HatEval @ SemEval 2019
• DETOXIS @ IberLEF 2021, DETESTS @ IberLEF 2022 •
Perfilando HATERS @ PAN 2021
• AMI@IberEval 2018, EVALITA 2018, 2020
• MAMI @ SemEval 2022
Repositorio de HS regionalizados y multilingües
https://hatebase.org/
10
Enfoques y características genéricos
ÿ Métodos supervisados
ÿ Métodos semisupervisados
ÿ Métodos no supervisados
P. Fortuna, S. Nunes (2018). Una encuesta sobre detección automática de discurso de odio en texto.
Encuestas de Informática ACM (CSUR) 51,4
Discurso de odio en Twitter
10%
63%
Mujeres Migrantes
ITALIA 2015-2016
2,6 millones de tuit
10%
7%
LGBT Desactivado
https://www.repubblica.it/tecnologia/social-network/2016/07/13/news/l_odio_corre_su_twitter_nel_mirino_soprattutto_le_donne-143983944/
@SemEval 2019
Detección multilingüe de HS contra inmigrantes y mujeres en Twitter
• Tarea A: detección multilingüe del odio
• Tarea B: Comportamiento agresivo y clasificación de objetivos
V. Basile, C. Bosco, E. Fersini, D. Nozza, V. Patti, F. Rangel., P. Rosso, M. Sanguinetti (2019). SemEval-2019 tarea 5:
Detección multilingüe de discurso de odio contra inmigrantes y mujeres en Twitter. proc. SemEval 2019
patricio martínez barco
conjunto de datos
• Enfoque basado en palabras

clave : palabras clave neutrales ,
palabras despectivas contra los objetivos ,
hashtags altamente polarizados
• Orientación solo para mujeres :
– seguimiento de posibles víctimas de cuentas de odio

– historial de haters identificados • Recopilados de julio
a septiembre de 2018 + datos de las tareas de AMI • Estadísticas: 19 600
tuits (13 000 EN; 6600 ES) • Target: inmigrantes: 9k; mujeres: 10k
aprox.
Anotación
• Colaboración colectiva
• Pautas en inglés y español

– Definición de discurso de odio contra los dos objetivos .
– Definición de agresividad
– Lista de ejemplos
• Dos anotadores expertos adicionales
• La distribución del SA está sobrerrepresentada

• Las distribuciones AG y TR son naturales
Conjunto de datos: inmigrantes
SA Odioso no odioso
Objetivo individual
TR Objetivo genérico
AG Agresivo
no agresivo
SA Odioso no odioso
Objetivo individual
TR
Objetivo genérico
Agresivo
AG
no agresivo
-500 500 1500 2500 3500 4500 5500 6500

Conjunto de datos: Mujeres
SA Odioso no odioso
Objetivo genérico
TR Objetivo individual
Agresivo
AG no agresivo
SA Odioso no odioso
Objetivo genérico
TR Objetivo individual
no agresivo
AG Agresivo
-500 500 1500 2500 3500 4500 5500 6500

Evaluación
• Subtarea A
– Exactitud, Precisión, Recuperación, Macro-F1
• Subtarea B
– Macro-F1
– Relación de coincidencia exacta
• Líneas base
– Clase más frecuente (MFC)
– SVM basado en una representación TF-IDF
18
Técnicas
• Enfoques
– Aprendizaje profundo (más de la mitad): RNN en particular
• Características
– Incrustaciones de palabras: principalmente GloVe
– Léxicos de odio personalizados
• Preprocesamiento
– Mayormente estándar
– Impulsado por Twitter: segmentación de hashtag, conversión de jerga, emoji

traducción
19
Resultados
74 equipos
• Tarea A (Detección multilingüe de odio): 108 ejecuciones
• Tarea B (comportamiento agresivo y clasificación de objetivos): 70 carreras
Enfoques:
• Tarea A (precisión). ES: SVM + incrustaciones de oraciones del Universal
Sentence Encoder de Google (0.65); CNN, LSTM; ES: MVS (0,73);

BERT
• Tarea B. EN: línea de base de MFC; SVM (mejor); LR, LSTM; ES: LR (mejor); MVS
20
@ SemEval 2019 y 2020

SUBTAREA A 1. Identificación de lenguaje ofensivo
Ofensivo / No ofensivo
SUBTAREA B 2. Categorización automática de tipos de

delitos Insulto dirigido / No dirigido
3. Identificación del objetivo

SUBTAREA C
del delito Individuo/Grupo/Otro
M. Zampieri, S. Malmasi, P. Nakov, S. Rosenthal, N. Farra, R. Kumar (2019). Semeval-2019 tarea 6: Identificar y categorizar lenguaje
ofensivo en redes sociales (OffensEval). proc. SemEval 2019 M. Zampieri, P. Nakov, S. Rosenthal, P. Atanasova, G. Karadzhov, H. Mubarak,
C. Çöltekin (2020). SemEval-2020 tarea 12: Identificación multilingüe de lenguaje ofensivo en redes sociales (OffensEval 2020). proc.
SemEval 2020 21
Evaluación 2020. Subtarea A (inglés)
Puntuación F1 macropromediada Mejor sistema: Conjunto de modelos de Transformadores
2019. Mejor sistema: BERT
BERT
22
mejor sistema
Modelo: Modelado de lenguaje enmascarado RoBERTa-gran conjunto Resultados (validación cruzada de 10 veces):
Afinado 10 veces con el conjunto de datos OffensEval 2019
Predicción: Voto mayoritario sobre las 10 predicciones
Otras valoraciones (ajuste fino con OffensEval 2019):
ÿ BERT_base ÿ
BERT_large ÿ
RoBERTa-base
ÿ Roberta-grande
ÿ XLM-RoBERTa
ÿ ALBERT_large-v1
ÿ ALBERT_large-v2
ÿ ALBERT_xxlarge-v1
ÿ ALBERT_xxlarge-v2
G. Wiedemann, SM Yimam, C. Biemann (2020). UHH-LT y LT2 en la tarea 12 de SemEval-2020: ajuste fino de redes de transformadores preentrenadas
23
para la detección de lenguaje ofensivo. preimpresión de arXiv arXiv:2004.11493
Nuestra propuesta
Vector de características (F_vector)
ÿ Características
básicas: - longitud de los
tweets - número de palabras mal
escritas - uso de signos de puntuación
ÿ Características
semánticas: - uso de
emoticonos - uso de frases nominales
G. De La Peña, P. Rosso (2020). PRHLT-UPV en SemEval-2020 tarea 12: BERT para detección de lenguaje ofensivo multilingüe. proc. 24 de septiembre de 2020
• Conceptos relacionados y tareas

compartidas • Identificación de misoginia
• Perfilado de haters@ • HS implícita:
estereotipos y sarcasmo • HS en memes
• Estrategias contra la HS

LNR Ingles Teoria (1) - 4

Cargado por

Información del documento

Descripción original:

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

LNR Ingles Teoria (1) - 4

Cargado por

Copyright:

Formatos disponibles

Machine Translated by Google

Publicado por: Juan Smith

Compré un teléfono Samsung Galaxy hace una semana. Simplemente me encanta.

Aspecto de la entidad Aspecto de la entidad

Opinión sobre el aspecto Opinión sobre el aspecto

Niveles de análisis de opinión

Análisis de nivel de documento

• Cada documento contiene la opinión de un solo titular de

• Estas suposiciones pueden ser ciertas en muy poco tiempo

Análisis de nivel de oración

B. Análisis de sentimiento a nivel de oración

“Donald John Trump fue elegido el 45°

¿Es esta oración subjetiva/objetiva? ¿Es esta oración subjetiva/objetiva?

Análisis de nivel de aspecto

• Tarea 3: Sinónimos de aspectos de grupo

Compré un teléfono Samsung Galaxy hace una semana. Simplemente me encanta. La

Aspecto de la entidad Aspecto de la entidad

Opinión sobre el aspecto Opinión sobre el aspecto

Enfoques de análisis de sentimiento

Análisis de los sentimientos

Sin supervisión, por ejemplo: supervisado Semi-Supervisado por ejemplo:

patrón de PNL, léxicos por ejemplo: SVM, Naive léxico+clasificador

Bayes, etc. (con diferentes

POS, frases de palabras)

una. Características sintácticas

• También conocidos como enfoques basados en el léxico.

• Confíe en recursos léxicos externos que asocien una puntuación de

terribles, dañinas, etc.

• Léxicos de sentimientos: listas de palabras y

– Positivo: hermoso, maravilloso, bueno, increíble, –

Léxicos de sentimiento: 3 tipos diferentes

lista simple Puntuaciones Numeros reales

excelente malo excelente +2 malo -2 terrible 1.000 1.000

Enfoques de análisis de sentimiento

Análisis de los sentimientos

Sin supervisión, por ejemplo: supervisado Semi-Supervisado por ejemplo:

patrón de PNL, léxicos por ejemplo: SVM, Naive léxico+clasificador

Bayes, etc. (con diferentes

POS, frases de palabras)

una. Características sintácticas

• Cosas a tener en cuenta:

• Enfoque supervisado típico que utiliza “saco

Recordatorio: bolsa de palabras

• Las funciones son representación de bolsa de palabras (es

Enfoques de análisis de sentimiento

Análisis de los sentimientos

Sin supervisión, por ejemplo: supervisado Semi-Supervisado por ejemplo:

patrón de PNL, léxicos por ejemplo: SVM, Naive léxico+clasificador

Bayes, etc. (con diferentes

POS, frases de palabras)

una. Características sintácticas

Enfoque supervisado (básico)

3. Aplicar un clasificador entrenado para probar el corpus o la aplicación

– Si desea predecir una calificación, por ejemplo, 1-5 estrellas:

• Uso diferente de características sintácticas:

discurso) “This_DT is_VBZ a_DT love_NN muy, en su mayoría)

• N-gramas de orden superior (por ejemplo, bi-gramas)

– Lenguaje de argot – “Mi iPhone acaba de llegar. JAJAJA"

La recuperación de documentos que tratan sobre un tema

Compáralo con la recuperación de información clásica:

buscar temas reales búsqueda de opiniones / temas de opinión

Tarea de recuperación de opinión