Procesamiento del Lenguaje Natural
Luis de la Fuente Valentín
Bloque I - Tema 1 - Introducción
Problema del día
► ¿Qué características concretas debe tener una IA para
considerarse Procesamiento de Lenguaje Natural?
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 2
Encuesta previa
► Nombra una herramienta que conozcas que usa PLN
► Nombra una tarea que conozcas que se realiza con PLN
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 3
En el día de hoy
► Definición de Procesamiento de Lenguaje Natural
► Aplicaciones de PLN
► Lingüística y PLN
► Historia del Procesamiento de Lenguaje Natural
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 4
Definición de Procesamiento de Lenguaje Natural
Natural language processing strives to build machines that
understand and respond to text or voice data—and respond with
text or speech of their own—in much the same way humans do.
(IBM).
El procesamiento de lenguaje natural es un campo de las
ciencias de la computación, de la inteligencia artificial y de la
lingüística que estudia las interacciones entre las computadoras y
el lenguaje humano. (Wikipedia)
Campo de la Inteligencia Artificial que tiene como objetivo
principal hacer que las máquinas sean capaces de realizar tareas
que involucren el lenguaje humano (Apuntes de la asignatura)
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 5
Otros Nombres
► Procesamiento de Lenguaje Natural (PLN)
► Natural Language Processing (NLP)
► Procesamiento del Lenguaje y el Habla
► Tecnología del Lenguaje
► Lingüística computacional
► Reconocimiento y Síntesis del Habla
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 6
Aplicaciones de PLN
► Information Retrieval
► Question Answering
► Resumen Automático
► Traducción Automática
► Generación de Textos
► Language Modeling
► Named Entity Recognition
► Análisis Sintáctico
► Análisis Morfosintáctico (POS Tag)
► Word Sense Disambiguation
► Speech Recognition
► Speech Generation
► Sistemas de Diálogo
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 7
Aplicaciones de PLN
► Information Retrieval
► Question Answering
► Resumen Automático
► Traducción Automática
► Generación de Textos
► Language Modeling
► Named Entity Recognition
► Análisis Sintáctico
► Análisis Morfosintáctico (POS Tag)
► Word Sense Disambiguation
► Speech Recognition
► Speech Generation
► Sistemas de Diálogo
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 8
Aplicaciones de PLN
Natural Natural Natural
Language Language Language
Processing Understanding Generation
Pos tagging Question
Sumarization
Answering
Semantic
Role labeling
Named Entity Text similarity Translation
Recognition
Sentiment Analysis Conversational Agents
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 9
Lingüística y PLN
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 10
Historia del Procesamiento de Lenguaje Natural
1940 1957 1970 1983 1993 2000
2016…
1950 1970 1983 1993 1999 2016
Automatas Estados finitos
Modelos prob. Empirismo
Simbólico
Estocástico Empirismo
Estocástico
Lógica Aprendizaje
Comprensión automático
Discurso
Redes
neuronales
Deep Learning
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 11
Historia del Procesamiento de Lenguaje Natural
1940 1957 1970 1983 1993 2000
2016…
1950 1970 1983 1993 1999 2016
Automatas Estados finitos
Modelos prob. Empirismo
Simbólico
Estocástico Empirismo
Estocástico
Lógica Aprendizaje
Comprensión automático
Discurso
Redes
neuronales
Deep Learning
Métodos Formales Métodos Probabilísticos Machine Learning
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 12
Métodos formales
– Teoría de lenguajes formales:
• Un lenguaje L es un conjunto, finito o infinito de
secuencias s
• Un vocabulario V es el conjunto de símbolos disponibles
en el lenguaje
• Una secuencia s es una concatenación de símbolos de V
• Una gramática G es una definición formal de L: establece
qué combinaciones de V forman secuencias s válidas en L
y cuáles no
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 13
Métodos formales
– Teoría de autómatas:
• Definición de lenguajes formales equivalente
• Mediante máquinas abstractas
• Formadas por un conjunto de estados S y una función de
transición T que define transiciones de un estado a otro en
función de los símbolos de una cadena de entrada
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 14
Métodos formales
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 15
Métodos formales
– ¿Puede el lenguaje natural formalizarse como un lenguaje
formal L, mediante una gramática G, o como un autómata?
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 16
Métodos probabilísticos
► N-gramas
► Cálculo de probabilidades
► Cadenas de Markov (Hidden Markov Models o HMM)
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 17
Métodos probabilísticos
► N-gramas
“por favor, por favor, no olvidemos que por este camino ya hemos
pasado antes”
(por favor) 2
(favor ,) 2
(, por) 1
…
(por este) 1
(este camino) 1
…
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 18
Métodos probabilísticos
► Cálculo de probabilidades de N-gramas
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 19
Métodos probabilísticos
► #ocurrencias por favor en el corpus: 2
► #ocurrencias por este en el corpus: 1
► #ocurrencias por en el corpus: 3
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 20
Métodos probabilísticos
► Autómatas con probabilidades de transición
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 21
Machine Learning
► Machine Learning / Deep Learning
► Aprendizaje supervisado
► Proliferación de datos. Internet, redes sociales
► Soluciones de hardware: cloud, GPU, TPU
► Permiten modelar patrones demasiado complejos para
formalizarlos explícitamente
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 22
Historia del PLN: aprendizaje automático
► Deep Learning
► Redes recurrentes: RNN, LSTM
► También convolucionales: CNN
► Transformadores: BERT
► Transfer Learning
► GAN aplicado a PLN
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 23
En resumen
► Aplicaciones de PLN
– NLP (etiquetado),
– NLU (question answering)
– NLG (text generation)
► Lingüística y PLN
– Morfología, sintaxis, semántica, pragmática, discurso
– Fonética
► Historia del Procesamiento de Lenguaje Natural
– Modelos formales
– Modelos probabilísticos
– Modelos basados en Machine Learning
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 24
En la próxima sesión
► ¿Cómo convertir el texto en una entrada válida para técnicas de
IA?
Procesamiento del Lenguaje Natural – Luis de la Fuente Valentín 25
www.unir.net
