Universidad Mariano Glvez de Guatemala Ingeniero: Samuel Recinos Compiladores

Francisco Antonio Ramrez Fajardo 0900-09-220 Ingeniera en Sistemas Guatemala 16 de Febrero de 2013

QUE ES ANALIZADOR LEXICO

FUNCION DEL ANLIZADOR LEXICO El analizador lxico es la primera fase de un compilador. Su principal funcin consiste en leer los caracteres de entrada y elaborar como salida una secuencia de componentes lxicos que utiliza el analizador sintctico para hacer el anlisis. Como el analizador lxico es la parte del compilador que lee el texto fuente, tambin puede realizar ciertas funciones secundarias en la interfaz del usuario, como eliminar del programa fuente comentarios y espacios en blanco en forma de caracteres de espacio en blanco, caracteres TAB y de lnea nueva. Otra funcin es relacionar los mensajes de error del compilador con el programa fuente. En algunas ocasiones, los analizadores lxicos se dividen en una cascada de dos fases; la primera, llamada "examen", y la segunda, "anlisis lxico". El examinador se encarga de realizar tares sencillas, mientras que el analizador lxico es el que realiza las operaciones complejas. ASPECTO DEL ANALISIS LEXICO. Hay varias razones para dividir la fase de anlisis de la compilacin en anlisis lxico y anlisis sintctico. 1. Un diseo sencillo es quiz la consideracin ms importante. Separar el anlisis lxico del anlisis sintctico a menudo permite simplificar una u otra de dichas fases. 2. Se mejora la eficiencia del compilador. Un analizador lxico independiente permite construir un procesador especializado y potencialmente ms eficiente para esta funcin. Gran parte de tiempo se consume en leer el programa fuente y dividirlo en componentes lxicos. Con tcnicas especializadas de manejo de buffer para la lectura de caracteres de entrada y procesamiento de componentes lxicos se puede mejorar significativamente el rendimiento de un compilador. 3. Se mejora la transportabilidad del compilador. Las peculiaridades del alfabeto de entrada y otras anomalas propias de los dispositivos pueden limitarse al analizador lxico.

COMPONENTES LEXICOS, PATRONES Y LEXEMAS. Cuando se menciona el anlisis sintctico, los trminos "componente lxico"(token), "patrn" y "lexema" se emplean con significados especficos. En general, hay un conjunto de cadenas en la entrada para el cual se produce como salida el mismo componente lxico. Este conjunto de cadenas se describe mediante una regla llamada patrn asociado al componente lxico. Se dice que el patrn concuerda con cada cadena del conjunto. Un lexema es una secuencia de caracteres en el programa fuente con la que concuerda el patrn para un componente lxico. Los componentes lxicos se tratan como smbolos terminales de la gramtica del lenguaje fuente, con nombres en negritas para representarlos. Los lexemas para el componente lxico que concuerda con el patrn representan cadenas de caracteres en el programa fuente que se pueden tratar juntos como una unidad lxica. En la mayora de los lenguajes de programacin, se consideran componentes lxicos las siguientes construcciones: palabra clave, operadores, identificadores, constante, cadenas literales y signos de puntuacin, como parntesis, coma y punto y coma. ATRIBUTOS DE LOS COMPONENTES LEXICOS. Cuando concuerda con un lexema ms de un patrn, el analizador lxico debe proporcionar informacin adicional sobre el lexema concreto que concord con las fases del compilador. El analizador lxico recoge informacin sobre los componentes lxicos en sus atributos asociados. Los componentes lxicos influyen en las decisiones del anlisis sintctico, y los atributos, en la traduccin de los componentes lxicos. En la prctica, los componentes lxicos suelen tener un solo atributo un apuntador a la entrada de la tabla de smbolos donde se guarda la informacin sobre el componente lxico; el apuntador se convierte en el atributo del componente lxico. A efectos de diagnstico, puede considerarse tanto el lexema para un identificador como el nmero de lnea en el ste se encontr por primera vez. Estos dos elementos de informacin se pueden almacenar en la entrada de la tabla de smbolos para el identificador. Los componentes lxicos representan: 1. 2. 3. 4. Palabras reservadas: if, while, do, etc Operadores: = + - * / == > < != Constantes Numricas. Constantes de caracteres

CUAL ES SU FUNCION? Construye elementos lxicos llamados patrones que sern utilizado posteriormente por un analizador sintctico. Un patrn es una pareja ordenada compuesta por un token y un lexema. Un lexema es la secuencia de caracteres que coinciden con un token. SALIDA DEL ANALIZADOR LEXICO A la salida del analizador lxico es un conjunto de tokens Qu es un Token? Son elementos reservados en un lenguaje de programacin Ejemplo: Identificadores Enteros Palabras Reservadas Espacios En Blanco Parntesis