ANALIZADOR LEXICO

Un analizador de léxico tiene como función principal el tomar secuencias de caracteres o

símbolos del alfabeto del lenguaje y ubicarlas dentro de categorías, conocidas como unidades de
léxico. Las unidades de léxico son empleadas por el analizador gramatical para determinar si lo
escrito en el programa fuente es correcto o no gramaticalmente. Algunas de las unidades de
léxico no son empleadas por el analizador gramatical sino que son descartadas o filtradas. Tal es
el caso de los comentarios, que documentan el programa pero que no tienen un uso gramatical,
o los espacios en blanco, que sirven para dar legibilidad a lo escrito. En la terminología
empleada en la construcción de un analizador de léxico se encuentran los siguientes términos.

Patrón

Representa la regla para que una secuencia de caracteres sea considerada cierta unidad de
léxico. Ejemplo: El patrón para un identificador de C es:

Una letra seguida por letras, dígitos o guiones (_)

Lexema

El valor actual de un conjunto de caracteres que satisfacen un patrón. Ejemplo:

Este_es_1_ejemplo

Este es el lexema que satisface el patrón de un identificador

Token o Ficha

El valor asociado a una categoría o unidad de léxico. Se representa como un número entero o
una constante de un byte.

Ejemplo: el token de un identificador puede ser 1 ó id (si id fue definida como 1).

Unidades de léxico

Categorías en que se clasifican las cadenas de caracteres válidos en un lenguaje. Los caracteres
válidos reciben el nombre de alfabeto. Por ejemplo, el alfabeto de Turbo C es:

A-Z, a-z, 0-9, _, =, :, ;, ,, , -, ', ", *, /, (, ), [, ], ., <, >

y las unidades de léxico para C son:

● identificadores
● literales numéricas
● operadores aritméticos
● cadenas de caracteres
● separadores
● operadores relacionales
● operadores lógicos
● comentarios