Solución de Problemas con

Representaciones de Espacio de Estados

 Temas

• Características de agentes y su entorno

• Agente que resuelve problemas donde la búsqueda consiste de

– espacio de estados
– operadores
– estado inicial
– estados meta

• Abstracción y formulación de problemas

• Árboles de búsqueda: una forma efectiva para representar el proceso

de búsqueda

Juan Gamarra Moreno Búsqueda de Espacio de Estados 2

 Agentes

• Un agente es algo que pude ser visto como algo que percibe su
entorno a través de sensores y actúa sobre ese entorno a través
de actuadores

Agente humano:
ojos, oídos y otros órganos como sensores;
manos, piernas, boca, y otras partes del cuerpo como actuadores

Agente robótico:
cámaras de rango infrarrojo y otros como sensores;
varios motores como actuadores

Juan Gamarra Moreno Búsqueda de Espacio de Estados 3

 Agentes y entornos

• La función agente mapea las historias percibidad a

acciones:
[f: P*  A]

• El programa agente se ejecuta en la arquitectura física

para producir f

• agente = arquitectura + programa

Juan Gamarra Moreno Búsqueda de Espacio de Estados 4

 Mundo aspiradora

• Percibe: ubicación y estado del entorno, e.g., [A,Sucio],

[A,Limpio], [B,Sucio]

• Acciones: Izquierda, Derecha, Succionar, No Operar

Juan Gamarra Moreno Búsqueda de Espacio de Estados 5

 Agente Racional
• Medida de desempeño: Criterio objetivo para éxito del
comportamiento de un agente, e.g.,
– ¿Conductor robot?
– ¿Programa que juega al ajedrez?
– ¿Clasificador de Spam en email?

• Agente Racional: selecciona acciones que se esperan

maximicen la medida de desempeño,
– dada una secuencia de percepciones
– dado el conocimiento integrado del agente
– punto de vista: como maximizar el desempeño del futuro
esperado, dándole solamente datos históricos

Juan Gamarra Moreno Búsqueda de Espacio de Estados 6

 Agentes racionales
• La racionalidad es distinta de la omnisciencia (todo es
conocido con conocimiento infinito)

• Los agentes pueden realizar acciones para modificar

percepciones futuras así como también obtener
información útil (obtención de información, exploración)

• Un agente es autónomo si su comportamiento es

determinado por su propia percepción y experiencia (con
la habilidad de aprender y adaptarse) sin depender
solamente del conocimiento interno

Juan Gamarra Moreno Búsqueda de Espacio de Estados 7

 Entorno de tareas

• Antes que diseñemos un agente inteligente, debemos

especificar su “entorno de tareas” :

PEAS:
Performance measure (Medida de desempeño)
Environment (Entorno)
Actuators (Actuadores)
Sensors (Sensores)

Juan Gamarra Moreno Búsqueda de Espacio de Estados 8

 PEAS

• Ejemplo: Agente = conductor robot en el reto DARPA

– Medida de desempeño (Performance):

• Tiempo para terminar el recorrido

– Entorno:
• Camino, tráfico, obstáculos

– Actuadores:
• Volante, acelerador, freno, luces direccionales, bocina

– Sensores:
• Cámaras ópticas, láseres, sonares, acelerómetro,
velocímetro, GPS, odómetro, sensores del motor

Juan Gamarra Moreno Búsqueda de Espacio de Estados 9

 PEAS

• Ejemplo: Agente = Sistema de diagnóstico médico

Medidas de desempeño:
Paciente saludable, minimizar costos, demandas

Entorno:
Paciente, hospital, personal

Actuadores:
Monitor (preguntas, pruebas, diagnósticos, tratamientos,
referencia)

Sensores:
Teclado (entrada de síntomas, resultados, las respuestas de
los pacientes)

Juan Gamarra Moreno Búsqueda de Espacio de Estados 10

 Tipos de entorno

• Totalmente observable (vs. parcialmente observable):

– Los sensores de un agente le dan acceso al estado
completo del entorno en cada momento del tiempo.
• Determinístico (vs. estocástico):
– El siguiente estado del entorno está completamente
determinado por el estado actual y la acción ejecutada por
el agente.
– Si el ambiente es determinista a excepción de las acciones
de otros agentes, entonces el ambiente es estratégico
– Los entornos deterministas pueden parecer estocásticos a
un agente (por ejemplo, cuando sólo son observables
parcialmente )

• Episódico (vs. secuencial):

– La acción de un agente se divide en episodios atómicos.
Las decisiones no dependen de las decisiones/acciones
anteriores.

Juan Gamarra Moreno Búsqueda de Espacio de Estados 11

 Tipos de entorno

• Estático (vs. Dinámico):

– El medio ambiente no cambia mientras que un agente está
deliberando.
– El entorno es semi dinámico si el entorno en sí no cambia
con el paso del tiempo, pero la puntuación de desempeño
del agente lo hace.

• Discreto (vs. continuo):

– Un conjunto discreto de percepciones distintas, claramente
definidas y acciones.
– ¿Cómo representamos o abstraemos o modelamos el
mundo?

• Agente simple (vs. multi-agente):

– Un agente operando por sí mismo en un entorno.
¿Interfiere el otro agente con mi medida de desempeño?

Juan Gamarra Moreno Búsqueda de Espacio de Estados 12

 Entorno de observable deterministico episódico/ estático/ discreto/ agentes
tarea / Secuencial Dinámico Continuo
estocástico
crucigrama complet. determ. secuencial estático discreto simple

Ajedrez con complet. estrategico secuencial semi discreto multi

reloj

Poker

Conductor parcial estocástico secuencial dinámico continuo multi

de taxi

Diagnóstico
médico

Análisis de complet. determ. episódico semi continuo simple

imagen

Robot parcial estocástico episódico dinámico continuo simple

selector de
piezas
Controlador parcial estocástico secuencial dinámico continuo simple
de refinería

Tutor parcial estocástico secuencial dinámico discreto multi

interactivo

Juan Gamarra Moreno Búsqueda de Espacio de Estados 13

 ¿Cuál es el entorno del reto Darpa?

• Agente = vehículo robot

• Entorno= 130-millas de ruta a través del desierto

– Observable?
– Deterministico?
– episódico?
– estático?
– discreto?
– Agentes?

Juan Gamarra Moreno Búsqueda de Espacio de Estados 14

 Tipos de agente

• Cinco tipos básicos en orden de generalidad creciente:

– Agentes manejados por tablas

– Agentes reflexivos simples

– Agentes reflexivos basados en modelo

– Agentes basados en metas

• Agente solucionador de problemas

– Agentes basados en utilidad

• Puede distinguir entre diferentes metas

– Agentes de aprendizaje

Juan Gamarra Moreno Búsqueda de Espacio de Estados 15

 Agentes solucionadores de problemas

• Los agentes inteligentes pueden resolver problemas al buscar

en un espacio de estados

• Modelo de espacio de estados

– el modelo del mundo del agente
– Usualmente un conjunto de estados discretos
– e.g., al conducir, los estados en el modelo podrían ser
pueblos/ciudades

• Estado Meta(s)
– una meta es definida como un estado deseable para un agente
– pueden haber muchos estados que satisfacen la prueba meta
• e.g., manejar a un pueblo con un hotel con piscina
– o simplemente un estado que satisfaga la meta
• e.g., conducir a Trujillo

• Operadores (acciones, funciones sucesoras)

– los operadores son acciones legales que los agentes pueden tomar
para moverse de un estado a otro

Juan Gamarra Moreno Búsqueda de Espacio de Estados 16

 Simplificación de suposiciones iniciales

• El entorno es estático
– El entorno no cambia mientras el problema se resuelve

• El entorno es observable

• El entorno y acciones son discretos

– (típicamente asumidos, pero existen excepciones)

• El entorno es determinístico

Juan Gamarra Moreno Búsqueda de Espacio de Estados 17

 Ejemplo: Viaje en Rumanía

• Feriado en Rumanía; actualmente en Arad

• Formular meta:
– estar en Bucharest

• Formular el problema:
– estados: varias ciudades
– acciones/operaciones: conducir entre ciudades

• Encontrar solución
– al buscar a través de los estados para encontrar la meta
– secuencia de ciudades, e.g., Arad, Sibiu, Fagaras, Bucharest

• Ejecutar estados que lleven a la solución

Juan Gamarra Moreno Búsqueda de Espacio de Estados 18

 Ejemplo: Viaje en Rumanía

Juan Gamarra Moreno Búsqueda de Espacio de Estados 19

 Formulación de problemas de espacio de
estados
Un problema se define por cuatro elementos:

1. estado inicial e.g., “En Arad“

2. acciones o funciones sucesoras

S(x) = conjunto de accciones–pares de estados
e.g., S(Arad) = {<Arad  Zerind, Zerind>, … }

3. prueba de meta(o conjunto de estados meta)

e.g., x = “en Bucharest”, Revisar(x)

4. costo de camino (aditivo)

e.g., suma de distancias, número de acciones ejecutadas, etc.
c(x,a,y) es el costo del paso, se asume ≥ 0

Una solución es una secuencia de acciones que llevan del

estado inicial al estado meta

Juan Gamarra Moreno Búsqueda de Espacio de Estados 20

 Ejemplo: Formulación del Problema de Navegación

• Set of States
– individual cities
– e.g., Irvine, SF, Las Vegas, Reno, Boise, Phoenix, Denver

• Operators
– freeway routes from one city to another
– e.g., Irvine to SF via 5, SF to Seattle, etc

• Start State
– current city where we are, Irvine

• Goal States
– set of cities we would like to be in
– e.g., cities which are closer than Irvine

• Solution
– a specific goal city, e.g., Boise
– a sequence of operators which get us there,
• e.g., Irvine to SF via 5, SF to Reno via 80, etc

Juan Gamarra Moreno Búsqueda de Espacio de Estados 21

 Abstracción
• Definición de abstracción:
Proceso de remover detalles irrelevantes para crear una
representación abstracta: “de alto nivel”, ignora los detalles
irrelevantes.
• Ejemplo de Navegación: ¿cómo definimos estados y
operadores?
– El primer paso es abstraer “el panorama”
• i.e., resolver un problema mapa
• nodos = ciudades, enlaces = autopistas / carreteras (una
descripción de alto nivel)
• esta descripción es una abstracción del problema real
• Más tarde, puede preocuparse de detalles como rampas en la
autopista, reabastecimiento de combustible, etc.
• La abstracción es fundamental para la resolución de problemas
automatizado
– debe crear un modelo aproximado, simplificado, del mundo, para
que la computadora haga frente a el mundo real que es demasiado
detallado para modelarlo exactamente
– las buenas abstracciones conservan todos los detalles importantes

Juan Gamarra Moreno Búsqueda de Espacio de Estados 22

 Grafo de búsqueda de estados

• Grafos:
– nodos, arcos, arcos dirigidos, caminos

• Grafos de búsqueda:
– Los Estados son los nodos
– Los operadores son arcos dirigidos
– La solución es un camino desde el inicio S a la meta G

• Formulación del problema:

– Dar una descripción abstracta de estados, operadores, estado
inicial y estado meta

• Solución del problema:

– Generar una parte del espacio de búsqueda que contiene una
solución

Juan Gamarra Moreno Búsqueda de Espacio de Estados 23

 Ejemplo: Problema del agente viajero

• Encuentra el recorrido más corto que visita todas las ciudades sin
visitar cualquier ciudad dos veces y volver al punto de partida.
• State: secuencia de las ciudades visitadas
• S0 = A
C

B
A D
F

• G = un tour completo E

Juan Gamarra Moreno Búsqueda de Espacio de Estados 24

 Ejemplo: problema de las 8 reinas

Juan Gamarra Moreno Búsqueda de Espacio de Estados 25

 Formulación de problema de Espacio de Estados

• ¿estados? -cualquier disposición de n<=8 reinas

-o disposición de n<=8 reinas en n columnas más a la
izquierda, 1 por columna, tal que ninguna reina ataque a
culquier otra.
• ¿estado inicial state? Ninguna reina en el tablero

• ¿acciones? - añadir una reina a cualquier casilla vacía

- o añadir una reina al cuadrado vacío más a la izquierda tal
que no es atacado por otras reinas.

• ¿prueba de meta? 8 reinas en el tablero, ninguna atacada.

• ¿costo del camino? 1 por movimiento

Juan Gamarra Moreno Búsqueda de Espacio de Estados 26

 Ejemplo: Robot Assembly

• States

• Initial state

• Actions

• Goal test

• Path Cost

Juan Gamarra Moreno Búsqueda de Espacio de Estados 27

 Ejemplo: Robot Ensamblador

• Estados: configuración del robot (ángulos, posiciones) y partes de

objetos.
• Estado inicial: cualquier configuración del robot y partes de
objetos .
• Acciones: movimiento continuo de las articulaciones del robot.
• Objetivo de la prueba: ¿objeto ensamblado?.
• Costo de Camino: tiempo empleado o el número de acciones.

Juan Gamarra Moreno Búsqueda de Espacio de Estados 28

 Aprendizaje de un clasificador de spams en
e-mails
• Estados

• Estado inicial

• Acciones

• Prueba de Meta

• Costo de Camino

Juan Gamarra Moreno Búsqueda de Espacio de Estados 29

 Aprendizaje de un clasificador de spams en
e-mails
• Estados: ajustes de los parámetros en nuestro modelo

• Estado inicial: configuración de los parámetros aleatorios

• Acciones: se mueven en el espacio de parámetros

• Prueba de meta: precisión óptima en los datos de

entrenamiento

• Costo de camino: tiempo necesario para encontrar los

parámetros óptimos

(Nota: se trata de un problema de optimización - muchos

problemas de aprendizaje de máquina se pueden lanzar como de
optimización)

Juan Gamarra Moreno Búsqueda de Espacio de Estados 30

 Ejemplo: puzzle-8

• ¿estados?

• ¿estado inicial?

• ¿acciones?

• ¿prueba de meta?

• ¿costo de camino?

Juan Gamarra Moreno Búsqueda de Espacio de Estados 31

 Ejemplo: puzzle-8

• ¿estados? ubicaciones de las piezas

• ¿estado inicial? dado

• ¿acciones? Mover blanco a la izquierda, derecha, arriba, abajo

• ¿prueba de meta? Estado meta (dado)

• ¿costo de camino? 1 por movimiento

Juan Gamarra Moreno Búsqueda de Espacio de Estados 32

 Problema de las jarras de agua

• Usted tiene una jarra

para agua de 4
galones y de 3 galones

• Usted tiene un grifo

con una cantidad
ilimitada de agua

• Usted tiene que

obtener exactamente
2 galones en la jarra
de 4 galones

Juan Gamarra Moreno Búsqueda de Espacio de Estados 33

 Problema de las jarras de agua

• Representación de estados: (x, y)

– x: Contenido de la jarra de 4 galones
– y: Contenido de la jarra de 3 galones

• Estado inicial: (0, 0)

• Estado meta: (2, n)

• Operadores
Llenar la jarra de 4 galones, Llenar la jarra de 3 galones. Verter algo de agua de la
jarra de 4 galones a la de 3 galones, Verter algo de agua de la jarra de 3 galones
a la de 4 galones. Vaciar el agua de la jarra de 4 galones al piso. Vaciar el agua
de la jarra de 3 galones al piso. Pasar agua de la jarra de 3 galones a la jarra de
4 galones hasta que la jarra de 4 galones esté llena, Pasar agua de la jarra de 4
galones a la jarra de 3 galones hasta que la jarra de 3 galones esté llena. Pasar
toda el agua de la jarra de 3 galones a la jarra de 4 galones. Pasar toda el agua
de la jarra de 4 galones a la jarra de 3 galones.

Juan Gamarra Moreno Búsqueda de Espacio de Estados 34

 Reglas de producción para el problema de
las jarras de agua
1 (x,y)  (4,y) Llenar la jarra de 4 galones
if x < 4

2 (x,y)  (x,3) Llenar la jarra de 3 galones

if y < 3

3 (x,y)  (x – d,y) Verter algo de agua de la jarra de 4 galones

if x > 0 a la de 3 galones

4 (x,y)  (x,y – d) Verter algo de agua de la jarra de 3 galones

if x > 0 a la de 4 galones

5 (x,y)  (0,y) Vaciar el agua de la jarra de 4 galones al

piso
if x > 0
Vaciar el agua de la jarra de 3 galones al
6 (x,y)  (x,0) piso
if y > 0

7 (x,y)  (4,y – (4 – x)) Pasar agua de la jarra de 3 galones a la jarra

if x + y ≥ 4 and y > 0 de 4 galones hasta que la jarra de 4
galones esté llena

Juan Gamarra Moreno Búsqueda de Espacio de Estados 35

 Reglas de producción para el problema de
las jarras de agua
8 (x,y)  (x – (3 – y),3) Pasar agua de la jarra de 4 galones a la jarra
if x + y ≥ 3 and x > 0 de 3 galones hasta que la jarra de 3
galones esté llena

9 (x,y)  (x + y, 0) Pasar toda el agua de la jarra de 3 galones a

if x + y ≤ 4 and y > 0 la jarra de 4 galones

10 (x,y)  (0, x + y) Pasar toda el agua de la jarra de 4 galones a

la jarra de 3 galones.
if x + y ≤ 3 and x > 0

Juan Gamarra Moreno Búsqueda de Espacio de Estados 36

 Una solución al problema de las jarra de agua

Galones en la jarra Galones en la Regla Aplicada

de 4 galones jarra de 3
galones

0 0 2

0 3 9

3 0 2

3 3 7

4 2 5

0 2 9

2 0

Juan Gamarra Moreno Búsqueda de Espacio de Estados 37