Cmo se disea un agente?

Considerando el agente como entidad que interacta con su

entorno el diseo de un agente requiere estudiar:
Agentes Inteligentes Cmo percibir el entorno
Cmo representar el entorno
Cmo definir los actuadores
Modelos y Arquitecturas de Agentes Utilizando la definicin de Newell:
Cmo representar los objetivos del agente
Cmo describir la toma de decisiones del agente
Juan Pavn Mestras Cmo representar el conocimiento
Y si consideramos un SMA, segn Ferber, los mismos elementos
Dep. de Ingeniera del Software e Inteligencia Artificial
de antes y adems:
Leyes que controlan el entorno
Objetos ubicados
Coordinacin de los agentes
http://grasia.fdi.ucm.es Acciones permitidas

UCM 2006-07 Modelos y arquitecturas de agentes 2

La tecnologa se asienta Agentes reactivos

El estudio de estos elementos ha derivado en Modelo de agentes puramente reactivos
Arquitecturas El proceso del agente es un ciclo percepcin-accin
Desde la experimentacin en la construccin de sistemas
(estmulo/respuesta)
Reacciona a la evolucin del entorno
Lenguajes
No hay una representacin explcita del entorno, de los otros
Desde el estudio terico de los agentes, principalmente con agentes, sus capacidades, etc.
lgicas modales
Las decisiones no tienen en cuenta ni el pasado (no hay
El avance en la experimentacin de diseo de sistemas ha historia) ni el futuro (no hay planificacin)
progresado hacia soluciones ms orientadas a la industria
Plataformas de desarrollo de agentes
Arquitecturas reusables percepcin accin
Entornos de desarrollo Agente
Metodologas

Entorno
UCM 2006-07 Modelos y arquitecturas de agentes 3 UCM 2006-07 Modelos y arquitecturas de agentes 4
 Agentes reactivos Agentes reactivos
Agentes reactivos que mantienen su estado interno Ejemplo de ciclo de ejecucin de un agente
Deciden la accin a realizar teniendo en cuenta su historia de reactivo
interacciones con el entorno
Secuencia de estados del entorno o secuencia de percepciones
Reglas: situacin-accin
Se guarda como estado interno del agente Conjunto de percepciones

while (true) {
percepcin accin estado = interpretar_entrada (percepcion);
regla = correspondencia (estado, Reglas);
siguiente estado ejecutar (regla, accion);
Agente }

Entorno
UCM 2006-07 Modelos y arquitecturas de agentes 5 UCM 2006-07 Modelos y arquitecturas de agentes 6

Agentes reactivos (subsuncin) Agentes reactivos (subsuncin)

Arquitectura de subsuncin
[A. Brooks, A Robust Layered Control System for a Mobile Robot, 1986]
Un conjunto de mdulos de comportamiento que realizan
tareas
No hay representacin ni razonamiento simblico
El comportamiento se puede implementar como un conjunto de
reglas
situacin -> accin
donde situacin se toma directamente de la percepcin (sin
ningn tipo de transformacin a representaciones simblicas)
Jerarqua de subsuncin Se pueden aadir y quitar
comportamientos sin tener
Se pueden ejecutar varios comportamientos simultneamente que modificar el cdigo de
Complejidad O(n)
Siendo n el
Para elegir entre ellos se usa la jerarqua de subsuncin los otros
nmero de
Los comportamientos estn ordenados por capas comportamientos
Los comportamientos de las capas ms bajas (mayor
prioridad) inhiben a los de las capas superiores
[Vidal 2000, http://www.multiagent.com/arch/]
UCM 2006-07 Modelos y arquitecturas de agentes 7 UCM 2006-07 Modelos y arquitecturas de agentes 8
 Agentes reactivos (subsuncin) Agentes reactivos (subsuncin)
Arquitectura de subsuncin [Brooks 86] Nodos supresores e inhibidores

Comportamiento 1:
Comportamiento 2 Pasearse

sensores
Comportamiento 1
Nodo supresor Comportamiento 0:
actuadores
Evitar contacto Nodo inhibidor
Comportamiento 0

Las entradas a los mdulos de Las salidas de los mdulos de

comportamiento se pueden suprimir comportamiento se pueden inhibir

UCM 2006-07 Modelos y arquitecturas de agentes 9 UCM 2006-07 Modelos y arquitecturas de agentes 10

Agentes reactivos (Robots distribuidos) Agentes reactivos (Robots distribuidos)

Ejemplo: robots distribuidos [Steels 89] Hay dos comportamientos que se ejecutan en
Problema paralelo:
Un conjunto de robots tienen que recoger
minerales (cuya localizacin no se conoce de Comportamientos de manejo de objetos
antemano) y llevarlas a una nave nodriza 1. Si se detecta un obstculo =>cambiar de direccin.
Los minerales se encuentran en cmulos 2. Si se llevan muestras y se est en la base
Arquitectura de subsuncin cooperativa => descargar las muestras.
La cooperacin no usa comunicacin directa 3. Si se llevan muestras y no se est en la base
La comunicacin se realiza a travs del => dejar dos migas y moverse hacia mayor gradiente.
entorno:
4. Si se detecta una muestra => recogerla.
Campo gradiente de la seal generada
por la nave nodriza 5. Si se detectan migas
Partculas radioactivas que pueden => recoger una y moverse hacia menor gradiente.
recoger, echar y detectar los robots al 6. Si cierto => moverse de manera aleatoria.
pasar
Comportamientos de movimiento
organizados de acuerdo a una jerarqua de subsuncin

UCM 2006-07 Modelos y arquitecturas de agentes 11 UCM 2006-07 Modelos y arquitecturas de agentes 12
 Agentes reactivos (subsuncin) Agentes reactivos (MANTA)
Ejemplo de jerarqua de subsuncin MANTA: Modeling an ANThill Activity [Drogoul 93]
Sistema de control de un robot mvil Simulacin de sociedades de hormigas para estudiar la
emergencia del reparto de trabajo en el seno de la
Evitar obstculo
sociedad
Cada hormiga tiene operaciones de percepcin,
seleccin y activacin que manipulan un conjunto de
Camino atractivo tareas
Cada tarea se define por:
sensores Una secuencia de acciones primitivas directamente
Movimiento de exploracin
ejecutables por los actuadores del agente en su entorno
Peso (importancia para el agente)
Movimiento de regreso Umbral y nivel de activacin
Seleccin por competicin de tareas
A nivel de sistema esta regulacin permite la emergencia
Movimiento aleatorio
de especializaciones y de reparticin de tareas entre
actuadores agentes

UCM 2006-07 Modelos y arquitecturas de agentes 13 UCM 2006-07 Modelos y arquitecturas de agentes 14

Agentes reactivos (MANTA) Clasificacin de agentes reactivos [Demazeau 96]

Agentes organizados Auto-organizacin

Mecanismos de reproduccin
Agentes reproductores

Mecanismos de agrupacin
Agentes cooperativos
Mecanismos de
Acciones coordinadas inhibicin/activacin
Arquitecturas de subsuncin

Estmulo/Respuesta Autmatas de estados finitos

UCM 2006-07 Modelos y arquitecturas de agentes 15 UCM 2006-07 Modelos y arquitecturas de agentes 16
 Agentes reactivos: conclusiones Agentes deliberativos
Sistemas constituidos de numerosos agentes homogneos Extienden arquitecturas cognitivas de la IA
Sencillos, flexibles, tratables computacionalmente, robustos, El proceso del agente introduce una funcin deliberativa
tolerantes a fallos
entre la percepcin y la ejecucin para elegir la accin
La inteligencia emerge del SMA correcta
Problemas:
Los agentes necesitan conocer suficiente informacin sobre
su entorno para actuar adecuadamente percepcin delibera accin
La visin del agente es a corto plazo ya que est basada
nicamente en informacin local
Es difcil el aprendizaje y la mejora de las capacidades de los Estado mental
agentes con el tiempo
Es difcil desarrollar agentes con muchas capas de Agente
comportamiento
La dinmica de las interacciones entre los comportamientos se
hace cada vez ms compleja
No hay metodologa para crear este tipo de agentes: prueba Entorno
y error

UCM 2006-07 Modelos y arquitecturas de agentes 17 UCM 2006-07 Modelos y arquitecturas de agentes 18

Agentes deliberativos Agentes deliberativos

Ejemplo de ciclo de ejecucin de un agente deliberativo Requieren dos procesos:
1. Decidir qu objetivos perseguir: deliberacin
EstadoMental s;
2. Decidir cmo alcanzar dichos objetivos: razonamiento
ColaEventos eq;
basado en medios y fines
...
s.inicializa(); Se basan en el razonamiento prctico (decidir
en cada momento la accin a realizar para
while (true) {
facilitar la consecucin de los objetivos)
opciones = generar_opciones (eq, s);
seleccionado = delibera (opciones, s); Modelo BDI (Beliefs-Desires-Intentions)
s.actualiza_estado(seleccionado); Precusor: IRMA [Bratman 88]
ejecutar (s);
Arquitectura PRS (Procedural Reasoning System)
eq.mira_eventos();
[Georgeff y Lansky 87]
}
Lgicas BDI [Rao y Georgeff]

UCM 2006-07 Modelos y arquitecturas de agentes 19 UCM 2006-07 Modelos y arquitecturas de agentes 20
 Arquitectura BDI
Las intenciones del agente juegan un importante papel en
el razonamiento prctico:
Dirigen el razonamiento basado en medios y fines
Restringen las deliberaciones futuras
Persisten
Influencian las creencias sobre las que se basar el futuro
razonamiento prctico
Cada cierto tiempo el agente deber replantearse sus
intenciones, abandonado aquellas que considera que no
va a alcanzar, aquellas que ya ha alcanzado y aquellas
cuya justificacin ha desaparecido
UCM 2006-07 Modelos y arquitecturas de agentes
Arquitectura BDI
Dos extremos:
El agente que no reconsidera suficientemente a menudo sus
intenciones (atrevido)
Comportamiento dirigido por objetivos
El agente que continuamente reconsidera sus intenciones
dedicando as un tiempo insuficiente a su consecucin
(precavido)
Comportamiento dirigido por eventos (reactivo)
Lo difcil es encontrar el equilibrio entre ambos
comportamientos [Kinny y Georgeff 91]
En entornos estticos el comportamiento dirigido por
objetivos es ms adecuado
Los agentes no pierden tiempo reconsiderando sus objetivos y
actan para tratar de conseguir satisfacerlos
En entornos dinmicos es necesario tener cierta precaucin
Los agentes pueden reconsiderar sus intenciones y aprovechar
nuevas oportunidades
21 UCM 2006-07 Modelos y arquitecturas de agentes 22

Arquitectura BDI Arquitectura BDI

percepcin
Componentes de un agente BDI:
Conjunto de creencias actuales que tiene el agente
acerca de su entorno revisin de creencias
Funcin de revisin de creencias (frc) que actualiza las
creencias en base a las percepciones genera opciones
creencias
Funcin de generacin de opciones (deseos) a partir de
sus creencias e intenciones
Conjunto de opciones actuales (acciones disponibles) deseos
Funcin filtro correspondiente al proceso de
deliberacin filtra
Determina las nuevas intenciones en funcin de sus
creencias, deseos e intenciones
Conjunto de intenciones actuales intenciones ejecuta
Funcin de seleccin de acciones (ejecuta)
Determina la accin a ejecutar a partir de las intenciones
actuales accin
UCM 2006-07 Modelos y arquitecturas de agentes 23 UCM 2006-07 Modelos y arquitecturas de agentes 24
 Arquitectura BDI Arquitectura BDI extendida (1)
En las arquitecturas BDI el estado interno del agente
(habitualmente conocido como estado mental) est
formado por tres componentes: creencias, deseos e
intenciones.
La arquitectura BDI clsica ha evolucionado a lo que
podramos denominar arquitectura BDI extendida, en la
cual el estado mental del agente integra cinco factores:
Creencias
Deseos
Objetivos
Intenciones
Planes

[Vidal 2000, http://www.multiagent.com/arch/]

UCM 2006-07 Modelos y arquitecturas de agentes 25 UCM 2006-07 Modelos y arquitecturas de agentes 26

Arquitectura BDI extendida (2) Arquitectura BDI extendida (3)

Creencias: conocimiento del agente sobre su entorno
Deseos: se derivan de las creencias. Hechos que el agente
quiere que se cumplan en estados futuros. Puede haber C Deseos
R P
conflictos y contradicciones entre ellos E L
Objetivos
Objetivos: subconjunto de los deseos a cuya consecucin E A
podra dedicarse el agente. Tienen que ser realistas y no N N
C E
puede haber conflictos entre ellos I
Intenciones
S
Intenciones: subconjunto de los objetivos. Son los que el A
agente persigue en el momento presente S

Planes: combinan las intenciones del agente en unidades

consistentes. Reflejan las acciones a desarrollar por el
agente para conseguir sus intenciones. Habr un plan
global y un nmero suficiente de niveles de subplanes

UCM 2006-07 Modelos y arquitecturas de agentes 27 UCM 2006-07 Modelos y arquitecturas de agentes 28
 Una arquitectura para agentes de interfaz
[Gomez 00] Ciclo de vida de un objetivo

refinamiento
Pendiente Refinado
Cognitive System
Knowledge Base Working
Declarative Memory comienza ejecucin de tarea
Knowledge
Objectives
Resolution Space
Knowledge Event Resolvindose
Facts Space WM Manager
Domain
Knowledge
Evidencia de xito Evidencia de fallo
Inference Engine
External
Events: Satisfecho Fallo
control visual Mailbox Application or
User
<< E vent >> <<objective >>
<< Widget>>

UCM 2006-07 Modelos y arquitecturas de agentes 29 UCM 2006-07 Modelos y arquitecturas de agentes 30

Descomposicin de objetivos Espacio de objetivos

rboles Y/O [Rich y Knight 90]
A A
No molestar Incrementar Y
al usuario beneficios Y
B C B C
O
O O

Evaluar No enviar Vender Reducir

D E D E
autnomamente informacin indeseada ms costes

Resolucin por xito Resolucin por fracaso

- Reglas de transmisin de xito o de fallo

UCM 2006-07 Modelos y arquitecturas de agentes 31 UCM 2006-07 Modelos y arquitecturas de agentes 32
 Cambio de estados de objetivos Arquitectura BDI: Conclusiones

El proceso de generacin de opciones de un

Rule 1 If There is an event indicating proximity
agente BDI es realmente un proceso recursivo
of a deadline for a task and there exists de generacin de una jerarqua de planes
Analyze_situation in PENDING state then
tell the objectives space to refine
En cada paso se generan intenciones ms especficas
Analyze_situation hasta llegar a acciones directamente ejecutables

Rule 2 If there exists Obtain_data in PENDING

El proceso de deliberacin de un agente BDI
state then activate Obtain_data and solve debe ser ajustado en funcin de la variabilidad
Obtain_data del entorno
Rule 3 If there exists data (reports and status) En la prctica el problema est en encontrar
about a task and there exists
Analyze_situation in SOLVING state then
implementaciones eficientes de esta
solve Analyze_situation arquitectura

UCM 2006-07 Modelos y arquitecturas de agentes 33 UCM 2006-07 Modelos y arquitecturas de agentes 34

Arquitectura de capas horizontales:

Agentes hbridos TouringMachines
Arquitecturas basadas en capas Arquitectura de 3 capas horizontales:
Reactiva (respuesta inmediata a cambios del entorno, como reglas
Unas capas o subsistemas implementan el comportamiento
situacin->accin, o entrada de sensor-> salida de actuador)
reactivo y otras el comportamiento deliberativo Planificadora (comportamiento proactivo basado en esquemas de planes)
Capas horizontales: todas las capas estn conectadas a la Modeladora (modelo del mundo para anticipar conflictos y genera nuevos
entrada y salida del agente objetivos para la capa planificadora)
Capas verticales: la entrada y la salida estn conectadas a una Embebidos en un subsistema de control basado en reglas que pueden
nica capa del agente inhibir entradas y salidas, y determina que capa tiene control sobre el
agente
Inicialmente en robtica
AuRA [Arkin 90, Integrating behavioral, perceptual and world
entrada
knowledge in reactive navigation] Capa modeladora
Sistema reactivo para el control de bajo nivel del robot
Planificacin para la toma de decisiones Subsistema
Capa planificadora Subsistema accin
percepcin
Otros ejemplos:
RAP [Firby 89, Adaptive execution in dynamic domains] Capa reactiva
Interrap [Muller et al. 95, Modelling reactive behaviour in salida
vertically layered agent architectures]
Touring Machines [Ferguson 92] Subsistema de control

UCM 2006-07 Modelos y arquitecturas de agentes 35 UCM 2006-07 Modelos y arquitecturas de agentes 36
 Arquitectura de capas verticales:
InterRap Arquitecturas hbridas: Conclusiones
Arquitectura de 3 capas verticales con 2 pasos: Arquitecturas de carcter general
Capa de comportamiento (reactivo): informacin del entorno Las ms utilizadas
Capa de planificacin (pro-activo): planes y acciones del agente La propia arquitectura de subsuncin de Brooks es otro ejemplo de este
tipo de arquitecturas
Capa de cooperacin (interaccin social): planes y acciones de otros
agentes del entorno Utilizan una descomposicin natural de la funcionalidad del agente
Ms una base de conocimiento tambin organizada por capas No tienen la claridad conceptual y semntica de otras arquitecturas
La gestin de interacciones entre capas puede ser compleja
Capas horizontales:
ejecucin
cooperacin conocimiento social Ventaja: simplicidad conceptual
Si necesitamos que un agente tenga n tipos de comportamientos,
implementamos n capas diferentes
planificacin
conocimiento BC Inconveniente: el comportamiento global puede no ser coherente
planificacin Se suele aadir una funcin de mediacin que decide qu capa tiene el
control en cada momento cuello de botella y complejidad de diseo del
comportamiento modelo del mundo control de interacciones entre capas
Capas verticales
activacin
Arquitecturas de uno o dos pasos
interfaz Ventaja: La complejidad de las interacciones entre capas se reduce
Inconveniente: Para tomar una decisin hay que pasar el control a
Percepcin accin cada una de las capas No tolerante a fallos
UCM 2006-07 Modelos y arquitecturas de agentes 37 UCM 2006-07 Modelos y arquitecturas de agentes 38

Referencias
Bratman, M. E., Israel, D., and Pollack, M., Plans and Resource-bounded Practical
Reasoning, Journal of Computational Intelligence, vol. 4, no. 4, pp. 349-355,
1988.
Brenner, W., Zarnekow, R. Wittig, H. Intelligent Software Agents. Springer, 1998.
Brooks, R.A., Intelligence without representation. Artificial Intelligence, 47, 1991.
Carver, N. and Lesser, V. R.:The Evolution of Blackboard Control Architectures.
Informe. Department of Computer Science, University Massachusetts. 1992
Ferber, J. Multiagent systems : an introduction to distributed artificial intelligence,
Addison-Wesley, 1999.
Genesereth, M.R., Ketchpel, S.P. Software Agents. CACM, 37, 7, 1994
Jennings, N.R., On agent-based software engineering. Artificial Intelligence, 117,
2000.
Mller, J.P., The design of intelligent agents: a layered approach. Lecture Notes in
Computer Science, Vol.1177, Springer-Verlag, 1996
Shoham, Y. Agent-oriented programming. Artificial Intelligence, 60, 1993.
Sycara K.P. Multiagent Systems. AI Magazine, Summer 1998.
Weiss, G. Multiagent Systems. The MIT Press, 1999.

UCM 2006-07 Modelos y arquitecturas de agentes 39