Contenido

? Conceptos de Metasistemas o GRIDS. Qué

ofrecen?
METASISTEMAS ? Desafíos
Una nueva técnica de computació n distribuida ? Razones que motivaron la creación de GRIDS
? Posibles aplicaciones
? Tipos de usuarios y su descripción
Prof. Yudith Cardinale y ? Arquitectura
Mariela Curiel
Sep – Dic 2002 ? Ejemplos

Metasistemas: qué es? Metasistema

IBM Compatible

? Otrostérminos usados: Computational Workstation

Laptop computer Token-ring

Grids, Metacomputación, Sistemas de Laptop Computer

Metacomputación Red

IBM Compatible

Ethernet

Laptop computer

Mac II
Laptop computer Metasistema

1
 Metasistemas: qué es?
? Ambientes que integran, a través de redes de
alta velocidad recursos heterogéneos
complejos tales como: supercomputadores,
grandes bases de datos, etc.
? Mecanismo para que los usuarios puedan usar
recursos distribuidos geogr áficamente de
forma transparente, creando la ilusión de un
sistema de computación integrado. Esta ilusión
la provee el middleware.
Metasistemas y SD
Como un SD los metasistemas deben integrar
recursos de capacidades variadas,
conectados por redes no confiables,
localizadas en dominios administrativos
distintos. No obstante, la necesidad de alto
rendimiento puede requerir de modelos de
programación e interfaces radicalmente
diferentes,
Metasistemas: qué es?
? Los GRIDS hecen posible el compartir c
recursos, en forma coordinada, dentro de
organizaciones dinámicas e
interinstitucionales (organizaciones
virtuales).
? La infraestructura debe proveer alto
desempeño y alta disponibilidad
Metasistemas: qué ofrecen?
? Colaboración más efectiva, agrupando co-
investigadores en el mismo espacio virtual.
? Incremento de la capacidad de cómputo local.
? Productividad mejorada a través de un
ambiente de programación considerablemente
más simple.
2
 Metasistemas: qué ofrece?
? Ahorro, los recursos en cuestión pueden
ser muy costosos.
? Espacio de objetos (Archivos)
persistentes compartido.
? Ejecución remota transparente.
Desafíos
? Paralelismo Adaptativo: el conjunto de máquinas
crece y decrece durante la ejecución de una
aplicación. El metasistema debe ser capaz de
reasignar trabajos.
? Heterogeneidad: involucra múltiples arquitecturas.
? Seguridad: No existe un administrador único para
manejar todos los nodos participantes. Los
oferentes necesitan garantías de que no se
permitirán accesos no autorizados a sus máquinas.
? Disponibilidad y alto rendimiento
Desafíos
? Escalabilidad: la idea es que soporten cientos,
miles e incluso millones de máquinas. Estas
máquinas se conectan a través de Internet (alta
latencia y bajo throughput)
? Facilidad de Uso: debe ser fácil agregar una nueva
máquina al conjunto. Facilidad del desarrollo de
aplicaciones.
? Tiempos de Ejecución: Problemas que toman
tiempo en resolverse (horas meses o años); hacen
falta mecanismos de checkpoiting para asegurar
que se pierda la mínima cantidad de trabajo en
caso de fallas.
Razones que motivaron su
creación
? Los datos presentan un gran desafío:
– Los detectores del Laboratorio Europeo de
Partículas Físicas, producirán para el año 2005
varios petabytes de datos por año, un millon de
veces la capacidad de un computador de
escritorio promedio.
– Analizar estos datos pudiera requerir de
alrededor de 20 teraflops/seg de poder
computacional. Hoy en día el supercomputador
más rápido ofrece 3 teraflops/seg.
3
 Razones que motivaron su
creación
? Supercomputadores
? Clusters
– Surgen en 1980
– Los más rápidos son 8000 procesadores (ASCI White
System) en el laboratorio nacional Lawrence
Levermore.
– Ofrecen una mejora considerable en poder de cómputo,
pero es un conjunto de computadores dedicados,
ubicados en un solo lugar.
– Existen razones financieras y técnicas que imponen
límites a cúan grandes deben ser estos sistemas.
Razones que motivaron su
creación
? Computación en Internet
– La computación en Internet busca explotar los
ciclos ociosos de workstations y PC´s de modo
de crear un sistema poderoso de computación
distribuida.
– En 1985 Miron Livny mostró que la mayoría de
las estaciones de trabajo permanecian ociosas y
propuso el sistema Condor para utilizar ciclos
libres de CPU. Es efectivo a pequeña escala:
Universidades.
Razones que motivaron su
creación
? Clusters
– El sistema ASCI White costó 110 millones de
dolares y necesitó de un nuevo edificio.
? Computación en Internet
– Existen alrededor de 400 millones de PC´s en el
mundo, muchas tan poderosas como los
supercomputadores de los 90.
– La mayoría de estos PC´s tienen mucho tiempo
ocioso.
Razones que motivaron su
creación
? Computación en Internet
– En 1997 apareció Entropía (Scott Kurowski).
Usa ciclos ociosos de computadores, alrededor
del mundo, para resolver problemas de interés
científico. En 2 años creció hasta llegar a 30000
computadoras que proveen una rapidez de
cómputo por encima de un teraflop/seg.
Usando este sistema se identificó el número
primo más grande hasta ahora conocido.
4
 Razones que motivaron su
creación
? Computación en Internet
– El próximo paso lo representa David Anderson
con su proyecto SETI@home. Los ciclos
ociosos se utilizan para analizar datos del
telescopio de ARECIBO buscando signos que
indiquen la presencia de inteligencia
extraterrestre. Abarca alrededor del millon de
PC´s.
Razones que motivaron su
creación
? Computational GRIDS
– La tecnología GRID persigue este propósito,
ofreciendo protocolos, servicios y kits para el
desarrollo de software, necesarios para crear un
ambiente que permita compartir recursos a gran
escala.
– Los primeros conceptos se exploraron en 1995
(experimento I-WAY): se usaron redes de alta
velocidad para conectar 17 sites en Norteamerica.
– Hoy en día existen muchos proyectos de
Investigación encargados de desarrollar las
tecnologías para crear GRIDS en varias
comunidades y disciplinas científicas.
Razones que motivaron su
creación
? Computational GRIDS [Foster y Kesselman,
1998]:
– La computación en Internet es sólo un caso especial de
algo mucho más poderoso: la necesidad de distintas
organizaciones (ambito científico) que buscan metas
comunes de compartir recursos.
– El web y el correo electrónico ofrecen mecanismos
básicos que permiten a estos grupos trabajar juntos.
– Lo ideal es agrupar datos, computadores, sensores y
otros recursos en un único laboratorio virtual.
Aplicaciones
? Supercomputación distribuida: usan las
GRIDS para agrupar recursos que
permitan resolver problemas que no
pueden ser resueltos por un solo
computador. Ejemplos: simulación
interactiva distribuida (entrenamiento y
planificación militar), simulación de
procesos físicos complejos (cosmología,
modelamiento del clima,etc.)
5
 Aplicaciones
? High-Throughput computing: la idea es
planificar un gran número de tareas
independientes o débilmente acopladas (poca
sincronización) para aprovechar ciclos de
CPUs ociosos. La naturaleza independiente de
las tareas conduce a diferentes métodos para
resolver el problema. Ejem: Problemas de
criptografía, se uso durante la etapa crucial en
el diseño de los procesadores K6 y K7,
CONDOR.
Aplicaciones
? Computación con un manejo intensivo de
datos: sintetizan información a partir de
datos en repositorios distribuidos,
librerías digitales y bases de datos. El
proceso de síntesis es intensivo desde el
punto de vista computacional y
comunicacional.
Ejem: Experimentos Físicos, Fotografías
Astronómicas.
Aplicaciones
? Computación por demanda: satisfacen
requerimientos de recursos a corto plazo.
Se trata de recursos a los que no se tiene
acceso de manera local. Entre los
recursos tenemos: BD, sensores,
software, cómputo. Ejem: NEOS y
NetSolve, envían a servidores remotos
cálculos que necesitan mucho poder de
cómputo o un software especializado.
Aplicaciones
? Computación colaborativa: permite
interacción hombre-hombre,
generalmente las aplicaciones están
estructuradas en términos de un espacio
virtual compartido.
6
 Usuarios
Usuarios finales
Desarrolladores de aplicaciones
Desarrolladores de herramientas
Desarrolladores del metasistema
Administradores del sistema
Usuarios
? Desarrolladores de herramientas :
?Propósito: implementar herramientas,
compiladores, librerías, etc. que
implementan los modelos de programación
y servicios usados por los desarrolladores de
aplicaciones.
?Usan los servicios del metasistema
?Se preocupan por la adaptabilidad, el
desempeño y la seguridad
Usuarios
? Desarrolladores :
?Propósito: diseñar e implementar los
servicios básicos (protocolo del
metasistema).
?Usan los servicios de los sistemas locales.
?Se preocupan por la simplicidad local, la
conectividad y la seguridad.
Usuarios
? Desarrolladores de herramientas :
?Ejem: Netsolve, MPI
? Los desarrolladores de herramientas deben
usar los servicios básicos para programar
implementaciones eficientes de modelos de
programación que utilizarán los
programadores de aplicaciones.
7
 Usuarios
? Desarrolladores de herramientas :
?Modelos de programación secuenciales:
proveen abstracciones como subrutinas
?Modelos de programación paralelo: threads,
variables de condición, pase de mensajes,
etc.
?No hay consenso sobre cuál sería el modelo
de programación apropiado en GRID:
Shared memory, message passing, RPC,
orientación por objeto, agentes.
Usuarios
? Usuarios finales :
?Propósito: resolver problemas
?Usan las aplicaciones (paquetes), que a su
vez usan los recursos y servicios del GRID.
?Les importa la transparencia y el
desempeño.
Usuarios
? Desarrolladores de aplicaciones:
?Propósito: desarrollar aplicaciones.
?Usan los modelos de programación (tanto
secuencial como paralelo) y las
herramientas
?Se preocupan por la facilidad de uso y el
desempeño.
Usuarios
? Administradores del sistema:
?Propósito: administrar los recursos del
metasistema (administración distribuida)
?Entre los problemas que encuentran se
tienen: manejar comunidades de usuarios,
lograr un equilibrio entre las políticas
locales y las necesidades del metasistema.
8
 Usuarios
? Administradores del sistema:
?Usan herramientas de administración.
?Surgen nuevas actividades tales como:
monitoreo; establecer políticas en
situaciones donde el conjunto de usuarios
puede ser muy largo variando en forma
dinámica; negociar políticas con otros sites
y usuarios, mecanismos de accounting y
pago, etc.
GRIDS y Organizaciones
Virtuales
? Permite compartir recursos en forma
coordinada y controlada para resolver
problemas en organizaciones multi-
institucionales dinámicas.
? Complementa las tecnologías existentes de
computación distribuida
The Anatomy of the Grid
Enabling Scalable Virtual Organization
Autores : Ian Foster, Carl Kesselman
y Steven Tuecke.
2001
GRIDS y Organizaciones
Virtuales
? El web cambió radicalmente la forma cómo se
intercambiaba la información
? La tecnología de GRID y en particular las
organizaciones virtuales (VO) cambiarán
radicalmente la forma cómo se resuelven los
problemas.
? Las VO hacen posible la existencia de grupos
diversos de organizaciones y/o individuos para
compartir recursos en forma controlada , de forma
tal que los miembros puedan colaborar para lograr
una meta común .
9
 GRIDS y Organizaciones
Virtuales
? La compartición de recursos es condicional: cada
propietario coloca sus recursos a la disposición de
otros, sujeto a restricciones sobre dónde, cuándo y
qué se puede hacer.
? Puede variar dinámicamente en el tiempo. Esto
implica que se necesitan mecanismos para
¨descubrir¨ y caracterizar la naturaleza de las
relaciones que existen en un instante de tiempo en
particular.
Arquitectura
? Se propone una arquitectura abierta basada en
estándares. Esto facilita: extensibilidad,
portabilidad, interoperabilidad, etc.
? Define protocolos que describen los mecanismos
básicos por medio de los cuales los usuarios de
las VO establecen relaciones conducentes a
compartir recursos (sharing relationships)
? Se definen servicios para abstraer detalles
específicos de los recursos que se comparten.
GRIDS y Organizaciones
Virtuales
? El compartir puede combinarse y se pueden
estar usando a la vez varios recursos
pertenecientes a distintas organizaciones.
? El mismo recurso puede estarse usando de
distintas formas por distintas organizaciones
virtuales.
Arquitectura
? También se pueden construir APIs y
Software Development Kits, los cuales
proveen las abstracciones necesarias para
construir aplicaciones complejas que usen el
GRID. APIs y SDK pueden acelerar el
desarrollo del código, mejorar la
portabilidad, el reuso del código, etc.
10
 Arquitectura Arquitectura
Fabric (estructura, cimientos): Interfaces para el
Application control local.
? En este nivel están los recursos de acceso
Collective compartido: recursos de cómputo, de
almacenamiento, de red, BD, sensores, etc.
Resource ? Un recurso puede ser una entidad lógica (un FS
distribuido, un cluster de computadoras) o física.
Connectivity ? Este nivel implementa operaciones sobre recursos
específicos. Dichas operaciones son el resultado
Fabric de operaciones, para compartir recursos, que se
invocan en niveles más altos.

Arquitectura
Fabric (estructura, cimientos): Interfaces para el
control local.
? De deben implementar como mínimo dos tipos de
mecanismos:
– Consulta: permiten descubrir la estructura del
recurso, su estado y capacidades (por ejemplo si
pueden reservarse)
– Gestión del recurso : resto de operaciones que
se pueden realizar sobre c/recurso en particular.
Arquitectura
Fabric (estructura, cimientos): Interfaces
para el control local.
? Recursos de Cómputo:
– Consulta: características de hw y sw, carga
actual, estado de la cola de procesos, etc.
– Gestión: Iniciar programas, monitorear y
controlar la ejecución de los procesos,
mecanismos de reservación.

11
 Arquitectura
Fabric (estructura, cimientos): Interfaces para el
control local.
? Recursos de Almacenamiento:
– Gestión: recuperar e introducir archivos, leer y-
o escribir partes del archivo, controlar la
cantidad del recurso que es asignado a los datos
(espacio, ancho de banda de la red, etc).
– Consulta: determinar las características de hw y
sw, información relevante sobre la carga:
espacio en disco disponible, utilización del
ancho de banda, etc.
Arquitectura
Fabric (estructura, cimientos): Interfaces para el
control local.
? Recursos de Red:
– Gestión: proveen control sobre los recursos
asignados a las transferencias a través de la red
(establecer prioridades, reservar, etc.)
– Consulta: características de la red y carga.

Arquitectura
? Connectivity: define
los protocolos de
comunicación y
autenticación que se
requieren para las
transacciones a través
de la red. Connectivity
Arquitectura
Application Connectivity
? Protocolos de comunicación: facilitan el
Collective
intercambio de los datos entre los recursos
del nivel de estructura.
Resource
? Protocolos de autenticación: proveen
mecanismos seguros para verificar la
Fabric
identidad de los usuarios y los recursos.

12
 Arquitectura
Connectivity
? Protocolos de comunicación: deben manejar
transporte, routing, naming. Las alternativas
existentes son utiles, pero no se descarta la
creación de protocolos en el futuro que se adapten
mejor a la dinámica de la red. Entre las
alternativas existentes tenemos: IP (Internet), TPC
y UDP (transporte), DNS (Aplicación), etc.
Arquitectura
Connectivity
– Delegación: un usuario debe ser capaz de dotar
a un programa con derechos para que se ejecute
en su nombre. El programa estará así en
capacidad de utilizar recursos sobre los cuales
el usuario tiene acceso autorizado.
Opcionalmente, el programa podría delegar un
subconjunto de tales derechos a otro programa.
Arquitectura
Connectivity
? Protocolos que se encargan de la seguridad:
muchos de los estándares existentes son de
utilidad, no obstante se requieren de nuevas
soluciones con las siguientes características:
– Single sign on: Los usuarios debería ¨hacer log on¨ una
sola vez y luego tener acceso, sin intervenciones
adicionales, a los múltiples recursos del GRID
definidos en el nivel de estructura.
Arquitectura
Connectivity
– Integración con varias soluciones locales de seguridad:
Cada site o proveedor de recursos debe tener sus
soluciones de seguridad local (kerberos, Unix). Las
soluciones del GRID deben ser capaces de interoperar
con estas soluciones.
– Relaciones basadas en la confianza: Si un usuario va a
necesitar recursos de múltiples proveedores, el sistema
de seguridad no debe exigir la interacción o
cooperación de tales proveedores para configurar el
sistema de seguridad.
13
 Arquitectura Arquitectura
Resource: Manejo de recursos Resource
en forma individual. Application
? Invocan operaciones del nivel de estructura para
Se apoya en los protocolos del
nivel anterior para definir Collective acceder y controlar recursos en forma individual.
protocolos (y APIs y SDKs) ? Las operaciones de este nivel están relacionadas
que permiten la negociación
segura, el monitoreo, con recursos de forma individual; ignoran aspectos
Resource
control, contabilidad y pago tales como: estados globales, acciones atómicas,
de sharing operations. etc. El uso de los recursos como grupos forma
Ofrece operaciones sobre Connectivity
recursos en forma individual. parte del nivel Collective.
Fabric

Arquitectura
Resource
Se distinguen dos clases de protocolos:
? Protocolos de Información: se usan para obtener la
estructura y el estado de los recursos. Ejem:
configuración, carga, política de uso.
? Protocolos de Gestión: permiten negociar el
acceso a un recurso compartido especificando:
– Requerimientos especiales: QoS, reservación
– Las operaciones que serán efectuadas: creación de
procesos, acceso a los datos, etc.
Arquitectura
Resource
Los protocolos de gestión debe garantizar que
se cumplan las políticas bajo las cuales se
comparten los recursos (las operaciones que
se efectuan sobre los recursos deben ser
consistentes con tales políticas). Se deben
considerar aspectos de contabilidad, pago,
monitorear el status de una operación, etc.

14
 Arquitectura Arquitectura
Resource ? Collective: define los Application
? Los protocolos deben ofrecer al menos la misma protocolos, APIs y
SDKs, que no están Collective
funcionalidad que se ofrece en el nivel de
asociados con ningún
estructura.
recurso en particular
? A la lista de funcionalidades se agrega la sino que son de Resource
semántica de ¨al menos una vez¨ para muchas naturaleza global y
capturan las Connectivity
operaciones, con un reporte de errores que indique
cuando fallan las operaciones. interacciones entre
conjuntos de recursos. Fabric

Arquitectura Arquitectura
Collective Collective
Implementan una amplia gama de sharing behaviors ? Replicación de datos
sin colocar requerimientos adicionales en los
recursos que se comparten. Entre los servicios que ? Modelos de Programación
se implementan se tienen: ? Software Discovery
? Servicios de directorio ? Community authorization servers
? Co-asignación, scheduling, brokering services.
? Contabilidad y pago
? Monitoreo y diagnóstico
? Servicios de colaboración

15
 Arquitectura
Collective
? Servicios de directorio: permiten a los
participantes de la VO descubrir la existencia y/o
propiedades de los recursos.
? Co-asignación, scheduling, ruptura (brokering
services): permiten a los participantes solicitar uno
o varios recursos para un propósito específico.
Permiten la planificación de tareas en recursos
adecuados. (AppleS, Condor- G)
? Monitoreo y diagnóstico para detectar fallas,
sobrecarga, ataques de seguridad, etc.
Arquitectura
Collective
? Community authorization servers: hacen cumplir
las políticas que gobiernan el acceso a los
recursos.
? Contabilidad y pago: recogen información sobre el
uso de recursos para propósitos de contabilidad,
pagos y/o colocar límites en el uso de recursos.
? Servicios de colaboración: soportan el intercambio
de información dentro de potencialmente grandes
comunidades de usuarios, ya sea de forma
síncrona o asíncrona.
Arquitectura
Collective
? Replicación de datos: se encargan de la
administración réplicas para mejorar el desempeño
y la confiabilidad.
? Modelos de Programación.
? Software Discovery: descubren y seleccionan la
mejor implementación de software y la mejor
plataforma de ejecución para el problema que se
resuelve (Netsolve, Ninf)
Arquitectura
Collective
? Los componentes o servicios de este nivel
se pueden adaptar a los requerimientos de
una comunidad de usuarios específica o
dominio de aplicación. También se pueden
implementar servicios de un propósito más
general
16
 Arquitectura Otros Puntos de Vista
Aplicaciones ? La Grid es la próxima generación de Internet: No
Application es una alternativa, es más bien un conjunto de
? Se trata de las
protocolos y servicios adicionales construidos
aplicaciones propias Collective sobre Internet, que soportan la creación y uso de
de las organizaciones
ambientes adecuados para el cómputo intensivo y
virtuales. para compartir datos.
Resource
? Se construyen ? Es una fuente de ciclos ociosos: el GRID implica
invocando servicios Connectivity acceso controlado a los recursos. Se tienen
de los niveles políticas que restringen el acceso de acuerdo al
inferiores Fabric grupo, tipo de pago, etc.

Otros Puntos de Vista Otros Puntos de Vista

? Requiere de un SOP distribuido: el software de
GRID debe definir servicios típicos de un SOP a
instalarse en cada sistema participante. Estos
servicios incluyen: serv. de nombres, seguridad,
transparencia, etc.
– Desde este punto de vista el papel del software de
GRID es definir una máquina virtual.
– El modelo más apropiado es un conjunto de protocolos
que ofrecen servicios. La gran heterogeneidad presente
(física y administrativa) hace que la transparencia total
no sea factible.
? Requiere de nuevos modelos de
programación: El GRID introduce grandes
desafíos (heterogeneidad, rendimiento, etc)
que no se encuentran en computadores
paralelos, pero el problema básico de
programación es el mismo. Se pueden usar
técnicas clásicas de abstracción,
encapsulado, programación por objetos.
Pueden surgir otros modelos.

17
 Otros Puntos de Vista
? Hace innecesaria la existencia de
supercomputadores: muchos problemas
requieren todavía de plataformas
fuertemente acopladas, con latencias bajas
y anchos de banda altos; el GRID puede
aumentar las demandas a estos recursos
haciendo más fácil su acceso.

18