Computacion Grid

CLCAR 2009
Mérida - Venezuela
21 de septiembre de 2009
Computación Grid
Herbert Hoeger
hhoeger@ula.ve
*Centro de Cálculo Científico
*Universidad de Los Andes
*EELA-2
Conceptos Preliminares
Supercomputación: Fue definida para hacer

referencia a computadoras con capacidades muy
superiores a las de otras máquinas disponibles.
Sistemas típicos: DEC VAX: 1-10 Mflops
(nada en el medio → performance gap)
Supercomputadoras: Crays, CDCs: ~100 Mflops
Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 2

Hoy en día la distinción ya no es clara (¡tabla hasta 1990!).

1000
E Supercomputadores
f
i
c 100
i Mainframes
e
n
c
i 10
a Microprocesadores
Minicomputadores
M
F
1
1965 1970 1975 1980 1985 1990

Computación de Alto Rendimiento: Es aquella que
proporciona un mayor capacidad de cómputo que
la que se puede obtener de computadores
individuales.
•Sistemas de memoria compartida.
•Sistemas distribuidos.
•Clusters.
→ Máquinas paralelas
En inglés: High Performance Computing o HPC.

Computación Paralela: Es la utilización de múltiples
procesadores para resolver una tarea común.
Se divide el problema es trozos más pequeños y se
asignan a diferentes procesadores.
CPUs
... Memorias Locales
Mecanismo de switches o bus CPUs
... ... ...

Bancos de Dispositivos de Mecanismo de enrutamiento
Memoria Entrada/Salida
Memoria Memoria
Compartida Distribuida

Usamos computación paralela ya que…
Los monoprocesadores limitan:
•El rendimiento.
•La memoria disponible.
La máquinas paralelas permiten:
•Resolver problemas más grandes.
•Resolver problemas más rápido.
•Resolver más problemas.
•Hoy en día HPC es prácticamente computación
paralela.
Ejemplo: modelado y predicción climática.

Computación Distribuida: Es la utilización de

múltiples sistemas, de alguna forma organizada,
para trabajar en un objetivo común.

Computación Distribuida
•Requiere software para la coordinación de

recursos y tareas.
•Computación paralela / HPC es computación
distribuida.
•Computación Grid es computación distribuida.

Sistemas Operativos Distribuidos – Características

Transparencia: Provee la visión de una sola
máquina
(máquina virtual)
•Acceso: a recursos remotos igual que a locales.
•Ubicación:
•Independencia de nombre – ubicación.
•Independencia de máquina – recurso.
•Replicación: Las replicaciones mejoran el
rendimiento y la disponibilidad – el uso, nombre y
control de replicas debe ser transparente.

•Migración: por rendimiento, seguridad y

disponibilidad, los objetos (procesos y/o datos)
pueden migrar.
•Concurrencia: cada usuario tiene la impresión de
ser el único usuario – así existan muchos.
•Escalabilidad: el sistema puede “crecer” sin
afectar las actividades de los usuarios.
•Heterogeneidad: Soportar diferentes tipos de
hardware y software.
•Seguridad: Protección contra destrucción y usos
no autorizados.
10
•Disponibilidad: debe operar todo el tiempo aún

bajo fallas (quizás con cierta degradación).
•Evitar fallas: usar componentes de calidad.
•Tolerar fallas: redundancia de componentes
•Detectar y recuperar fallas: usar hardware y software
para descubrir y reparar fallas.
•Flexibilidad: Facilidad para reemplazar, modificar

o agregar componentes.
•Rendimiento: Las aplicaciones deben correr mejor
(o al menos igual) que en monoprocesadores.

Computación Grid
•Los objetivos generales son los mismos que vimos
para sistemas operativos distribuidos pero a un
nivel superior.
•Debe operar con distintos sistemas operativos.
Grid
Middleware
Linux A Solaris AIX HPUX IRIX Windows Linux B Mac OS AIX

Computación Grid
Computación Grid es computación distribuida
llevada a un nivel multi-organizacional / multi-
sistemas.
Organización
Dpto. Dpto.
Organización
Dpto. Dpto.
Dpto.
Dpto.
Son muchos sistemas locales, manejados por

Organización
otras personas/organizaciones,
Organización cooperando. Dpto. Dpto.
Dpto. Dpto.
Dpto.
Dpto.

Computación Grid
• Hoy en día tenemos:

– Conectividad global a través de Internet.
– Disponibilidad y confiabilidad en el ancho
de banda.
– La velocidad de las redes se duplica cada 9
meses.

Computación Grid
Usar Internet como una

plataforma de servicios de
computación y no solo
como una fuente de
información.

Computación Grid
Características
• Autentificación • Manejo de Recursos
• Políticas de • Balanceo de cargas
Autorización Aplicaciones
• Manejo de Fallas
• Descubrimiento de • Monitoreo
recursos • Garantizar el
Grid
• Ubicación de recursos Middleware
rendimiento
• Acceso a data remota • Detección de intrusos
• Alta velocidad de • Escalabilidad, etc
Recursos
transferencia de data

Más Propiedades del Grid
Un Grid debe prestar servicios en forma:
• Extendida: muchos recursos en muchos lugares

• Constante: 365 días x 24 horas
• Confiable: utilización de canales seguros
• Simple: fácil de usar
• Transparente: no importa donde se almacenan
los datos o donde se ejecutan los programas.
• Económica: utiliza los recursos actuales y es
sencillo adicionar nuevos recursos.

Cluster vs. Grid
CLUSTER GRID
• Equipos homogéneos. • Equipos heterogéneos.
• Sistema operativo único. • Múltiples sistemas operativos.
• Administración y manejo • Administración y manejo
centralizado - única. descentralizado – multidominio
• Equipos están concentrados. • Equipos están dispersos.
• Objetivo: mejorar el • Objetivo: mejorar el rendimiento
rendimiento dedicando más compartiendo recursos sub-
recursos. utilizados en otras partes.

Cluster

Grid

Cloud vs. Grid
CLOUD GRID
• Foco: Comercial – Servicio. • Foco: HPC.
• Muchos basados en grids.
• Fáciles de usar. • Más complicados de usar.
• Compartir no es objetivo. • Compartir recursos, datos,
No colaborativo. conocimiento y trabajo (a través
• Los usuarios no posen la de VO - Virtual Organizations).
infraestructura: no inviertas • Los usuarios aportan a la
en recursos, alquílalos. infraestructura: comparte/aporta
recursos y podrás tener muchos
más de lo que podrías adquirir
por tu cuenta

Tipos de Grid
Grid Computacional: Dedicadas al procesamiento

de datos y cómputos intensivos aprovechando la
capacidad ociosa de las diferentes máquinas del
Grid.
Grid de Datos: Proporciona una interfaz integrada
para manejar grandes volúmenes de datos
almacenados en diferentes repositorios.
Grid Híbridas: Tienen características de las dos
anteriores.

Analogía
• Grid (en inglés) ~ red eléctrica.

• Grid de Computo ~ red de recursos y servicios
de computación.

EL CERN (Centro Europeo de Investigaciones Nucleares)
• Esta a la vanguardia en tecnología de redes.

• Su lema: “where the web was born”
• Lidera algunos de los proyectos en Grid más
ambiciosos del mundo.

CERN - LHC: Large Hadron Collider

63.6
Km

63.6
Km

63.6
Km

CERN: Large Hadron Collider
• Instrumento científico más grande del mundo.

• Los datos son una mina de oro para físicos
alrededor del mundo.
• Descubrir partículas fundamentales de la
materia.

CERN
• Generará unos 10 Petabyte/año.
• Kilobyte KB 103 (o 210)

• Megabyte MB 106 (o 220)
• Gigabyte GB 109 (o 230)
• Terabyte TB 1012 (o 240)
• Petabyte PB 1015 (o 250)
• Exabyte EB 1018 (o 260)
• Zettabyte ZB 1021 (o 270)
• Yottabyte YB 1024 (o 280)

CERN
• 1 CD → 700 MB
• 10 PB → 14.285.714 CDs
• 7 CDs → 1 cm
• 10 PB → 20,4 Kms de CDs
– 1 DVD → 6,7 CDs
– 3 Kms de DVDs
Suponiendo los CDs o DVDs llenos!

CERN

CERN
• La solución posible para manejar/procesar esta

enorme cantidad de información parece ser la
computación Grid.
• Comentario de William Gropp: Con la
computación Grid hay un fenómeno particular,
la necesidad surgió antes que la tecnología.

CERN
• El problema no es solo el manejo de datos.

• Se estima que son necesarios unos 100.000
PCs actuales para analizar estos datos.
• Al pasar los años, la data se acumula!

LHC Computing Grid

Estándares
Si distintas organizaciones deciden implementar un

Grid, es muy probable que cuenten con plataformas
diferentes.
Se hace necesario la utilización de estándares para

coordinar eficazmente los recursos a compartir.

Estándares
Se ha definido y se esta actualizando un estándar

para las tecnologías Grid:
Open Grid Services Architecture (OGSA)
Este se enfoca en la integración de servicios a

través de organizaciones virtuales distribuidas,
heterogéneas y dinámicas, para obtener servicios de
calidad utilizando diferentes plataformas.

Estándares
OGSA es el producto de personas que pertenecen a
más de 60 compañías e instituciones de
investigación, congregadas en una comunidad
virtual de usuarios y desarrolladores denominada
Global Grid Forum (GGF)
http://www.ggf.org

Servicios especificados en OGSA
• Servicios de infraestructura: Proporcionan la
comunicación entre diferentes plataformas.
• Servicios de gestión de recursos: Supervisión,

reservación, configuración, etc.
• Servicios de contexto: describen los

requerimientos de recursos y las políticas de
utilización del Grid.
• Servicios de información: proporciona información

sobre el Grid y sus recursos, su estado y
disponibilidad de un determinado recurso.

Servicios especificados en OGSA
• Servicios de autogestión: automatizar procesos
para reducir costos de administración.
• Servicios de Datos: Proporciona el movimiento de

los datos al lugar donde se necesiten.
• Servicios de Seguridad.
• Servicios de gestión de ejecución: administración

de tareas, flujo de procesos.

Estructura de OGSA
Aplicaciones
OGSA
WSRF (Globus Toolkit)
Web Services
Sistemas
Procesa- Bases de Envío de
Seguridad De Directorios
miento Datos Archivos Mensajes
Servidores Almacenamiento Redes

Componentes de OGSA
Open Grid Services Architecture se fundamenta en

dos tecnologías
•Globus Toolkit
•Web Services

Globus Toolkit
Globus Toolkit es un conjunto de bibliotecas

de software de arquitectura abierta y open
source que soporta aplicaciones Grid

Globus Toolkit
Globus Toolkit se encarga de la gestión de:
• Seguridad
• Descubrimiento de la información
• Administración de los recursos compartidos
• Administración de los datos
• La comunicación
• Detección de fallas
• Portatibilidad

Globus Toolkit

Globus Toolkit
Los componentes más relevantes Globus Toolkit que

soportan al OGSA son:
GRAM: Grid Resources Allocation and Management
MDS: Meta Directory Service
GSI: Grid Security Infrastructure

Globus Toolkit
GRAM Proporciona la administración y

creación remota de procesos en forma
segura y confiable

Globus Toolkit
MDS Proporciona un marco uniforme para el

descubrimiento y acceso a la configuración de
sistemas.
Supervisa el estado de los sistemas de cómputo, la

disponibilidad de las redes y localización de
conjuntos de datos.

Globus Toolkit
GSI Se basa en PKI (certificados X.509) y

proporciona servicios de autenticación única,
protección en las comunicaciones y soporte inicial
en la “delegación”.
Este último término se refiere a delegar las

credenciales del usuario de forma restringida a los
proxy para que solicite servicios en nombre del
usuario.

Algunas Entidades que Trabajan en Grid
Cactus Code

Finalmente…
• Que los recursos estén disponibles en

cualquier lugar, en cualquier momento, en
forma confiable y segura, que la ubicación
de los procesos y datos sea transparente
al usuario, y que el Grid sea fácil de usar,
son metas en las que aún se trabaja
arduamente.
• La implementación, operación y
mantenimiento de un Grid no es fácil,
pero el software esta madurando
rápidamente.

Computacion Grid

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Computacion Grid

Cargado por

Copyright:

Formatos disponibles

CLCAR 2009

Supercomputación: Fue definida para hacer

Sistemas típicos: DEC VAX: 1-10 Mflops

(nada en el medio → performance gap)

Supercomputadoras: Crays, CDCs: ~100 Mflops

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 2

Hoy en día la distinción ya no es clara (¡tabla hasta 1990!).

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 3

En inglés: High Performance Computing o HPC.

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 4

... Memorias Locales

Mecanismo de switches o bus CPUs

... ... ...

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 5

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 6

Computación Distribuida: Es la utilización de

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 7

•Requiere software para la coordinación de

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 8

Sistemas Operativos Distribuidos – Características

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 9

•Migración: por rendimiento, seguridad y

•Disponibilidad: debe operar todo el tiempo aún

•Flexibilidad: Facilidad para reemplazar, modificar

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 11

Linux A Solaris AIX HPUX IRIX Windows Linux B Mac OS AIX

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 12

Son muchos sistemas locales, manejados por

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 13

• Hoy en día tenemos:

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 14

Usar Internet como una

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 15

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 16

Un Grid debe prestar servicios en forma:

• Extendida: muchos recursos en muchos lugares

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 17

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 18

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 19

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 20

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 21

Grid Computacional: Dedicadas al procesamiento

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 22

• Grid (en inglés) ~ red eléctrica.

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 23

• Esta a la vanguardia en tecnología de redes.

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 24

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 25

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 26

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 27

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 28

• Instrumento científico más grande del mundo.

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 29

• Generará unos 10 Petabyte/año.

• Kilobyte KB 103 (o 210)

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 30

Suponiendo los CDs o DVDs llenos!

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 31

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 32

• La solución posible para manejar/procesar esta

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 33

• El problema no es solo el manejo de datos.

Herbert Hoeger - San José - Costa Rica - 27 de mayo de 2009 34