CP Sesiones 09-11

CLCAR 2009
Mrida - Venezuela
21 de septiembre de 2009
Computacin Grid
Herbert Hoeger
hhoeger@ula.ve
*Centro de Clculo Cientfico
*Universidad de Los Andes
*EELA-2
Conceptos Preliminares
Supercomputacin: Fue definida para hacer

referencia a computadoras con capacidades muy
superiores a las de otras mquinas disponibles.
Sistemas tpicos:
DEC VAX: 1-10 Mflops
(nada en el medio performance gap)
Supercomputadoras:
Crays, CDCs: ~100 Mflops
Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009
Hoy en da la distincin ya no es clara ( tabla hasta 1990!).
1000
E
f
i
c
i
e
n
c
i
a
M
F
Supercomputadores
100
Mainframes
10
Microprocesadores
Minicomputadores
1
1965
1970
1975
1980
1985
1990
Computacin de Alto Rendimiento: Es aquella que
proporciona un mayor capacidad de cmputo que
la que se puede obtener de computadores
individuales.
Sistemas de memoria compartida.
Sistemas distribuidos.
Clusters.
Mquinas paralelas
En ingls: High Performance Computing o HPC.
Computacin Paralela: Es la utilizacin de mltiples
procesadores para resolver una tarea comn.
Se divide el problema es trozos ms pequeos y se
asignan a diferentes procesadores.
CPUs
...
Memorias Locales
Mecanismo de switches o bus
...
Bancos de
Memoria
Memoria
Compartida
CPUs
...
...
Dispositivos de
Entrada/Salida
Mecanismo de enrutamiento
Memoria
Distribuida
Usamos computacin paralela ya que
Los monoprocesadores limitan:
El rendimiento.
La memoria disponible.
La mquinas paralelas permiten:
Resolver problemas ms grandes.
Resolver problemas ms rpido.
Resolver ms problemas.
Hoy en da HPC es prcticamente computacin
paralela.
Ejemplo: modelado y prediccin climtica.
Computacin Distribuida: Es la utilizacin de
mltiples sistemas, de alguna forma organizada,
para trabajar en un objetivo comn.
Computacin Distribuida
Requiere software para la coordinacin de
recursos y tareas.
Computacin paralela / HPC es computacin
distribuida.
Computacin Grid es computacin distribuida.
Sistemas Operativos Distribuidos Caractersticas
Transparencia: Provee la visin de una sola
mquina
(mquina virtual)
Acceso: a recursos remotos igual que a locales.
Ubicacin:
Independencia de nombre ubicacin.
Independencia de mquina recurso.
Replicacin: Las replicaciones mejoran el
rendimiento y la disponibilidad el uso, nombre y
control de replicas debe ser transparente.
Migracin: por rendimiento, seguridad y
disponibilidad, los objetos (procesos y/o datos)
pueden migrar.
Concurrencia: cada usuario tiene la impresin de
ser el nico usuario as existan muchos.
Escalabilidad: el sistema puede crecer sin
afectar las actividades de los usuarios.
Heterogeneidad: Soportar diferentes tipos de
hardware y software.
Seguridad: Proteccin contra destruccin y usos
no autorizados.
10
Disponibilidad: debe operar todo el tiempo an
bajo fallas (quizs con cierta degradacin).
Evitar fallas: usar componentes de calidad.
Tolerar fallas: redundancia de componentes
Detectar y recuperar fallas: usar hardware y software
para descubrir y reparar fallas.
Flexibilidad: Facilidad para reemplazar, modificar o

agregar componentes.
Rendimiento: Las aplicaciones deben correr mejor
(o al menos igual) que en monoprocesadores.
11
Computacin Grid
Los objetivos generales son los mismos que vimos
para sistemas operativos distribuidos pero a un
nivel superior.
Debe operar con distintos sistemas operativos.
Grid
Middleware
Linux A
Solaris
AIX
HPUX
IRIX
Windows Linux B
Mac OS
AIX
12
Computacin Grid
Computacin Grid es computacin distribuida
llevada a un nivel multi-organizacional / multisistemas.
Organizacin
Dpto.
Organizacin
Dpto.
Dpto.
Dpto.
Dpto.
Dpto.
Son muchos sistemas locales, manejados por

Organizacin
otras personas/organizaciones,
cooperando.
Organizacin
Dpto.
Dpto.
Dpto.
Dpto.
Dpto.
Dpto.
13
Computacin Grid
Hoy en da tenemos:
Conectividad global a travs de Internet.
Disponibilidad y confiabilidad en el ancho
de banda.
La velocidad de las redes se duplica cada 9
meses.
14
Computacin Grid
Usar Internet como una

plataforma de servicios de
computacin y no solo
como una fuente de
informacin.
15
Computacin Grid
Caractersticas
Autentificacin
Manejo de Recursos
Polticas de
Balanceo de cargas
Aplicaciones
Autorizacin
Manejo de Fallas
Descubrimiento de
Monitoreo
recursos
Garantizar el
Grid Middleware
Ubicacin de recursos
rendimiento
Acceso a data remota
Deteccin de intrusos
Alta velocidad de
Escalabilidad, etc
Recursos
transferencia de data
16
Ms Propiedades del Grid

Un Grid debe prestar servicios en forma:
Extendida: muchos recursos en muchos lugares
Constante: 365 das x 24 horas
Confiable: utilizacin de canales seguros
Simple: fcil de usar
Transparente: no importa donde se almacenan
los datos o donde se ejecutan los programas.
Econmica: utiliza los recursos actuales y es
sencillo adicionar nuevos recursos.
17
Cluster vs. Grid

CLUSTER
GRID
Equipos homogneos.
Sistema operativo nico.
Administracin y manejo
centralizado - nica.
Equipos estn concentrados.
Objetivo: mejorar el
rendimiento dedicando ms
recursos.
Equipos heterogneos.
Mltiples sistemas operativos.
Administracin y manejo
descentralizado multidominio
Equipos estn dispersos.
Objetivo: mejorar el rendimiento
compartiendo recursos subutilizados en otras partes.
18
Cluster
19
Grid
20
Cloud vs. Grid

CLOUD
GRID
Foco: Comercial Servicio.

Muchos basados en grids.
Fciles de usar.
Compartir no es objetivo.
No colaborativo.
Los usuarios no posen la
infraestructura: no inviertas
en recursos, alqulalos.
Foco: HPC.
Ms complicados de usar.
Compartir recursos, datos,
conocimiento y trabajo (a travs
de VO - Virtual Organizations).
Los usuarios aportan a la
infraestructura: comparte/aporta
recursos y podrs tener muchos
ms de lo que podras adquirir
por tu cuenta
21
Tipos de Grid
Grid Computacional: Dedicadas al procesamiento

de datos y cmputos intensivos aprovechando la
capacidad ociosa de las diferentes mquinas del
Grid.
Grid de Datos: Proporciona una interfaz integrada
para manejar grandes volmenes de datos
almacenados en diferentes repositorios.
Grid Hbridas: Tienen caractersticas de las dos
anteriores.
22
Analoga
Grid (en ingls) ~ red elctrica.

Grid de Computo ~ red de recursos y servicios
de computacin.
23
EL CERN
(Centro Europeo de Investigaciones Nucleares)
Esta a la vanguardia en tecnologa de redes.

Su lema: where the web was born
Lidera algunos de los proyectos en Grid ms
ambiciosos del mundo.
24
CERN - LHC: Large Hadron Collider
25
63.6
Km
26
63.6
Km
27
63.6
Km
28
CERN: Large Hadron Collider
Instrumento cientfico ms grande del mundo.

Los datos son una mina de oro para fsicos
alrededor del mundo.
Descubrir partculas fundamentales de la
materia.
29
CERN
Generar unos 10 Petabyte/ao.
Kilobyte KB 103 (o 210)

Megabyte MB 106 (o 220)
Gigabyte GB 109 (o 230)
Terabyte TB 1012 (o 240)
Petabyte PB 1015 (o 250)

Exabyte EB 1018 (o 260)
Zettabyte ZB 1021 (o 270)
Yottabyte YB 1024 (o 280)
30
CERN
1 CD 700 MB
10 PB 14.285.714 CDs
7 CDs 1 cm
10 PB 20,4 Kms de CDs
1 DVD 6,7 CDs
3 Kms de DVDs
Suponiendo los CDs o DVDs llenos!
31
CERN
32
CERN
La solucin posible para manejar/procesar esta

enorme cantidad de informacin parece ser la
computacin Grid.
Comentario de William Gropp: Con la
computacin Grid hay un fenmeno particular,
la necesidad surgi antes que la tecnologa.
33
CERN
El problema no es solo el manejo de datos.

Se estima que son necesarios unos 100.000
PCs actuales para analizar estos datos.
Al pasar los aos, la data se acumula!
34
LHC Computing Grid
35
Estndares
Si distintas organizaciones deciden implementar un
Grid, es muy probable que cuenten con plataformas
diferentes.
Se hace necesario la utilizacin de estndares para
coordinar eficazmente los recursos a compartir.
36
Estndares
Se ha definido y se esta actualizando un estndar
para las tecnologas Grid:
Open Grid Services Architecture (OGSA)
Este se enfoca en la integracin de servicios a
travs de organizaciones virtuales distribuidas,
heterogneas y dinmicas, para obtener servicios de
calidad utilizando diferentes plataformas.
37
Estndares
OGSA es el producto de personas que pertenecen a
ms de 60 compaas e instituciones de
investigacin, congregadas en una comunidad
virtual de usuarios y desarrolladores denominada
Global Grid Forum (GGF)
http://www.ggf.org
38
Servicios especificados en OGSA

Servicios de infraestructura: Proporcionan la
comunicacin entre diferentes plataformas.
Servicios de gestin de recursos: Supervisin,
reservacin, configuracin, etc.
Servicios de contexto: describen los
requerimientos de recursos y las polticas de
utilizacin del Grid.
Servicios de informacin: proporciona informacin
sobre el Grid y sus recursos, su estado y
disponibilidad de un determinado recurso.
39
Servicios especificados en OGSA

Servicios de autogestin: automatizar procesos
para reducir costos de administracin.
Servicios de Datos: Proporciona el movimiento de
los datos al lugar donde se necesiten.
Servicios de Seguridad.
Servicios de gestin de ejecucin: administracin
de tareas, flujo de procesos.
40
Estructura de OGSA
Aplicaciones
OGSA
WSRF (Globus Toolkit)
Web Services
ProcesaSeguridad
miento
Servidores
Bases de
Datos
Sistemas
De
Archivos
Almacenamiento
Directorios
Envo de
Mensajes
Redes
41
Componentes de OGSA
Open Grid Services Architecture se fundamenta en
dos tecnologas
Globus Toolkit
Web Services
42
Globus Toolkit
Globus Toolkit es un conjunto de bibliotecas

de software de arquitectura abierta y open
source que soporta aplicaciones Grid
43
Globus Toolkit
Globus Toolkit se encarga de la gestin de:
Seguridad
Descubrimiento de la informacin
Administracin de los recursos compartidos
Administracin de los datos
La comunicacin
Deteccin de fallas
Portatibilidad
44
Globus Toolkit
45
Globus Toolkit
Los componentes ms relevantes Globus Toolkit que
soportan al OGSA son:
GRAM: Grid Resources Allocation and Management
MDS: Meta Directory Service
GSI: Grid Security Infrastructure
46
Globus Toolkit
GRAM Proporciona la administracin y

creacin remota de procesos en forma
segura y confiable
47
Globus Toolkit
MDS Proporciona un marco uniforme para el
descubrimiento y acceso a la configuracin de
sistemas.
Supervisa el estado de los sistemas de cmputo, la
disponibilidad de las redes y localizacin de
conjuntos de datos.
48
Globus Toolkit
GSI Se basa en PKI (certificados X.509) y
proporciona servicios de autenticacin nica,
proteccin en las comunicaciones y soporte inicial
en la delegacin.
Este ltimo trmino se refiere a delegar las
credenciales del usuario de forma restringida a los
proxy para que solicite servicios en nombre del
usuario.
49
Algunas Entidades que Trabajan en Grid
Cactus Code
50
Finalmente
Que los recursos estn disponibles en
cualquier lugar, en cualquier momento, en
forma confiable y segura, que la ubicacin
de los procesos y datos sea transparente
al usuario, y que el Grid sea fcil de usar,
son metas en las que an se trabaja
arduamente.
La implementacin, operacin y
mantenimiento de un Grid no es fcil,
pero el software esta madurando
rpidamente.
51

CP Sesiones 09-11

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

CP Sesiones 09-11

Cargado por

Copyright:

Formatos disponibles

CLCAR 2009

Supercomputacin: Fue definida para hacer

DEC VAX: 1-10 Mflops

(nada en el medio performance gap)

Crays, CDCs: ~100 Mflops

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Mecanismo de switches o bus

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Flexibilidad: Facilidad para reemplazar, modificar o

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Son muchos sistemas locales, manejados por

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Usar Internet como una

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Ms Propiedades del Grid

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Cluster vs. Grid

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Cloud vs. Grid

Foco: Comercial Servicio.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Grid Computacional: Dedicadas al procesamiento

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Grid (en ingls) ~ red elctrica.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

(Centro Europeo de Investigaciones Nucleares)

Esta a la vanguardia en tecnologa de redes.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

CERN - LHC: Large Hadron Collider

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

CERN - LHC: Large Hadron Collider

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

CERN - LHC: Large Hadron Collider

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

CERN - LHC: Large Hadron Collider

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

CERN: Large Hadron Collider

Instrumento cientfico ms grande del mundo.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Generar unos 10 Petabyte/ao.

Kilobyte KB 103 (o 210)

Petabyte PB 1015 (o 250)

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

La solucin posible para manejar/procesar esta

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

El problema no es solo el manejo de datos.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

LHC Computing Grid

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Servicios especificados en OGSA

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009