Computacin Grid

Conceptos Preliminares

Supercomputacin: Fue definida para hacer referencia a computadoras con capacidades muy superiores a las de otras mquinas disponibles. Sistemas tpicos: DEC VAX: 1-10 Mflops

(nada en el medio performance gap)

Supercomputadoras:

Crays, CDCs: ~100 Mflops

Conceptos Preliminares
Hoy en da la distincin ya no es clara (tabla hasta 1990!).
1000 E f i c i e n c i a M F
Supercomputadores

100
Mainframes

10
Microprocesadores Minicomputadores

1965

1970

1975

1980

1985

1990

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Conceptos Preliminares
Computacin de Alto Rendimiento: Es aquella que proporciona un mayor capacidad de cmputo que la que se puede obtener de computadores individuales. Sistemas de memoria compartida. Sistemas distribuidos.

Clusters.

Mquinas paralelas
En ingls: High Performance Computing o HPC.

Conceptos Preliminares
Computacin Paralela: Es la utilizacin de mltiples procesadores para resolver una tarea comn. Se divide el problema es trozos ms pequeos y se asignan a diferentes procesadores.
CPUs

...
Mecanismo de switches o bus

Memorias Locales CPUs

...
Bancos de Memoria

...
Dispositivos de Entrada/Salida

...
Mecanismo de enrutamiento

Memoria Compartida

Memoria Distribuida

Conceptos Preliminares
Usamos computacin paralela ya que Los monoprocesadores limitan:

El rendimiento.
La memoria disponible. La mquinas paralelas permiten: Resolver problemas ms grandes. Resolver problemas ms rpido. Resolver ms problemas. Hoy en da HPC es prcticamente computacin paralela.
Ejemplo: modelado y prediccin climtica.
6

Conceptos Preliminares
Computacin Distribuida: Es la utilizacin de mltiples sistemas, de alguna forma organizada, para trabajar en un objetivo comn.

Conceptos Preliminares
Computacin Distribuida Requiere software para la coordinacin de recursos y tareas. Computacin paralela / HPC es computacin distribuida. Computacin Grid es computacin distribuida.

Conceptos Preliminares
Sistemas Operativos Distribuidos Caractersticas
Transparencia: Provee la visin de una sola mquina (mquina virtual)
Acceso: a recursos remotos igual que a locales. Ubicacin: Independencia de nombre ubicacin. Independencia de mquina recurso.

Replicacin: Las replicaciones mejoran el rendimiento y la disponibilidad el uso, nombre y control de replicas debe ser transparente.

Conceptos Preliminares
Migracin: por rendimiento, seguridad y disponibilidad, los objetos (procesos y/o datos) pueden migrar.
Concurrencia: cada usuario tiene la impresin de ser el nico usuario as existan muchos.

Escalabilidad: el sistema puede crecer sin afectar las actividades de los usuarios.
Heterogeneidad: Soportar diferentes tipos de hardware y software. Seguridad: Proteccin contra destruccin y usos no autorizados.

10

Conceptos Preliminares
Disponibilidad: debe operar todo el tiempo an bajo fallas (quizs con cierta degradacin).
Evitar fallas: usar componentes de calidad.

Tolerar fallas: redundancia de componentes

Detectar y recuperar fallas: usar hardware y software para descubrir y reparar fallas.

Flexibilidad: Facilidad para reemplazar, modificar o agregar componentes. Rendimiento: Las aplicaciones deben correr mejor (o al menos igual) que en monoprocesadores.

11

Computacin Grid
Los objetivos generales son los mismos que vimos para sistemas operativos distribuidos pero a un nivel superior.
Debe operar con distintos sistemas operativos.

Grid Middleware

Linux A

Solaris

AIX

HPUX

IRIX

Windows Linux B

Mac OS

AIX

12

Computacin Grid
Computacin Grid es computacin distribuida llevada a un nivel multi-organizacional / multi-sistemas.
Organizacin Organizacin
Dpto. Dpto. Dpto. Dpto.

Dpto. Dpto.

Son muchos sistemas locales, manejados por otras Organizacin personas/organizaciones, cooperando. Organizacin
Dpto. Dpto. Dpto. Dpto. Dpto.

Dpto.

13

Computacin Grid

Hoy en da tenemos:
Conectividad global a travs de Internet. Disponibilidad y confiabilidad en el ancho de banda. La velocidad de las redes se duplica cada 9 meses.

14

Computacin Grid

Usar Internet como una plataforma de servicios de computacin y no solo como una fuente de informacin.
15

Computacin Grid

Caractersticas
Autentificacin Manejo de Recursos Polticas de Autorizacin Balanceo de cargas Aplicaciones Descubrimiento de Manejo de Fallas recursos Monitoreo Ubicacin de recursos Garantizar el rendimiento Grid Middleware Acceso a data remota Deteccin de intrusos Alta velocidad de Escalabilidad, etc transferencia de data
Recursos

16

Ms Propiedades del Grid

Un Grid debe prestar servicios en forma:

Extendida: muchos recursos en muchos lugares Constante: 365 das x 24 horas Confiable: utilizacin de canales seguros Simple: fcil de usar Transparente: no importa donde se almacenan los datos o donde se ejecutan los programas. Econmica: utiliza los recursos actuales y es sencillo adicionar nuevos recursos.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

17

Cluster vs. Grid

CLUSTER Equipos homogneos. Sistema operativo nico. Administracin y manejo centralizado - nica. Equipos estn concentrados. Objetivo: mejorar el rendimiento dedicando ms recursos. GRID Equipos heterogneos. Mltiples sistemas operativos. Administracin y manejo descentralizado multidominio Equipos estn dispersos. Objetivo: mejorar el rendimiento compartiendo recursos subutilizados en otras partes.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

18

Cluster

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

19

Grid

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

20

Cloud vs. Grid

CLOUD Foco: Comercial Servicio. Muchos basados en grids. Fciles de usar. Compartir no es objetivo. No colaborativo. Los usuarios no posen la infraestructura: no inviertas en recursos, alqulalos. Foco: HPC. Ms complicados de usar. Compartir recursos, datos, conocimiento y trabajo (a travs de VO - Virtual Organizations). Los usuarios aportan a la infraestructura: comparte/aporta recursos y podrs tener muchos ms de lo que podras adquirir por tu cuenta
21

GRID

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Tipos de Grid

Grid Computacional: Dedicadas al procesamiento de datos y cmputos intensivos aprovechando la capacidad ociosa de las diferentes mquinas del Grid.

Grid de Datos: Proporciona una interfaz integrada para manejar grandes volmenes de datos almacenados en diferentes repositorios.
Grid Hbridas: Tienen caractersticas de las dos anteriores.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

22

Analoga

Grid (en ingls) ~ red elctrica. Grid de Computo ~ red de recursos y servicios de computacin.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

23

EL CERN (Centro Europeo de Investigaciones Nucleares)

Esta a la vanguardia en tecnologa de redes. Su lema: where the web was born Lidera algunos de los proyectos en Grid ms ambiciosos del mundo.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

24

CERN - LHC: Large Hadron Collider

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

25

CERN - LHC: Large Hadron Collider

63.6 Km

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

26

CERN - LHC: Large Hadron Collider

63.6 Km

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

27

CERN - LHC: Large Hadron Collider

63.6 Km

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

28

CERN: Large Hadron Collider

Instrumento cientfico ms grande del mundo. Los datos son una mina de oro para fsicos alrededor del mundo. Descubrir partculas fundamentales de la materia.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

29

CERN

Generar unos 10 Petabyte/ao.

Kilobyte KB 103 (o 210) Megabyte MB 106 (o 220) Gigabyte GB 109 (o 230) Terabyte TB 1012 (o 240)

Petabyte PB 1015 (o 250)

Exabyte EB 1018 (o 260) Zettabyte ZB 1021 (o 270) Yottabyte YB 1024 (o 280)

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

30

CERN

1 CD 700 MB 10 PB 14.285.714 CDs 7 CDs 1 cm 10 PB 20,4 Kms de CDs

1 DVD 6,7 CDs 3 Kms de DVDs Suponiendo los CDs o DVDs llenos!

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

31

CERN

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

32

CERN

La solucin posible para manejar/procesar esta enorme cantidad de informacin parece ser la computacin Grid. Comentario de William Gropp: Con la computacin Grid hay un fenmeno particular, la necesidad surgi antes que la tecnologa.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

33

CERN

El problema no es solo el manejo de datos. Se estima que son necesarios unos 100.000 PCs actuales para analizar estos datos. Al pasar los aos, la data se acumula!

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

34

LHC Computing Grid

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

35

Estndares
Si distintas organizaciones deciden implementar un Grid, es muy probable que cuenten con plataformas diferentes. Se hace necesario la utilizacin de estndares para coordinar eficazmente los recursos a compartir.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

36

Estndares
Se ha definido y se esta actualizando un estndar para las tecnologas Grid: Open Grid Services Architecture (OGSA) Este se enfoca en la integracin de servicios a travs de organizaciones virtuales distribuidas, heterogneas y dinmicas, para obtener servicios de calidad utilizando diferentes plataformas.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

37

Estndares
OGSA es el producto de personas que pertenecen a ms de 60 compaas e instituciones de investigacin, congregadas en una comunidad virtual de usuarios y desarrolladores denominada

Global Grid Forum (GGF)

http://www.ggf.org
Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009 38

Servicios especificados en OGSA

Servicios de infraestructura: Proporcionan la comunicacin entre diferentes plataformas. Servicios de gestin de recursos: Supervisin, reservacin, configuracin, etc. Servicios de contexto: describen los requerimientos de recursos y las polticas de utilizacin del Grid.

Servicios de informacin: proporciona informacin sobre el Grid y sus recursos, su estado y disponibilidad de un determinado recurso.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

39

Servicios especificados en OGSA

Servicios de autogestin: automatizar procesos para reducir costos de administracin. Servicios de Datos: Proporciona el movimiento de los datos al lugar donde se necesiten. Servicios de Seguridad. Servicios de gestin de ejecucin: administracin de tareas, flujo de procesos.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

40

Estructura de OGSA

Aplicaciones OGSA WSRF (Globus Toolkit) Web Services

Seguridad

Procesamiento

Bases de Datos

Sistemas De Archivos

Directorios

Envo de Mensajes

Servidores

Almacenamiento

Redes
41

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

Componentes de OGSA
Open Grid Services Architecture se fundamenta en dos tecnologas Globus Toolkit Web Services

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

42

Globus Toolkit

Globus Toolkit es un conjunto de bibliotecas de software de arquitectura abierta y open source que soporta aplicaciones Grid

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

43

Globus Toolkit
Globus Toolkit se encarga de la gestin de:

Seguridad
Descubrimiento de la informacin Administracin de los recursos compartidos

Administracin de los datos

La comunicacin Deteccin de fallas

Portatibilidad

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

44

Globus Toolkit

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

45

Globus Toolkit
Los componentes ms relevantes Globus Toolkit que soportan al OGSA son: GRAM: Grid Resources Allocation and Management MDS: Meta Directory Service GSI: Grid Security Infrastructure

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

46

Globus Toolkit

GRAM Proporciona la administracin y creacin remota de procesos en forma segura y confiable

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

47

Globus Toolkit
MDS Proporciona un marco uniforme para el descubrimiento y acceso a la configuracin de sistemas. Supervisa el estado de los sistemas de cmputo, la disponibilidad de las redes y localizacin de conjuntos de datos.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

48

Globus Toolkit
GSI Se basa en PKI (certificados X.509) y proporciona servicios de autenticacin nica, proteccin en las comunicaciones y soporte inicial en la delegacin. Este ltimo trmino se refiere a delegar las credenciales del usuario de forma restringida a los proxy para que solicite servicios en nombre del usuario.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

49

Algunas Entidades que Trabajan en Grid

Cactus Code

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

50

Finalmente Que los recursos estn disponibles en cualquier lugar, en cualquier momento, en forma confiable y segura, que la ubicacin de los procesos y datos sea transparente al usuario, y que el Grid sea fcil de usar, son metas en las que an se trabaja arduamente. La implementacin, operacin y mantenimiento de un Grid no es fcil, pero el software esta madurando rpidamente.

Herbert Hoeger - San Jos - Costa Rica - 27 de mayo de 2009

51