Cluster School

High Performance Computing on Linux Cluster Gilberto Diaz (CeCalCULA) Mrida Oct-Nov
2003
Linux Clusters
Gilberto Diaz gilberto@ula.ve Centro de Clculo Cientfico Universidad de Los Andes Mrida - Venezuela
2003
Eterna necesidad
Desde la invencin de las computadoras el hombre constantemente ha mantenido una demanda por mayor porder de cmputo
2003
Motivacin
Necesidades actuales de clculos intensivos: Prediccin del tiempo Diseo de productos avanzados Almacenamiento masivo de datos Procesamiento de imgenes Requieren de recursos de gran capacidad para resolver los problemas ms rpido
2003
Cmo ir ms rpido?
- Adquirir una mquina ms poderosa -- Utilizar procesamiento paralelo

-
(utilizando varios procesadores para resolver un problema)
- Dividir el problema en trozos - Hacer que cada procesador ejecute un trozo

-
- Pero el procesamiento paralelo necesita Supercomputadores
2003
Problemas del clculo paralelo tradicional
Inversin inicial alta, Software, mantenimiento y actualizacin muy costosos
2003
Solucin: Construir un Cluster Linux
Cluster: a number of similar individuals that occur together. En el ambiente de computacin, es una agrupacin de mquinas interconectadas que colaboran en una tarea.
Why x86 clusters?

Source: Dave Pierce, SIO NPACI ROCKS Presentation
2003
Cluster Beowulf
No es un paquete de software especial, ni una nueva topologa de red, ni un nuevo ncleo modificado de algn S.O. Es una tecnologa para agrupar computadores basados en el sistema operativo Linux para formar un supercomputador virtual paralelo, a partir de hardware comn, sistema operativo Linux y software abierto (open source).
2003
Cluster Beowulf Caractersticas: Bajo costo inicial Fcil de mantener Tecnologa familiar Escalable Software gratis
2003
Origenes Surgimiento de plataformas de bajo costo - Comunicacin - Procesamiento - Almacenamiento Esto ha permitido el desarrollo de herramientas computacionales del dominio pblico, que han extendido la experiencia en el campo de la computacin paralela a estas nuevas plataformas.
2003
Origenes El primer cluster Beowulf fue construido con 16 procesadores DX4 y una red ethernet de 10Mbits para atender las necesidades asociadas con la gran cantidad de datos que manejaban las aplicaciones en el proyecto ESS (Earth and Space Sciences) llevado a cabo en Center of Excellence in Space Data and Information Sciences (CESDIS) Por Donald Becker y Thomas Sterling
2003
Origenes
En 1997 el cluster de 140 nodos de la Universidad de Caltech ejecut un problema (N-Body) a una tasa de 10GFlops/sec. Un cluster no es un supercomputador pero si es necesario obtener un rendimiento parecido, estos satisfacen todos los requerimientos
2003
Caractersticas
- Flexibilidad Hardware comn: red, procesador, etc Software de dominio pblico Linux, MPI, PVM, etc.
2003
Caractersticas - Escalabilidad Los cluster permiten agregar nuevos componentes para aumentar el nivel de prestaciones sin necesidad de eliminar los elementos ya existentes.
2003
Caractersticas - Disponibilidad Existe edundancia natural, cada nodo posee sus propios componentes: bus, memoria, procesador. Se puede implementar polticas para el reemplazo rpido en caso de falla del servidor maestro.
2003
Caractersticas - Rendimiento: En principio las aplicaciones paralelas son ms rpidas. Factores influyentes: - Comportamiento del programa - Carga de la red.
2003
Ejemplos Cluster de 1000 nodos utilizado para la investigacin de algoritmos genticos www.genetic-programing.com
2003
Ejemplos
PIRUN Beowulf Cluster Kasetsart University, Thailand
PIRUN = Piles of Inexpensive and Redundant Universal Nodes 72 nodos PIII 500 MHz, 128 MB Provee clculo intensivo en general y funciona como superservidor de internet
2003
Ejemplos
Chama Centro de Supercomputacin ULA
Chama = Cluster Hecho A MAno 28 nodos: PIII dual, 2TB de disco, 20GB RAM Clculo paralelo, Qumica, Fsica, etc.
2003
2003
Arquitectura (hardware)
Internet
Nodo Maestro Archivo
Asfdjlsfsdfkjsdfjsdhners Werweiujoifdsfshgvbcvs Sdfsjdfasdfjdhegbdbbcv Sdfsdjflkjsdfskdjf asdfkj sdfkjasdfijwerlkjsdfasdfj
Nodo adm
Red Interna
Pase de Mensajes Switch eth0 + eth1 bond0
Nodos clientes
Channel Bonding
Sistema de archivos de red Switch
2003
Arquitectura (software)
Bwatch, SCMS MOSIX, BPROC, PBS, SGE, etc.
MPI, PVM, HPF, LINDA, etc
Linux
2003
Clasificacin
Dentro de la taxonomia de computadores paralelos Beowulf esta en algn lugar entre - Procesadores masivamente paralelos CM 5, Cray T3D, etc. - Red de estaciones de trabajo.
2003
Clasificacin Existen diferencias sutiles entre un cluster Beowulf y una red de estaciones de trabajo, pero son muy significativas en relacin al rendimiento. - Red interna aislada. La carga de la red slo depende de las aplicaciones. - Nodos dedicados al cluster Fcil manejo del balanceo de carga de los procesadores.
2003
Clasificacin
- Clase I Componentes comunes - Clase II Componentes especializados
2003
Diseo
Es necesario tomar en cuenta diversos factores para el diseo de un cluster Beowulf que contribuyan a un mejor desempeo: - Disco - Memoria - Motherboard - Procesador - Multiprocesadores simtricos - Red
2003
Diseo
Internet
Nodo Maestro Red Interna
Hacer que el cluster se comporte como una sola mquina - Los usuarios deben ser conocidos en todos los nodos - Las aplicaciones deben estar presentes en todos los nodos - Un sistema de archivos comn
Nodos clientes
2003
Diseo Hacer que el cluster se comporte como una sola mquina - Los usuarios deben ser conocidos en todos los nodos (NIS) u otro mecanismo para mantener consistentes los /etc/passwd - Las aplicaciones deben estar presentes en todos los nodos: compartir el /usr/local - Un sistema de archivos comn: /home, /tmpdata
New User on Rocks Mail List I managed to install Rocks with five nodes. The nodes have
a small HD 2.5 GB each, the cluster is in my home on a private network behind a Linux box "firewall". And it looks like everything is working fine. I can see all the nodes and the front-end in the ganglia web interface. I built it so I can learn more about clusters. And to tell the truth I have no idea on what to do with it, I mean where to start, how to use it, what to use it for. NPACI ROCKS Presentation
2003
Conclusiones - La escalabilidad en un punto significativo - Los cluster Linux constituyen una plataforma adecuada para muchas aplicaciones - Alta disponibilidad - Limitaciones redes con alto nivel de latencia
-
2003
Conclusiones
PC
Workstation
Mini Computer
Vector Supercomputer
Mainframe
http://www.dgs.monash.edu.au/~rajkumar
2003
Conclusiones
http://www.dgs.monash.edu.au/~rajkumar
2003
Documentacin
Manual de instalacin
http://www.cecalc.ula.ve/documentacion/tutoriales/beowulf http://www.cecalc.ula.ve/documentacion/tutoriales/beowulf.pdf
Pgina recomendada
http://www.beowulf.org

Cluster School

Cargado por

Información del documento

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Cluster School

Cargado por

Copyright:

Formatos disponibles

High Performance Computing on Linux Cluster Gilberto Diaz (CeCalCULA) Mrida Oct-Nov

- Adquirir una mquina ms poderosa -- Utilizar procesamiento paralelo

(utilizando varios procesadores para resolver un problema)

- Dividir el problema en trozos - Hacer que cada procesador ejecute un trozo

- Pero el procesamiento paralelo necesita Supercomputadores

Problemas del clculo paralelo tradicional

Inversin inicial alta, Software, mantenimiento y actualizacin muy costosos

Solucin: Construir un Cluster Linux

Why x86 clusters?

PIRUN Beowulf Cluster Kasetsart University, Thailand

Chama Centro de Supercomputacin ULA

Pase de Mensajes Switch eth0 + eth1 bond0

Sistema de archivos de red Switch

Bwatch, SCMS MOSIX, BPROC, PBS, SGE, etc.

MPI, PVM, HPF, LINDA, etc

- Clase I Componentes comunes - Clase II Componentes especializados

También podría gustarte