SúperComputo con Linux

Por ISC Rafael Enrique Palomo Espinosa

Lab. Bioinformática, Cinvestav/Langebio
Grupo Linux del Bajio
Fayo.palomo@gmail.com
fayox23@glib.org.mx
Temas

 Definiciones
 Historia
 Tipos
 Diseño
 Uso
 Ejemplos
¿Qué es una
súpercomputadora?

 Es un sistema que es el máximo poder de computo a

nivel mundial.
 El termino se acuña en 1929 por un artículo del
periódico New York World sobre un equipo en la
Universidad de Columbia.
 Quien las hizo famosas fueron la computadoras
comerciales de Seymour Cray en los 60's.

IBM 704
En los inicios

 Se trataban de equipos
armados a la medida con lo
mejor del hardware de la
época.
 Sus tareas eran muy
especificas: romper códigos,
cálculos militares, solución
de ecuaciones muy
complejas, ...
 Por lo mismo eran equipos
muy raros y de alto costo.
En la actualidad

 Siguen siendo equipos armados a la medida.

 Sus tareas se han diversificado.
 El costo de armarlo y usarlo se ha disminuido con
el uso de sistemas tipo clúster nacidos en la NASA
con el proyecto Beowulf.
¿Qué es un clúster?

 Los clústers en computación son un grupo de

computadoras interconectadas, que trabajan en
conjunto, distribuyéndose las tareas entre ellas,
logrando que el usuario lo vea como una sola.
Rendimientos

2100 2100 2100

2100

2100 2100 2100

2100

R
E
N
D
I
M
I
E
N
T
O
Desktop SMPs o Cluster Cluster/Grid Cluster/Grid
SuperCom Local
putadoras Globales
Componentes básicos

Hardware
Homogéneos:
máquinas clónicas
Heterogéneos:
máquinas diversas
Software
Sistema Operativo
Control procesos
Migración procesos
Balanceo de carga
Aplicaciones
Lenguajes
Comunicación
Sistema de archivos
Red local
 Arquitectura
7.60%

19.60%

Constellations
MPP
Cluster

72.80%

Datos de top500.org (junio 2006)

 Familia de Procesador

16.60% 16.00%

Power
Cray
0.80%
Alpha
PA-RISC
3.80% Intel IA-32
NEC
Sparc
Intel IA-64
Intel EM64T
23.60%
AMD x86_64

29.40%

7.40%

0.80%

Datos de top500.org (junio 2006)

 Número Procesadores
0.80% 0.20% 1.60%
2.80%
9.60%
6.00%

33-64
65-128
129-256
257-512
513-1024
1025-2048
2049-4096
24.80% 4k-8k
8k-16k
32k-64k
64k-128k

52.80%

Datos de top500.org (junio 2006)

 Conexión
0.60% 1.80%

5.20%

17.40% Myrinet
8.40%
Quadrics
Gigabit Ethernet
Infiniband
1.80%

1.00%
Crossbar
2.80%
Mixed
2.40%
NUMAlink
SP Switch
7.20%
Proprietary
Fireplane
Cray Interconnect
RapidArray

51.20%

Datos de top500.org (junio 2006)

Sistemas Operativos
¿Por qué Linux?


Estabilidad

Multiusuario

Multitarea

Herramientas incluidas

Escalable

Soporte completo a
redes

Portable a varias
arquitecturas

Costo Nulo de Licencia
Configuraciones

Piscina

Típica
Maestro +
Esclavos Mixta
¿Para que usan Clústers?
2.80%

16.60%
Uso

23.60%

4.80%

Académico
0.80%
Clasificado
Gobierno
Industria
Investigación
Vendedor

51.40%
¿Para que usan Clústers?


Indexar la WWW

Armar el genoma humano

Predicción del clima

Calcular números primos

Resolver ecuaciones complejas

Simulaciones atómicas

Simulaciones moleculares

Simulaciones galácticas

Simulaciones epidemiológicas

Romper códigos

Equipos de alta disponibilidad

Redes de juegos

Películas

etc, etc
Mare Nostrum

Ubicado en Barcelona #11 en top500

27.91 TF, 4 812 PowerPC 2.2Ghz 64b, 9.6 Tb en RAM, 236 Tb en DD
Las más bellas instalaciones
Earth Simulator

Ubicado en Japón, #9 en top500

5 120 NEC Vector SX6, 36.86 TF
BlueGene/L

#1 en el mundo, de IBM
131072 procesadores, 32768 GB RAM, 280.6 TF
Mazorka

Características:
26 nodos + 1 maestro
Pentiums (16)
2 Pentium Xeon 1GHz
4 Gb RAM
DD 80 Gb
Xeones (10)
2 Xeon II 64b
8 Gb RAM
DD 220 Gb
Maestro 2 Tb en RAID 5
Linux Fedora Core 2
Admon. clustering: CIA
Servidor tareas: PBS
Apache, MySQL, Ganglia, C,
Fortran, Perl, bash, R, ...
¿Y en que programo?

En lenguajes que soporten MPI o similares:


Fortran

C/C++

Java

Perl

Python

Ruby

C#
Clústers con consolas

Sony PS2 MS XBox

Receta para clústers
instantáneos en 5min

1) Obtener el LiveCD
2) Conseguir el equipo

3) Montar la red

4) Iniciar un Nodo Maestro

1) Activar DHCP

2) Activar NFS

3) Activar ClusterTools

5) Iniciar Nodos Esclavos

1) Registrar DHCP

2) Activar NFS

6) ¡Listo!
Para saber más ...
Supercomputadoras
Top500: http://top500.org/
LCIC: http://lcic.org/
Sistemas de Clústers
OSCAR: http://oscar.openclustergroup.org/
BEOWULF: http://www.beowulf.org/
OpenMosix: http://openmosix.sourceforge.net/
Rocks: http://www.rocksclusters.org/
Linux Virtual Server: http://linux-vs.org/
Linux LiveCDs para clústers
ParallelKnoppix: http://parallelknoppix.cebacad.net/
ClusterKnoppix: http://bofh.be/clusterknoppix/
Quantian: http://dirk.eddelbuettel.com/quantian.html
BCCD: http://bccd.cs.uni.edu/
PlumpOS: http://plumpos.sourceforge.net/
MPI: http://www-unix.mcs.anl.gov/mpi
LAM: http://www.lam-mpi.org/
MPICH: http://www-unix.mcs.anl.gov/mpi/mpich
PVM: http://www.csm.ornl.gov/pvm/