Universidad Nacional de Trujillo

Facultad de CCFFMM

Escuela de Informtica

Supercomputadora Stampede

INFORME DE INVESTIGACIN

Autora: Crdova Lzaro, Elicia. Asesor: Anthony Gomez Morales

Trujillo, Per 2013

INDICE DE CONTENIDO

1. 2.

INTRODUCCION ...................................................................................................................... 5 MARCO TERICO: ................................................................................................................... 8 2.1. 2.2. 2.3. 2.4. 2.5. 2.6. EMPRESA A LA QUE PERTENECE ............................................................................... 8 CARACTERSTICAS DE HARDWARE .......................................................................... 8 CARACTERSTICAS DE RENDIMIENTO ................................................................... 13 SISTEMA OPERATIVO .................................................................................................. 14 ACTIVIDADES DESEMPEA EN LA ACTUALIDAD ............................................... 14 CARACTERSTICAS GENERALES DE STAMPEDE .................................................. 16

3.

CONCLUSIONES .................................................................................................................... 17

REFERENCIAS BIBLIOGRAFICAS .............................................................................................. 18

INDICE DE ILUSTRACIONES

Ilustracin 1: Supercomputadora rastreando el impacto global del terremoto en Japn. ................................. 5 Ilustracin 2: Stampede investigadores principales ........................................................................................... 6 Ilustracin 3: Stampede: Dell PowerEdge C8220 Cluster with Intel Xeon Phi coprocessors ........................... 7 Ilustracin 4: Nodo de cmputo Dell PowerEdge .............................................................................................. 8 Ilustracin 5: Topologa Fat-Tree ...................................................................................................................... 9 Ilustracin 6: Stampede Zeus Node: 2 Xeon E5 processors and 1 Xeon Phi coprocessor ............................... 11 Ilustracin 7: Stampede Network Topology for 6,400 compute nodes: 8 684-port core switches and 320 36port leaf switches. ............................................................................................................................................. 11 Ilustracin 8: Sistema Stampede en primera fila, 8 en total............................................................................. 14

INDICE DE TABLAS
Tabla 1: System Configuration & Performance ............................................................................................... 12 Tabla 2: Table 1.2 Dell DCS (Dell Custom Solution) C8220z Compute Node ................................................ 12 Tabla 3: Storage Systems ................................................................................................................................. 12

1. INTRODUCCION
En los ltimos aos, los supercomputadoras se han convertido en instrumentos de propsito general para la realizacin de la investigacin cientfica. Conocido como el "tercer pilar" de la ciencia. Las simulaciones y modelos informticos complementan la teora y la experimentacin y permiten a los investigadores a explorar fenmenos que no pueden ser captadas a travs de la observacin o experimentos de laboratorio, tambin permiten a los estudiosos a realizar minera de las bases de datos masivas de informacin digitales, que son como agujas en un pajar que de otra manera pasaran desapercibidos tales como cambios sutiles en el ADN o los signos de una galaxia recin descubierta en un rincn del universo. Ms cerca de casa, el informe del tiempo que vemos por loa medios de comunicacin, la vacuna contra la gripe que nos protege de la enfermedad - todos ellos eran, al menos en parte, diseado, mejorado o predicho por una supercomputadora.

Ilustracin 1: Supercomputadora rastreando el impacto global del terremoto en Japn.

Una supercomputadora nos ayuda a acelerar el descubrimiento cientfico como el apoyo a la informtica en uso intensivo de datos y en la visualizacin de la compleja investigacin de ingeniera y ciencia informtica incluyendo pronstico de clima, modelacin de climas, exploracin y produccin de energa, descubrimiento de medicamentos, diseo y fabricacin de nuevos materiales, as como automviles y aviones ms eficientes y seguros.

Stampede acta como un "microscopio computacional" que permite a los cientficos explorar la dinmica interna de la clula mejor que con los mejores dispositivos de imagen, ayuda a los astrnomos asomar ms profundamente en el pasado del universo que no es posible con los telescopios ms potentes, permite a los investigadores a desarrollar nuevos materiales para eliminar el CO2 de la atmsfera; identifica tumores cerebrales con mayor precisin, y descubre nuevos medicamentos ms rpido y menos costoso que en un laboratorio.

Stampede, es la nueva supercomputadora en el Centro de Computacin Avanzada de Texas (TACC) y uno de los instrumentos de investigacin cientfica ms avanzados del mundo, el cual ocupa alrededor de 11.000 metros cuadrados. A travs de las puertas de vidrio de cada cuarto de mquina, se puede ver 182 bastidores o estructuras que sostienen ms de 500.000 procesadores de computadoras interconectadas, es as como Stampede realiza clculos a favor de la investigacin para los cientficos e ingenieros de todo el pas.

Ilustracin 2: Stampede investigadores principales

En este ltimo ao el personal TACC ha diseado, construido y desplegado Stampede, en estrecha colaboracin con investigadores universitarios y los ingenieros de Dell Intel.

De acuerdo con la lista Top 500 de las supercomputadoras en Noviembre de 2012, Stampede pas a ser el sptimo ms potente sistema de computacin avanzada en el planeta y el ms poderoso en los EE.UU, dedicado a la investigacin acadmica, hace frente a las nuevas clases de problemas que nunca han sido capaces de acercarse antes, aprovechando la potencia de medio milln de procesadores.

Stampede, que entr en funcionamiento en enero de 2013, a partir del cual grupos de investigacin de la Universidad de Texas en Austin y otras universidades ya han hecho descubrimientos importantes usando el sistema.

En los tres primeros meses de funcionamiento, unos 600 proyectos y ms de 1.200 cientficos han utilizado Stampede.

Ilustracin 3: Stampede: Dell PowerEdge C8220 Cluster with Intel Xeon Phi coprocessors

2. MARCO TERICO:
2.1. EMPRESA A LA QUE PERTENECE Stampede ha sido construida por el Centro de Computacin Avanzada de Texas (Texas Advanced Computing Center -TACC), ubicado en la Universidad de Texas en Austin, Estados Unidos de Norteamrica, conjuntamente con Dell e Intel.

2.2. CARACTERSTICAS DE HARDWARE La Arquitectura de este sistema Stampede es Cluster1 el cual est basado en 6400 nodos de cmputo Dell PowerEdge, cada uno equipado con 2 procesadores Intel Xeon E5 (Tecnologa de procesador -Sandy Bridge) y un coprocesador2 Intel Xeon Phi (arquitectura MIC3). Intel Xeon E5 Intel Xeon E5 Memoria Host Intel Xeon Phi (MIC) 8GB 32GB

Ilustracin 4: Nodo de cmputo Dell PowerEdge

El sistema tambin incluye un conjunto de nodos de acceso a memoria, nodos de grficos (tanto para la visualizacin a distancia y el clculo), y los nodos de doble
1

Conjunto de computadoras construidas mediante la utilizacin de hardware comn y que se comportan como si fueran una nica computadora, de alta velocidad, en la cual en conjunto puede ser visto como un nico ordenador muy potente. 2 Un coprocesador es un microprocesador utilizado como suplemento de las funciones del procesador principal. Las operaciones ejecutadas por uno de estos coprocesadores pueden ser operaciones de aritmtica en coma flotante, procesamiento grfico, procesamiento de seales, etc. Y su funcin es evitar que el procesador principal tenga que realizar estas tareas de cmputo intensivo, estos coprocesadores pueden acelerar el rendimiento del sistema por el hecho de esta descarga de trabajo en el procesador principal y porque suelen ser procesadores especializados que realizan las tareas para las que estn diseado ms eficientemente. 3 MIC es una arquitectura multiprocesador de Intel diseada para la creacin de aceleradores cuyo objetivo sea el uso de software altamente paralelo.

coprocesador. Nodos adicionales (no se puede acceder directamente a los usuarios) proporcionan los servicios del sistema de administracin archivos. Nodos de cmputo: La mayora de los 6 400 nodos estn configurados con dos procesadores Xeon E5 2680 y un coprocesador Intel Xeon Phi SE10P (en una tarjeta PCIe). Estos nodos de cmputo estn configurados con 32 GB de memoria "host"4 con 8 GB adicionales de memoria en la tarjeta coprocesador Xeon Phi. Un nmero menor de nodos de cmputos estn configurados con dos coprocesadores Xeon Phi. Nodos de memoria: Tiene 16 nodos de memoria adicionales con 32 ncleos /nodo y 1TB de memoria para aplicaciones de uso datos-intensivos que requieren el almacenamiento en cach de disco a la memoria. Nodos de visualizacin: Para la visualizacin y procesamiento GPGPU5(General-Purpose Computing on Graphics Processing Units) cuenta con 128 nodos de cmputo. Sistemas de archivos: El sistema Stampede soporta 14PB global, archivos de almacenamiento paralelo como tres sistemas de archivos Lustre. Cada nodo contiene un disco local de 250GB. Adems, el rancho de sistema de archivo de cinta TACC (60 PB de capacidad) es accesible desde Stampede. Interconexin: Los nodos estn interconectados con la tecnologa Mellanox InfiniBand FDR6 con 2 niveles (ncleos y hojas) formando una topologa fat-tree. y servicios del sistema de

Ilustracin 5: Topologa Fat-Tree

Innovacin en la capacidad de computacin con el coprocesador Intel Xeon Phi

4
5

Cantidad de memoria ram que desea asignar a un host de una mquina virtual. GPGPU: Estudiar y aprovechar las capacidades de cmputo de una GPU: Una GPU (unidad de procesamiento grfico)es un procesador diseado para los cmputos implicados en la generacin de grficos 3D interactivos, gran paralelismo, aplicaciones fuera de los grficos por computadora, especialmente en el mbito cientfico y de simulacin. As, se han desarrollado tcnicas para la implementacin de simulaciones de fluidos, bases de datos, algoritmos de clustering, etc. 6 InfiniBand es un bus de comunicaciones serie de alta velocidad, diseado tanto para conexiones internas como externas.

El sistema est equipado con un componente informtico innovador. La solucin innovadora que hizo TACC es que ofrece coprocesadores (Intel MIC ArchitectureArquitectura Muchos Ncleos Integrados) en cada nodo de cmputo. El coprocesador Xeon Phi (a menudo llamado MIC, que se pronuncia "Mike") tiene muchos ncleos (61), y 4 veces el ancho de registros vectoriales. La base del coprocesador Phi es un ncleo x86 de peso ligero con el procesamiento de la instruccin en orden, junto con pesado-peso 512bit SIMD registros e instrucciones. Con estas dos caractersticas de la matriz Phi puede soportar ms de 60 ncleos, y puede ejecutar 8 instrucciones vectoriales de precisin doble (DP). El nmero de ncleos y longitudes de los vectores son extensiones bsicas de un procesador x86, y permitir que los mismos paradigmas de programacin (serie, roscado y vector) utilizados en otros procesadores Xeon (E5). A diferencia del modelo del acelerador GPGPU, el mismo cdigo de programa puede ser utilizado de manera eficiente en el host y el coprocesador. Adems, los mismos compiladores de Intel, herramientas, bibliotecas, etc que se utilizan en sistemas AMD Intel y estn disponibles para los procesadores Phi. Estos coprocesadores contienen un gran nmero de (relativamente) de ncleos simples que funcionan a frecuencias ms bajas para ofrecer un rendimiento mucho mayor pico por chip que est disponible el uso de enfoques de mltiples ncleos ms tradicionales. En el caso de los Xeon Phi SE10P coprocesador utilizado en el sistema de Stampede, cada chip coprocesador tiene un rendimiento pico de ~ 1,070 GFLOPS, aproximadamente seis veces el mximo rendimiento de un solo procesador Xeon E5 o tres veces el mximo rendimiento acumulado de las dos procesadores Xeon E5 en cada Stampede calculan nodo. Cada coprocesador est equipado con 8 GB de GDDR5 DRAM con un ancho de banda mximo de 352GB / s, tambin significativamente ms alta que la 51.2GB / s de ancho de banda mximo disponible para cada chip de procesador Xeon E5.

Una ventaja fundamental del coprocesador Xeon Phi es que, a diferencia de coprocesadores GPU basadas en los ncleos de procesamiento de la Phi coprocesador Xeon corren el conjunto de instrucciones x86 de Intel (con extensiones de 64 bits), lo que permite el uso de modelos de programacin familiares, software y herramientas.

El procesador de muchos ncleos Phi est integrado en cada nodo como un coprocesador con una interconexin a los procesadores E5 y la red externa (tarjeta de HCA) a travs de una interfaz expresa PCIe como se muestra en la figura 1.2, la conectividad es similar a la forma en que son aceleradores de GPU configurado en un nodo.

Ilustracin 6: Stampede Zeus Node: 2 Xeon E5 processors and 1 Xeon Phi coprocessor

Ilustracin 7: Stampede Network Topology for 6,400 compute nodes: 8 684-port core switches and 320 36-port leaf switches.

La configuracin y caractersticas de los nodos de cmputo, de interconexin y los sistemas de E/S se describen a continuacin, y que se resumen en las siguientes Tablas :

Tabla 1: System Configuration & Performance

Component Technology

Performance/Size

Nodes(sled) 2 8-core Xeon E5 processors, 1 61-core Xeon Phi coprocessor 6,400 Nodes Memory Distributed, 32GB/node 205TB (Aggregate) 14 PB 1.6PB (Aggregate) FDR 56 GB/s

Shared Disk Lustre 2.1.3, parallel File System Local Disk SATA (250GB)

Interconnect InfiniBand Mellanox Switches/HCAs

Tabla 2: Table 1.2 Dell DCS (Dell Custom Solution) C8220z Compute Node

Component

Technology

Sockets per Node/Cores per Socket 2/8 Xeon E5-2680 2.7GHz (turbo, 3.5) Coprocessors/Cores 1/61 Xeon Phi SE10P 1.1GHz Motherboard Memory Per Host Memory per Coprocessor Interconnect Processor-Processor Processor-Coprocessor PCI Express Processor PCI Express Coprocessor 250GB Disk Dell C8220, Intel PQI, C610 Chipset 32GB 8x4G 4 channels DDR3-1600MHz 8GB GDDR5 QPI 8.0 GT/s PCI-e x40 lanes, Gen 3 x16 lanes, Gen 2 (extended) 7.5K RPM SATA

Tabla 3: Storage Systems

Storage Class Size Local (each node)

Architecture

Features 432GB partition mounted on /tmp 80GB partition mounted on /tmp 398GB partition mounted on /tmp

Login: 1TB SATA x.xK rpm Compute: 250GB SATA 7.5K rpm Big Mem: 600GB SATA z.zK rpm

Storage Class Size

Architecture

Features 72 Dell R610 data servers (OSS), through IB, user striping allowed, MPI-IO, XPB, YPB, and ZPB partitions on$HOME/$WORK/$SCRATCH, 4 Dell R710 meta data servers (MDxxx) with 2 Dell MD 3220 Storage Arrays. 10GB/s connection through 4 GridFTP Servers

Parallel

14PB

Lustre, Version x.x

Ranch (Tape Storage)

60PB

SAM-FS (Storage Archive Manager)

2.3. CARACTERSTICAS DE RENDIMIENTO El sistema Stampede de TACC tiene una medida de rendimiento de 10 PFLOPS (PF7)( acrnimo de floating point operations per second) .El Cluster Dell Linux est basado en 6400 nodos de servidores Dell PowerEdge, cada uno equipado con 2 procesadores Intel Xeon E5 (Sandy Bridge) y un coprocesador Intel Xeon Phi (arquitectura MIC). El mximo total de rendimiento del procesador Xeon E5 es 2 + PF, mientras que los coprocesadores Xeon Phi ofrecen un rendimiento total mximo adicional de 7 + PF. Podemos equiparar esta medida de rendimiento de FLOPS con los conocidos MIPS (Millones de instrucciones por segundo), que es la medida de rendimiento ms usual en las computadoras de escritorio. Bien, sabemos que un flop es una medida de rendimiento, y "peta" significa 1015 , asi que ahora sabemos que un 10PFLOPS simplemente significa que

El sistema Stampede podr realizar 10,000 millones de millones de operaciones por segundo, y que en la actualidad ayuda a analizar ms de 1,000 investigaciones por ao.

Medidas Mximas Rendimiento: Linpack (Rmax):

de

2+ PF (compute cluster), 7+ PF (coprocessors)

Performance 2660.3 TFlop/s 3959.0 TFlop/s 67.2

Theoretical Peak (Rpeak): Eficiencia (%):

En las ciencias computacionales un FLOP (o flops o flop/s) son una medida de rendimiento de una computadora, especialmente en el campo cientfico, en donde se utiliza mucho las operaciones con datos de tipo flotante, para realizar simulaciones precisas y obtener resultados fidedignos.

2.4. SISTEMA OPERATIVO Todos los nodos Stampede corren sobre la distribucin de Linux CentOS 6.3 y son gestionados a travs de servicios por lotes SLURM 2.4 (Utilidad de Linux simple para la Gestin de Recursos).

2.5. ACTIVIDADES DESEMPEA EN LA ACTUALIDAD

Ilustracin 8: Sistema Stampede en primera fila, 8 en total

Estampida es uno de los mayores sistemas de computacin abierta al mundo de la investigacin cientfica y acadmica. Este sistema ofrece inditas capacidades computacionales para la investigacin de la comunidad nacional propiciando el desarrollo de la ciencia que nunca antes haba sido posible. La escala de Stampede ofrece oportunidades en la ciencia computacional y la investigacin tecnolgica, a partir de algoritmos computacionales altamente paralelos de alto rendimiento, de visualizacin escalable para la siguiente generacin de lenguajes de programacin. Los usuarios podrn interactuar con el sistema a travs de mltiples servidores de acceso dedicado, y una serie de servidores de datos de alta velocidad.

El administrador de recursos del clster para el envo de trabajos y la programacin ser SLURM (Utilidad de Linux simple para la Gestin de Recursos). Cualquier investigador en cualquier institucin de los EE.UU. puede presentar una propuesta para solicitar una asignacin de ciclos en el sistema. La solicitud debe describir la investigacin, justifican la necesidad de usar del sistema de gran alcance para lograr nuevos descubrimientos cientficos, y demostrar que el equipo del proponente tiene la experiencia necesaria para utilizar los recursos con eficacia. Para presentar una propuesta para solicitar una asignacin, podemos visitar el sitio web XSEDE.

90% del sistema se dedica a XSEDE: Es un sistema virtual nico que los cientficos pueden utilizar para compartir interactivamente recursos

computacionales, datos y conocimientos. Personas de todo el mundo utilizan estos recursos y servicios - cosas como supercomputadoras, las colecciones de datos y nuevas herramientas. 10% del sistema se asigna a criterio del Director de TACC en apoyo de proyectos abiertos a la ciencia, incluido el apoyo de: Los investigadores de UT Austin, UT System y las instituciones de educacin superior de Texas, y Los miembros de Afiliados a los programas de investigacin de ciencia y tecnologa (STAR) de TACCs.

2.6. CARACTERSTICAS GENERALES DE STAMPEDE

System Name Host Name Sistema Operativo Fabricante Arquitectura Sistema Modelo de Sistema Familia del sistema Procesador Tecnologa de procesador Procesador Velocidad del procesador (MHz): Accelerator/Co-Processor Acelerador / Co-Processor Cores Nmero de Nodos Nmero de Ncleos procesadores Memoria Total Mxima s Medidas de Rendimiento Total Disk Total de Ncleos Ncleos por socket PowerEdge C8220 Dell PowerEdge Cluster Xeon E5-2680 8C Intel SandyBridge 2.700GHz Intel Xeon Phi 112500 6400 102400 205TB 2+ PF (compute cluster), 7+ PF (coprocessors) 14PB 1.6PB (local) 204900 8 (shared) Stampede stampede.tacc.utexas.edu Linux (CentOS 6.3 distribution) Dell Cluster

3. CONCLUSIONES
La construccin de estos sistemas computacionales tan potentes le permite a los investigadores que estn a la vanguardia en algunos campos realizar preguntas ms profundas y simulaciones ms grandes, para realizar las pruebas de sus teoras en los lmites de lo que conocemos actualmente y desplazar estos lmites. La infraestructura de Stampede de TACC, se compone de varios miles de servidores PowerEdge C8000 con GPU, con el fin de ayudar a acelerar el descubrimiento cientfico. La infraestructura de Dell es invaluable para realizar la misin de apoyo a la informtica en uso intensivo de datos y en la visualizacin de la compleja investigacin de ingeniera y ciencia informtica incluyendo pronstico de clima, modelacin de climas, exploracin y produccin de energa, descubrimiento de medicamentos, diseo y fabricacin de nuevos materiales, as como automviles y aviones ms eficientes y seguros.

REFERENCIAS BIBLIOGRAFICAS
[1] Gua de usurio de Stampede [online], Consultado el 19 deAbril de 2013, Disponible en: http://www.tacc.utexas.edu/user-services/user-guides/stampede-user-guide. [2] XSEDE [online], Consultado el 19 deAbril de 2013, Disponible en: https://www.xsede.org/ [3] Caracteristicas de Stampede de TACC [online], Consultado el 19 deAbril de 2013, Disponible en: http://www.tacc.utexas.edu/news/feature-stories/2013/texas-unleashesstampede