Diseo

y dimensionamiento de data centers

Diseo y dimensionamiento de data centers

Ral Ramos Polln
Universidad Nacional de Colombia

Universidad Nacional, Enero 2013 (1)

Diseo y dimensionamiento de data centers

Outline

1 Caracterizacin de un datacenter
2 Consideraciones de diseo
3 Best pracCces
4 Caso real y consideraciones de estrategia
5 PrcCca de dimensionamiento

Universidad Nacional, Enero 2013 (2)

Diseo y dimensionamiento de data centers 1 Caracterizacin

pizza servers storage servers communicaCons

rack sets

blades chasis

Universidad Nacional, Enero 2013 (3)

Diseo y dimensionamiento de data centers 1 Caracterizacin

Universidad Nacional, Enero 2013 (4)

Diseo y dimensionamiento de data centers 1 Caracterizacin

CRACs
Enfriadoras
Grupo Electrgeno
PDUs

Mangueras Cuadros
Bateras UPS elctricas elctricos
Universidad Nacional, Enero 2013 (5)
Diseo y dimensionamiento de data centers 1 Caracterizacin

Tipologas de datacenters
hVp://www.energystar.gov/ia/partners/prod_development/downloads/EPA_Datacenter_Report_Congress_Final1.pdf
Tipos de mquinas:
volume servers as those cosCng less than $25,000 per unit,
mid-range servers as those cosCng between $25,000 and $500,000 per unit
high-end servers as those cosCng more than $500,000 per unit.

Tipos de datacenters:
Server closet. 1-2 servidores 15m2
Server room. <15 servidores <50m2
Localized data center. <100 servidores <100m2
Mid-Cer data center. 100s servidores <500m2
Enterprise class data center. 100-1000 servidores >500m2

Universidad Nacional, Enero 2013 (6)

Diseo y dimensionamiento de data centers 1 Caracterizacin

Distribucin datacenters en US

Universidad Nacional, Enero 2013 (7)

Diseo y dimensionamiento de data centers 1 Caracterizacin

Top500, distribucin histrica (www.top500.org)

Universidad Nacional, Enero 2013 (8)

Diseo y dimensionamiento de data centers 1 Caracterizacin

Top500, distribucin histrica (www.top500.org)

Universidad Nacional, Enero 2013 (9)

Diseo y dimensionamiento de data centers 2 Diseo

Consideraciones de diseo
Distribucin gsica
Capacidad elctrica
Refrigeracin
Resiliencia (backup components, reproong, etc.)
Seguridad gsica, seguridad informCca, control de acceso, etc.
Patrones de uso (CPU intensive, storage intensive, etc.)
Capacidad de crecimiento
OperaCva y costes (TCO)
Equipos de apoyo

Universidad Nacional, Enero 2013 (10)

Diseo y dimensionamiento de data centers 2 Diseo

Key issue: electrical consumpJon + heat load

Universidad Nacional, Enero 2013 (11)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Potencia elctrica: Elementos

Universidad Nacional, Enero 2013 (12)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Otro esquema elctrico

Universidad Nacional, Enero 2013 (13)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Mtricas de eciencia

Universidad Nacional, Enero 2013 (14)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Distribucin del consumo

Universidad Nacional, Enero 2013 (15)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Densidad de potencia elctrica

Universidad Nacional, Enero 2013 (16)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Densidad de potencia elctrica

Avances tecnolgicos Ms densidad de potencia elctrics (kw/m2)

Data centers ms compactos

Pero:
Se necesitan ms equipos de soporte (refrigeracin, UPS, etc.)
Ahorro de espacio indoors Necesidad de espacio outdoors

Equilibrar inversin
Necesidad de aumentar la capacidad de un datacenter
Obra civil indoors vs. obra civil outdoors
Ms capacidad por m2 ms exigencia en la instalacin
Demasiado suelo equipos de soporte costes operacionales y de inversion

Universidad Nacional, Enero 2013 (17)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

UPS conguraJons

Parallel redundant (N+1)

Needs synch UPSs to output 300 kW
load together
Both units must be the same
System bus, point of failure

ConguraJon N Isolated redundant (N+1)

UPS breakdown and Catcher as backup
maintainance on bypass Needs proper operaCon of switches
MulCple points of failure Needs 2nd from 0% to full load fast
Less points of failure

Universidad Nacional, Enero 2013 (18)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Distributed redundant
Redundant uClity sources
Delivered load is 300 kW
UPS sCll need some phase sync mechanism

Universidad Nacional, Enero 2013 (19)

Diseo y dimensionamiento de data centers 2 Diseo. Potencia elctrica

Universidad Nacional, Enero 2013 (20)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Refrigeracin

Elementos de refrigeracin

- Chiller (Enfriadora) indoor-outdoor
- CRAC / Aire Acondicionado
- Elementos de conduccin/circulacin de aire

Mtricas
- Velocidad de descarga (n3/min)
- Presin bajo suelo

Universidad Nacional, Enero 2013 (21)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Disposicin general de un datacenter

Universidad Nacional, Enero 2013 (22)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Consideraciones

- Separacin de ujos de aire fro y caliente
si completa, mejor

- Distribucin adecuada presin bajo suelo

- Velocidad de descarga
demasiada velocidad de carga
menos presin cerca del CRAC
menos aire fro a travs de las losetas perforadas cerca del CRAC
menos capacidad de refrigeracin

demasiado poca velocidad de descarga
menos alcance

- GesConar prdidas de ujo de aire

Universidad Nacional, Enero 2013 (23)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Universidad Nacional, Enero 2013 (24)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Universidad Nacional, Enero 2013 (25)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Universidad Nacional, Enero 2013 (26)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

Universidad Nacional, Enero 2013 (27)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

OpJmizaciones

Universidad Nacional, Enero 2013 (28)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

OpJmizaciones

Universidad Nacional, Enero 2013 (29)

Diseo y dimensionamiento de data centers 2 Diseo. Refrigeracin

OpJmizaciones

Universidad Nacional, Enero 2013 (30)

Diseo y dimensionamiento de data centers 2 Diseo. ConCngencias

Resiliencia

Need redundant CRACs or

Universidad Nacional, Enero 2013 (31)

Diseo y dimensionamiento de data centers 2 Diseo. ConCngencias

Resiliencia
redistribuir la carga computacional (si posible)

Universidad Nacional, Enero 2013 (32)

Diseo y dimensionamiento de data centers 2 Diseo. ConCngencias

Otras conJngencias

Sistemas de exCncin de incendios

Redundancia de sistemas (generador, UPS, equipos de
comunicaciones)
Redundancia de suministros (acomeCda elctrica, red)
Seguridad gsica
Seguridad contra intrusiones informCcas
Sistemas de backup (datos, conguraciones, etc.)
Protocolos de mantenimiento y operacin

Universidad Nacional, Enero 2013 (33)

Diseo y dimensionamiento de data centers 2 Diseo. Crecimiento

Crecimiento

Universidad Nacional, Enero 2013 (34)

Diseo y dimensionamiento de data centers 2 Diseo. Crecimiento

Universidad Nacional, Enero 2013 (35)

Diseo y dimensionamiento de data centers 2 Diseo. Crecimiento

Universidad Nacional, Enero 2013 (36)

Diseo y dimensionamiento de data centers 2 Diseo. Virtualizacin

Virtualizacin
FLEXIBILIDAD
ADAPTABILIDAD
AGILIDAD DE DESPLIEGUE
AJUSTE DE LA CARGA A LA NECESIDAD DE SERVICIO
Migracin dinmica de cargas de alta densidad
La capacidad se ajusta a la demanda a niveles de row, rack, server
Predictabilidad de la distribucin de carga y requerimientos de enfriamiento

REQUIERE:
Red interna de alta capacidad
Infraestructura de virtualizacin muy opCmizada
Procedimientos y herramientas de gesCn avanzadas

NIVELES:
1 Servicios bsicos
2 Servicios pblicos
3 AutomaCc deployment (based on metrics, topology)
4 Strategic deployment (based on policies, )

Universidad Nacional, Enero 2013 (37)

Diseo y dimensionamiento de data centers 4 Caso real

Caso real diseo y opJmizacin data center

CETA-CIEMAT www.ceta-ciemat.es
Centro de Clculo Pblico Tecnologas GRID + GPU
1700 cores, 90 Tops GPU cluster, 1PB almacenamiento
Universidad Nacional, Enero 2013 (38)
Diseo y dimensionamiento de data centers 4 Caso real

Universidad Nacional, Enero 2013 (39)

Diseo y dimensionamiento de data centers 4 Caso real

Caso real diseo y opJmizacin data center

Universidad Nacional, Enero 2013 (40)

Diseo y dimensionamiento de data centers 4 Caso real

Universidad Nacional, Enero 2013 (41)

Diseo y dimensionamiento de data centers 4 Caso real

Caso real diseo y opJmizacin data center

Universidad Nacional, Enero 2013 (42)

Diseo y dimensionamiento de data centers 4 Caso real

Caso real diseo y opJmizacin data center

Universidad Nacional, Enero 2013 (43)

Diseo y dimensionamiento de data centers 4 Caso real

Caso real diseo y opJmizacin data center

OPTIMIZACIONES, AO 1
Procedimiento de apagado general del CPD
Procedimiento de apagado de emergencia del CPD
Procedimiento de encendido peridico del grupo electrgeno
Procedimiento para la actualizacin sistema de monitoreo en Cempo real

OPTIMIZACIONES, AO 2
Redistribucin de cargas bajo el grupo electrgeno (priorizacin de servicios)
Redistribucin tendido cuadros elctricos
Reorganizacin de las losetas perforadas
Reacondicionamiento sala de bateras UPS

Universidad Nacional, Enero 2013 (44)

Diseo y dimensionamiento de data centers 4 Caso real

Universidad Nacional, Enero 2013 (45)

Diseo y dimensionamiento de data centers 4 Caso real

Caso real diseo y opJmizacin data center

OPTIMIZACIONES

OpCmizacin conguracin CRACS

Universidad Nacional, Enero 2013 (46)

Diseo y dimensionamiento de data centers 5 Best pracCces
WATCH
Best pracJces hVp://www.google.com/about/datacenters/best-pracCces.html
PrcJcas bsicas:
1. Medir, Medir, Medir, Medir, Medir, Medir el PUE tan frecuentemente como posible
2. GesConar el ujo de aire (sheet metals, lminas plsCcas)
3. Ajustar termostatos (aire frio, menos fro, segn especicaciones)
4. OpCmizar distribucin de potencia

PrcJcas avanzadas:
1. GesCn inteligente de capacidad variable (distribucin carga computacional
horas noche -, vs. encendido/apagado CRACs, )
2. Virtualizacin
3. Medidas detalladas (per rack, server, )

Impacto ahorro energa:

Suposicin: 1 kWh = $200 1 rack de 10 kW encendido 24/7

Consumo anual (PUE = 1.8):



Consumo anual (PUE = 1.6):

Universidad Nacional, Enero 2013 (47)

Diseo y dimensionamiento de data centers 5 Best pracCces

Best pracJces
PrcJcas bsicas:
1. Medir, Medir, Medir, Medir, Medir, Medir el PUE tan frecuentemente como posible
2. GesConar el ujo de aire (sheet metals, lminas plsCcas)
3. Ajustar termostatos (aire frio, menos fro, segn especicaciones)
4. OpCmizar distribucin de potencia

PrcJcas avanzadas:
1. GesCn inteligente de capacidad variable (distribucin carga computacional
horas noche -, vs. encendido/apagado CRACs, )
2. Virtualizacin
3. Medidas detalladas (per rack, server, )

Impacto ahorro energa:

Suposicin: 1 kWh = $200 1 rack de 10 kW encendido 24/7

Consumo anual (PUE = 1.8):
10 kW x 24 hrs/da x 365 das/ao = 87000 kWh/ao x 1.8 PUE = 157.680 kWh/ao x $200/kWh
= $31.536.000 /ao

Consumo anual (PUE = 1.6):
10 kW x 24 hrs/da x 365 das/ao = 87000 kWh/ao x 1.6 PUE = 140.160 kWh/ao x $200/kWh
= $28.032.000/ao AHORRO = 3.5M (11%)

Universidad Nacional, Enero 2013 (48)

Diseo y dimensionamiento de data centers 5 PrcCca

PrcJca modelado datacenters 1

DELL DATACENTER CAPACITY PLANNER
hVp://www.dell.com/html/us/products/rack_advisor_new/index.html

RACK 1 CompuJng on PowerEdge M600 blades RACK 2 Storage on PowerEdge 6950 + AX150
hVp://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf
hVp://www.dell.com/us/dz/p/poweredge-m600/pd
hVp://www.dell.com/downloads/emea/products/pedge/en/
64 blades x 2 Xeon E5440 x 4 cores = 512 cores PE6950_Spec_Sheet_Quad.pdf
Max memory per blade: 64GB (16GB / core) 2 redundant PowerEdge 6950 as storage servers with
Power/Heat: 14.9 kW 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB
Power/Heat: 4.5 kW

Universidad Nacional, Enero 2013 (49)

Diseo y dimensionamiento de data centers 5 PrcCca

PrcJca modelado datacenters 1

DELL DATACENTER CAPACITY PLANNER
hVp://www.dell.com/html/us/products/rack_advisor_new/index.html

RACK 1 CompuJng on PowerEdge M600 blades RACK 2 Storage on PowerEdge 6950 + AX150
hVp://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf
hVp://www.dell.com/us/dz/p/poweredge-m600/pd
hVp://www.dell.com/downloads/emea/products/pedge/en/
64 blades x 2 Xeon E5440 x 4 cores = 512 cores PE6950_Spec_Sheet_Quad.pdf
Max memory per blade: 64GB (16GB / core) 2 redundant PowerEdge 6950 as storage servers with
Power/Heat: 14.9 kW 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB
Power/Heat: 4.5 kW

Universidad Nacional, Enero 2013 (50)

Diseo y dimensionamiento de data centers 5 PrcCca

PrcJca modelado datacenters 1

DELL DATACENTER CAPACITY PLANNER
hVp://www.dell.com/html/us/products/rack_advisor_new/index.html

RACK 1 CompuJng on PowerEdge M600 blades RACK 2 Storage on PowerEdge 6950 + AX150
hVp://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf
hVp://www.dell.com/us/dz/p/poweredge-m600/pd
hVp://www.dell.com/downloads/emea/products/pedge/en/
64 blades x 2 Xeon E5440 x 4 cores = 512 cores PE6950_Spec_Sheet_Quad.pdf
Max memory per blade: 64GB (16GB / core) 2 redundant PowerEdge 6950 as storage servers with
Power/Heat: 14.89 kW 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB
Power/Heat: 4.47 kW
AT $200/kWh, 24x7

support
IT equipment equipment
PUE kw rack 1 kw rack 2 total kwh/ao kwh/ao total kwh/ao $/ao
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2,0

Universidad Nacional, Enero 2013 (51)

Diseo y dimensionamiento de data centers 5 PrcCca

PrcJca modelado datacenters 1

DELL DATACENTER CAPACITY PLANNER
hVp://www.dell.com/html/us/products/rack_advisor_new/index.html

RACK 1 CompuJng on PowerEdge M600 blades RACK 2 Storage on PowerEdge 6950 + AX150
hVp://www.dell.com/downloads/global/products/pvaul/en/ax150_specs.pdf
hVp://www.dell.com/us/dz/p/poweredge-m600/pd
hVp://www.dell.com/downloads/emea/products/pedge/en/
64 blades x 2 Xeon E5440 x 4 cores = 512 cores PE6950_Spec_Sheet_Quad.pdf
Max memory per blade: 64GB (16GB / core) 2 redundant PowerEdge 6950 as storage servers with
Power/Heat: 14.89 kW 10 AX150 w/ 12 SATA disks @750GB = 10*9 = 90TB
Power/Heat: 4.47 kW
AT $200/kWh, 24x7

support
IT equipment equipment
PUE kw rack 1 kw rack 2 total kwh/ao kwh/ao total kwh/ao $/ao
1,1 14,89 4,47 19,36 169.629 16.963 186.592 $ 37.318.301
1,2 14,89 4,47 19,36 169.629 33.926 203.554 $ 40.710.874
1,3 14,89 4,47 19,36 169.629 50.889 220.517 $ 44.103.446
1,4 14,89 4,47 19,36 169.629 67.851 237.480 $ 47.496.019
1,5 14,89 4,47 19,36 169.629 84.814 254.443 $ 50.888.592
1,6 14,89 4,47 19,36 169.629 101.777 271.406 $ 54.281.165
1,7 14,89 4,47 19,36 169.629 118.740 288.369 $ 57.673.738
1,8 14,89 4,47 19,36 169.629 135.703 305.332 $ 61.066.310
1,9 14,89 4,47 19,36 169.629 152.666 322.294 $ 64.458.883
2,0 14,89 4,47 19,36 169.629 169.629 339.257 $ 67.851.456

Universidad Nacional, Enero 2013 (52)

Diseo y dimensionamiento de data centers 5 PrcCca

PrcJca modelado datacenters 2

APC DATA CENTER MODELLING WEB TOOLS
hVp://tools.apc.com

TT6: Calculadora de rendimiento del centro de datos
set datacenter capacity to 194kw and 100% IT load cost should be aprox 10 Cmes our two racks at 1.7 PUE
set IT load back to 70% and add/remove features to datacenter and see eect on PUE and cost

TT8: Data Center Design Planning Calculator
look at growth plan tab, see $$ savings in scale-up vs. up-front
why PUE starts so high when up-front? (hint: in TT6 lower/raise IT load and see eect on PUE)
change deployment rate explain change in PUE charts

TT1: Calculadora de energa de un datacenter
try to get our setup with only RACK 1
(server quanCty=60, 2 sockets = 100%, 0 mainframes, external no storage, safety margin 0%)
change parameters and explain

TT9: Calculadora de costes de energa de virtualizacin
set percentage of servers virtualized to 100% and consolidaCon rate 1:1. explain
turn row based coolin on/o. explain

Universidad Nacional, Enero 2013 (53)

Diseo y dimensionamiento de data centers Consideraciones nales

Consideraciones nales

1 ENTIENDE TU INSTALACIN

2 MIDE MIDE MIDE MIDE MIDE MIDE MIDE

3 LO MS NO SIEMPRE ES LO MS ADECUADO A UN CASO CONCRETO

4 ENTIENDE LOS PATRONES DE CARGAS COMPUTACIONALES

5 DECIDE ACORDE A TU TAMAO / FINANCIACIN / EQUIPO

6 PLANEA A MEDIO TIEMPO CON UN ESPRITU PRCTICO

7 DATACENTERS CIENTFICOS: APOYA A TUS USUARIOS

LA MEJOR GUA: EL SENTIDO COMN

Universidad Nacional, Enero 2013 (54)
Diseo y dimensionamiento de data centers

Enlaces
hVp://www1.eere.energy.gov/femp/pdfs/eedatacenterbestpracCces.pdf

hVp://www.intel.com/technology/eep/datacenter.pdf

hVp://h20000.www2.hp.com/bc/docs/support/SupportManual/c00064724/c00064724.pdf

hVp://www.energystar.gov/ia/partners/prod_development/downloads/
EPA_Datacenter_Report_Congress_Final1.pdf

hVp://www.google.com/about/datacenters/best-pracCces.html

hVp://www.cisco.com/web/partners/downloads/765/other/
Energy_Logic_Reducing_Data_Center_Energy_ConsumpCon.pdf

hVp://staCc.googleusercontent.com/external_content/untrusted_dlcp/www.google.com/es//corporate/
datacenter/dc-best-pracCces-google.pdf

hVp://www.thegreengrid.org/~/media/WhitePapers/
White_Paper_27_Impact_of_VirtualizaCon_Data_On_Center_Physical_Infrastructure_020210.pdf?lang=en

Universidad Nacional, Enero 2013 (55)