Cdigos de Qumica Computacional en el CESGA (Gaussian, GAMESS, NWCHEM)

Aurelio Rodrguez,
Tcnico de Aplicaciones

aurelio@cesga.es

 HARDWARE

Componentes bsicos Rendimiento de disco y memoria Uso de memoria y disco Uso ptimo del hardware Consideraciones sobre las colas WARE

SOF

!a"ssian# !A$ESS# %WCHE$ Direct &s' incore &s' dis( E)ec"cin en paralelo

CC1

Consideraciones acerca de los m*todos+ HF# DF # $,-# CCSD# CCSD. /# C0

!E%ERA10DADES

FA2

ama3o+ -56-8!7 ama3o+456-$7

$E$OR0A

CACHE C,U D0SCO

ama3o+ 9:: !75 m"chos 7

ama3o+ -56-8!7 ama3o+ 456-$7 Ancho de banda+ 9: !b;s

$E$OR0A

Ancho de banda+ 9 !b;s

CACHE C,U D0SCO

ama3o+ 9:: !75 m"chos 7 Ancho de banda+ -9: $7;s

ama3o+ 456- $7 Ancho de banda+ 9: !b;s 1atencia;ciclos+ -:

ama3o+ -56-8!7

$E$OR0A

Ancho de banda+ 9 !b;s 1atencia;ciclos+ -::

CACHE C,U D0SCO

ama3o+ 9:: !75 m"chos 7 Ancho de banda+ -9: $7;s 1atencia;ciclos+ 69<6:=

ama3o+ -56-8!7

$E$OR0A CACHE C,U

ama3o+ 456- $7 Ancho de banda+ 9: !b;s 1atencia;ciclos+ -:

Ancho de banda+ 9!b;s 1atencia;ciclos+ -::

D0SCO
ama3o+ 9:: !75 m"chos 7 Ancho de banda+ -9: $7;s 1atencia;ciclos+ 69<6:=

$"chos cdi>os permiten ele>ir al>oritmos ?"e dependen @"ertemente de al>"no de estos componentes

 Disco+ C"ando se e)ec"tan al>oritmos ?"e "san

m"cho espacio en disco# el rendimiento del disco p"ede a@ectar @cilmente en "n @actor m"y >rande el tiempo de e)ec"cin'

E)ercicio con !A$ESS+ E)ec"ta !A$ESS en el Finis errae+ 6/ con el &alor por de@ecto de la &ariable de entorno A $,D0R -/ con A $,D0R @i)ada a AHO$ESFS;ABO7C0D D/ con A $,D0R @i)ada a AHO$E;ABO7C0D C"anto tarda cada casoE

 Recomendaciones+ 1a con@i>"racin por de@ecto est pensada

para ser ptima+ 1a &ariable A $,D0R se @i)a al directorio con disco ptimo'

Si se re?"iere el "so de disco s"perior a

8::!7 contactar+

aplicacionsFces>a'es;sistemasFces>a'es

$E$OR0A+ En >eneral es recomendable "sar tanta

memoria como sea posible'

1a mayorGa de los al>oritmos estn

dise3ados para "sar disco o recalc"lar si los clc"los no caben en memoria'
Recalc"lar no s"ele ser recomendable .pero @rec"entemente es me)or ?"e escribir a disco/

OBOHHH con los clc"los paralelos

 $emoria disponible+ IFinis errae+

J%odos rK+ 6-8 !7 JS"perdome+ -9= !7 JS"perdome+ 6 7

ISL!D+
J%odos D-+ 6 !7 JOpteron+ 4!7 J7lades+ 4!7 J7lades+ 8!7

Usa tanta memoria como te permita el pro>rama

JUsa tanta memoria como p"edas limitado por el hardware o por el pro>rama ?"e ests "sando JAse>Mrate de ?"e t" pro>rama est haciendo "so de la memoria

Especi@icar $emoria en !a"ssian NmemO6-::mb P$,-;=5D6!< opt '''''''''''''''''' '''''''''''''''''' '''''''''''''''''' Comando lin(:

?s"b 5l '''#sC&memO69::$#''' r"n'sh

Especi@icar memoria en !A$ESS ASQS E$ $WORDSO=4 $E$DD0O6-8 AE%D '''''''''''''''''' '''''''''''''''''' ''''''''''''''''''

?s"b 5l '''#sC&memO-!#''' r"n'sh

Especi@icar memoria en %WChem memory total 6::: mb memory heap -9: stac( -9: >lobal 9:: mb '''''''''''''''''' '''''''''''''''''' ''''''''''''''''''
1as r"tinas indi&id"ales reser&arn memoria' El pro>rama abortar si enc"entra "na r"tina ?"e pide demasiada memoria' %WChem s"ele dar "n mensa)e de error m"y descripti&o' Si ests e)ec"tando en paralelo adicionalmente se>"irn m"chos errores $,0

?s"b 5l '''#sC&memO69::$#''' r"n'sh

E)ercicio con !a"ssian+ E)ec"ta !a"ssian :D en el Finis errae+ 6/ con el m*todo DF "sando el al>oritmo incore -/ con el m*todo DF "sando el al>oritmo directo RC"anto tarda cada casoE R2"* oc"rre c"ando se "san - procesadoresE

Consideraciones respecto a las colas

Es m"y con&eniente a)"star la memoria ?"e &a

a "sar el caso a e)ec"tar+ I$e)or apro&echamiento del ser&idor IE&ita problemas en las aplicaciones I ener en c"enta las con@i>"raciones de los ser&idores .ratio memoria;procesador/ + F no ms de 8!b por proceso

Uso ptimo del Hardware+

El "so e@iciente de la C,U y del CACHE depende

enormemente de como @"e compilado el pro>rama+ Compiladores+ >cc# ,ortland !ro"p# 0ntel 1ibrerGas+ A 1AS# !O O# AC$1# 0ntel $S1 '''

Uso ptimo del Hardware

1a me)or combinacin de compilador y librerGa

matemtica depender de t" plata@orma+ F .ia=4/+ Compiladores de 0% E1 T 0ntel $S1

Compila y pasa los tests a el cdi>o t" mismo $ira si los &endedores o los desarrolladores ya
conocen la me)or @orma de compilacin para t" plata@orma

!a"ssian :D+
Es "n pa?"ete de estr"ct"ra electrnica capaU de predecir m"chas propiedades de tomos# mol*c"las# sistemas reacti&os# por e)+ JEner>Gas molec"lares JEstr"ct"ras JFrec"encias &ibracionales JDensidades electrnicas UtiliUando m*todos ab initio# teorGa de la @"ncional de la densidad# semi5empGricos# mecnica molec"lar y &arios m*todos hGbridos

http+;;www'>a"ssian'com;techCtopCle&el'htm http+;;www'>a"ssian'com;>C"r;mCe@@'htm

!amess+
Es "n pro>rama para el modelado basado en la @"ncin de onda de la estr"ct"ra electrnica de sistemas ?"Gmicos de estr"ct"ra electrnica'

!A$ESS est mantenido por los miembros del V$ar( !ordonWs 2"ant"m heory !ro"pX'

http+;;www'ms>'ameslab'>o&;!A$ESS;doc"mentation'html

%WChem+
,a?"ete de estr"ct"ra electrnica desarrollado en el ,aci@ic %orwest %ational 1aboratory y dise3ado para obtener "n >ran rendimiento de s" e)ec"cin en paralelo ,resenta caracterGsticas bastante Mnicas como por e)+ 0nte>racin con python

http+;;www'emsl'pnl'>o&;docs;nwchem;doc;"ser;indeK'html 1ista de correo+ http+;;www'emsl'pnl'>o&;docs;nwchem;s"pport;s"pport'html

!a"ssian;!amess;%WChem

!a"ssian;!amess;%WChem

Clc"los HF o DF

Orbitales $olec"lares 0nte>rales 6e5

Clc"los Vin5coreX
o solo memoria+ IS"@iciente memoria para almacenar todo

0nte>rales - e5

Otros

IS"ele ser el m*todo ms rpido

C,U:

Clc"los en disco+
IDependemos del rendimiento del sistema de @icheros

Orbitales $olec"lares 0nte>rales 6e5 Otros

0nte>rales - e5

Disco

C,U:

Clc"los Directos+
ICada &eU ?"e
Orbitales $olec"lares 0nte>rales 6e5

necesitamos al>"nas inte>rales - e5 las recalc"lamos IRe?"iere m"cha menos memoria

0nte>rales - e5
Otros

C,U:

Directo &s' 0ncore &s' Disco

En serie los clc"los in5core son los ms

rpidos pero @rec"entemente re?"ieren cantidades prohibiti&as de memoria

Son ms @rec"entes los clc"los directo o con

almacenamiento en disco .semidirectos/'

Directo &s' 0ncore &s' Disco

Almacenar las inte>rales en disco re?"ieren

menos tiempo de C,U ?"e los m*todos directos pero para conse>"ir "n b"en tiempo @inal se necesitan discos m"y rpidos'

$s @rec"entemente los clc"los directos o

semidirectos dan me)or res"ltados comparado con almacenamiento completo en disco'

Uso de la memoria en pro>ramas paralelos

Un pro>rama paralelo tiene di@erentes @ormas

de distrib"ir el traba)o

Dependiendo de la plata@orma "n m*todo "

otro de distrib"cin @"ncionar me)or o peor
Datos replicados Datos distrib"idos $emoria compartida

!a"ssian+
I$emoria compartida .Open$,/

!amess+
IDatos distrib"idos o replicados "sando el V!A$ESS distrib"ted data inter@ace .DD0/X

%WChem+
IDatos distrib"idos o replicados "sando el !lobal Arrays

Consideraciones acerca del m*todo HF;DF

1os m*todos HF y DF
importante+

in&ol"cran "n Mnico

clc"lo SCF para hallar la @"ncin de onda'

En estos m*todos el al>oritmo SCF es m"y

IEn !a"ssian# sc@OK?c s"ele ser la me)or opcin' anto !amess como !a"ssian o %WChem tienen m"chas opciones para los al>oritmos SCF y V>"essesX iniciales'

HF;DF paralelo

!a"ssian+
I7"en escalado hasta 458 procesadores

!amess+
I7"en escalado hasta 856= procesadores

%WChem+
I7"en escalado hasta -9= procesadores

E)ercicio con %WChem+ E)ec"ta %WChem en el Finis errae+ 6/ E)ec"ta en serie -/ E)ec"ta en paralelo con -#4#8 y 6= procesadores RC"anto tarda cada casoE RCmo escala este pro>ramaE

E)ercicio con %WChem+

400

!:D+ slo b"en escalado con al>oritmos directos

350

300

iempo;s 250
200

G03 NWChem

150

100

50

0 1 Proc

2 Proc

4 Proc

8 Proc

16 Proc

%WChem+ b"en escalado en >eneral pero no es recomendable para casos pe?"e3os

Consideraciones acerca del m*todo $,-

!a"ssian+
7"en escalado hasta 4 procesadores para ener>Gas y >radientes' 1os >radientes analGticos se bene@ician m"cho de "na >ran cantidad de memoria

!amess+
7"en escalado hasta 4 procesadores para ener>Gas y >radientes' Rendimiento m"y dependiente de la memoria disponible

%WChem+
7"en escalado hasta 6-8 procesadores para ener>Gas y >radientes' Se debe che?"ear el @ichero de o"tp"t acerca de las estadGsticas de memoria

Consideraciones acerca de los m*todos 2C0SD y CCSD

!a"ssian+ no est paraleliUado pero''' .librerGas

matemticas/' 1os >radientes analGticos re?"ieren "n >ran cantidad de disco

!amess+ paraleliUado para ener>Gas' %WChem+ paraleliUado para ener>Gas'

!radientes n"m*ricos'

CCSD. / paralelo

!a"ssian+ no est paraleliUado pero''' .librerGas matemticas/' !amess+ paraleliUado para ener>Gas %WChem+ paraleliUado para ener>Gas

0nteraccin de con@i>"raciones

!a"ssian+ ener>Gas y >radientes paralelos !amess+ paraleliUado para ener>Gas %WChem+ paraleliUado para ener>Gas

OptimiUacin de !eometrGas $inimiUar el nMmero de pasos es ideal para acelerar el proceso+

J,or e) el al>oritmo de 7erny en !a"ssian @"nciona bastante bien

El escalado paralelo est limitado por la paraleliUacin de los >radientes y a &eces de los hessianos'
J,or e) en !a"ssian optOcalcFC o optOcalcall hace ?"e se calc"le el hessiano en 6 o ms pasos' .optimiUacin de p"ntos de silla/

!eneralidades;FA2

R2"e ser&idor debo "sarE RDebo "sar las colasE R2"* rec"rsos necesita mi
traba)oE

Chec(pointin>;Restart RDebo "sar mpir"n para e)ec"tar en paraleloE Otros pro>ramas'''

 R2"e ser&ido debo "sarE SVG Finis errae

Casos ?"e demanden+ ,oca memoria ,oco disco Adec"ado para clc"los directos o pe?"e3os

 R2"e ser&ido debo "sarE SL!D !inis "e##ae

Casos ?"e demanden+ $"cha memoria $"cho disco Adec"ado para >randes clc"los

O+ %Mmero de orbitales oc"pados L+ %Mmero de orbitales &irt"ales %+ %Mmero de @"nciones de base

>:Dmem @icheroCdeCinp"t

Restart;Chec(pointin>

Depende enormemente del caso+

Ficheros de chec(pointin> Otros @icheros Database %o es posible

RDebo "sar mpir"n para e)ec"tar en paraleloE

Depende del pro>rama+ $emoria compartida o

distrib"ida

Dentro del CES!A en >eneral no# ya ?"e hay

VwrappersX ?"e se encar>an de ello en el caso de ser necesario

Otros pro>ramas'''

(AG&A)

C$%&M'&S M$%CAS A%"$N M$%*)$ "&)'$M$%E $)CA

Al>"nos pro>ramas ms '''

$O1ESE1 !A7ED0 $O1DE%

O,E%7A7E1

GRACIAS POR VE IR A ESTE C!RSO"

CO TACTO#
Aurelio Rodrguez aurelio@cesga.es $%%p#&&'''.cesga.es