SunGridEngineenentornosGrid

IsabelCampos
BIFI

SunGridEngineenentornosGrid
DESARROLLODELACHARLA
ElProyectoSunGridEngine(SGE)
InstalacindeSGEenclusters
UsodeSGEenentornosGRID

Conectividadenentornosdetrabajolocales
UsodeSGEcomojobmanagerenGlobus
SistemadetransferenciadetrabajosenunGrid.

IsabelCampos

ElproyectoSunGridEngine
DesarrolladoporSunMicrosystemsjuntoconiniciativasOpen

Source
Ao2000:SuncompraGridware(enparticularsusistema
propietariodebatch,CODINE)
Suniniciadosproyectos
Unaversincomercial(http://www.sun.com/gridware)

Plataformas:PCs,Silicon,Sun,IBM,HP,MAC.
OS:Linux,Solaris,IRIX,AIX,MACos,Windows
LinuxKernel2.2,2.4,2.6
Softwaredevisualizacin:AccountingReportingConsole(ARco)
Precio:(N1GridEngineversion6)
Clusterhasta50nodos10,000$
Hasta250nodos30,000$
Hasta2,000nodos80,000$

ElproyectoSunGridEngine
VersinlibrebajoladisciplinaOpenSource
http://gridengine.sunsource.net
Oficialmentesoportadopara:
Linuxx86,kernel2.4,glibc>=2.2
LinuxAMD64(Opteron),kernel2.4,glibc>=2.2
SiliconGraphicsIRIX6.5
SunMicrosystemsSolaris(Sparcandx86)7,8en32bity64bit
AppleMacOS/X,CompaqTru64Unix5.0,5.1,HewlettPackardHP
UX11.x,IBMAIX4.3,5.1

Funcionaadems(conmodif.mnimas)para
x86_64(XeonEMT64)
kernels2.6
IA64(Itanium)

InstalacindeSGEOpenSource
Descargadesoftware:
http://gridengine.sunsource.net
Descargadelbinariodelaplataformacorrespondiente,obien
Descargadelasfuentes&compilar

NodoMasterinstalacindesdelosbinarios
mkdir/usr/local/sys/sge&tarxfsgeversionplataforma.tar
Aadirentradaen/etc/services(privilegiosderoot)
sge_commd

puerto_libre/tcp

Editarunficheroconlosnombresdelosnodosacontrolar
Scriptdeinicializacinvapordefectoa/etc/init.d/rcsge
Efectovisible:sge_commd,sge_qmasterysge_schedestn
corriendo

InstalacindeSGE
NodosdeEjecucinydecontrol
mkdir/usr/local/sys/sge
mountmaster:/usr/local/sys/sge/usr/local/sys/sge
./usr/local/sys/sge/settings.sh
./install_execdencadanododesdeesedirectorio
Efectovisiblesge_execd,sge_commdysge_sheperdestn
corriendo
Lascolasseconfigurangraficamente,(yseclonan)
Enelnodointeractivodelclusternohaysge_execdni
sge_sheperd.

InstalacindeSGE
Monitorizacinycontrol
./usr/local/sys/sge/settings.sh
ConentornoX11
Lanzarqmon&

SinentornoX11
Comandosenlineadeconfiguracindecolas(qconfyqmod)
Sobrelostrabajos(qsub,qstat,qdel,)
Administracin:qacct

InstalacindeSGE
ConfiguracindeComplejos(complexattributes)de

unacola
Configuracindelentornoparalelo
Definicindecolasparalelas
Configuracindeusuarios
Cmocontrolarlalogindeusuariosalosnodosde
ejecucinusandoSGE:
protocolodeinicializacin/stop

InstalacindeSGEOpenSource
Nodointeractivo

sge_commd

Nododeenvo

Nodoservidor

sge_commd

sge_qmaster
Nodomaster

sge_schedd
Nododecomputacin
?
sge_commd

sge_execd

sge_sheperd

Nodosdeejecucin

InstalacindeSGEOpenSource

SGEJobmonitoring

InstalacindeSGEOpenSource
Trabajoenserie
#/bin/sh
#$o$HOME/mydir/myjob.out
#$Nmyjob
#$Muser@unizar.es
#$lemt64=yes
./etc/profile.sge
.intel81.setup
cdmydir
./myprog

TrabajoenParalelo
#/bin/sh
#$o$HOME/mydir/myjob.out
#$Nmyjob
#$pempi410
#$Muser@domain.net
./etc/profile.sge
./etc/mpi.setupempi
cdmydir
mpirunnp$NSLOTS./myprog

IntegracindeSGEenentornosGRID(I)
Conectividadenentornosde

trabajolocales

bifi.unizar.es

IntegracindeSGEenentornosGRID(I)
Etapas
InstalarSGEentodoslosPCsdeclarandoaunomaster
InstalarunGlobusgatekeeperparaautenticarytransferir
Alternativamente:usarsshdyRSAautenticacin
InstalartodoslosdemasPCscomoexecutionhostsyclientesde
globus
Tareaorganizativaimportante
Desarrollodescriptsdecontroldelsistema:pclab_bifi.sh

./pclab_bifi.shexepathscriptpathoutpath(parametrosdelPClocal)
Buscaunnodolibreusandoqstat
Transfiereeldirectorioexepathyscriptpathusandogsissh(sinpassword)
Controlacuandoacabalaejecucin(max8horas)yusadenuevogsissh
paratransportarresultadosaoutpath

IntegracindeSGEenentornosGrid(II)
CollaboracinentreelLondonescienceUKyla

empresaSunMicrosystems
Paginadelproyecto:
http://www.lesc.imperial.ac.uk/projects/epicgtsge.html

ConfiguracindelGlobusjobmanagerparaenviartrabajos
usandoelsistemadecolasdeSGE
ChequeadoparaSGEv5.3
ProveedeunscriptqueleeladescripcinRSLdeltrabajoylatraduce
allenguajedebatchscriptsqueentiendeSGE
Tiposdetrabajoaceptados:single,multipleyMPI

IntegracindeSGEenentornosGrid(II)
IntegracinconGlobus2.x
Ficheros:
globus_gram_job_manager_setup_sge0.11.tar.gz
globus_gram_reporter_setup_sge0.8.tar.gz

Instalacin:
$GPT_LOCATION/sbin/gptbuildfile.tar.gz
$GPT_LOCATION/sbin/gptpostinstall

IntegracindeSGEenentornosGrid(II)
IntegracinconGlobus3.x
Ficheros:
globus_gram_job_manager_setup_sge0.11.tar.gz
mmjfs_sge_setup0.0.tar.gz
mjs_sge_setup0.0.tar.gz

Instalacin:
$GPT_LOCATION/sbin/gptbuildfile.tar.gz
$GPT_LOCATION/sbin/gptpostinstall

Chequeo:
managedjobglobusrunfactoryHOSTNAME:PORTtypeSGEfile\\
${GLOBUS_LOCATION}/etc/test.xmloutput

EsquemadefuncionamientodeSGEconGlobus
Cluster

globusjobsubmit

Gatekeeper

UsuariosGlobus

SistemadetransferenciadetrabajosenunGRID
DesarrolladoporelEPCCencolaboracincon

SunMicrosystems

http://gridengine.sunsource.net/project/gridengine/tog.html

Objetivo:
permitirenintercambioderecursosentredos
organizacionesdeformacontrolada.
Requerimientos
1.
2.
3.
4.
5.

SGEinstaladoenambossitios(AyB)
Globusinstaladoenambossitios(AyB)
GlobusJavaCoGenelsitioquetienelacoladeTOG(ej.A)
EnB,SGEconfiguradocomoeljobmanagerdeGlobus
Firewall:puertosdeterminadosabiertos

SistemadetransferenciadetrabajosenunGRID
A
GridEngine

GridEngine

TOG

Globus

Globus

UsuariosdeApuedenusarlosrecursosdeBgraciasalTOG

Requisitosdeambossistemas:sitiolocalA
ConfigurandoA:

SubmithostdeGridEngineenA:submit.A.com;
ExecutionhostenA,conunclienteGlobusinstalado
$GLOBUS_LOCATION=/usr/local/gtII;
GlobusJavaCoGinstalado,$COG_INSTALL_PATHen/usr/local/cog;
$SGE_ROOT=/opt/SGE;
CadausuarioenA,tieneuncertificadoautorizandoleausarlosrecursos
deB;
Elfirewallestaabierto
enel2119paraelGlobusGatekeeper,
el62000to64000parajobmanagerylatransferenciadedatos

Requisitosdeambossistemas:SitioremotoB
ConfigurandoB:

GridEngineinstaladocon$SGE_ROOT=/opt/sge
Queuename:resource_B.q
UnslotalmenosparalosusuariosdeA
Globusinstaladoen$GLOBUS_LOCATION=/usr/local/gtII;
LosusuariosdeAestncertificadosenresource.B.comusando
Globus;
DirectorioENTERPRISE_HOMEparausuariosdeAlocalizadoenel
directorio/remote/A;
ConfiguradocomoGridEnginesubmithost.
Configuradoconjobmanagertgejobmanager.
Firewallabiertoenlospuertos
2119GlobusGatekeeper;
2811GridFTPdaemon;
o60000to62000forjobmanagerydatatransfer

ChequeandolaconfiguracindeGlobus
%echo"test">test.txt
%globusurlcopyfile:///home/alice/test.txt\
>gsiftp://globus.B.com/remote/A/alice/test_copy.txt
%globusurlcopy\
gsiftp://globus.B.com/remote/A/alice/test_copy.txt\
file:///home/alice/test2.txt
%cattest2.txt
test

SistemadetransferenciadetrabajosTOG
InstalacindeTOGenelsitioA

cptog.tar$SGE_ROOT
cd$SGE_ROOT
tarxzvftog.tar.gz
Directorio$SGE_ROOT/tog/
ConfiguracindeGridEngineenAparausarTOG

CrearlosComplex:tog_hostytog_queue
CrearunacoladestinadaaTOG

tog_hostcomplex

Eltog_queuecomplex

ConfiguracindeunacolaTOG

LacolaconfiguradaTOGenelsitiolocalAesunproxyhaciael

sitioremotoB

LaconfiguracinsehacecomounacolanormaldeSGE

(usandoelinterfaceqmon)

SeaadenlosComplexquehemosdefinidoparatog

Envodetrabajos:
gridproxyinit
qsubqproxy.queuescript.sh
FicherodeInputyOutputdebenserespecificadosenelscript
#%input_file=input1
#%output_file=out/output

Documentacinaccesibleen
http://bifi.unizar.es/~isabel/downloads
Estapresentacin:sge_valencia.pdf
InstalacindeSGEdesdefuentes:notas_sge.pdf
DocumentodeinstalacindeTOG:tog.pdf

Muchas Gracias