Instalacin y configuracin de un cluster con Rocks en la Universidad de Guadalajara

Autor Adan Guerrero

Version 0.1

Fecha 16 de Enero de 2009

Tabla de Contenido
Introduccin a un cluster de alto rendimiento............................................................................................4 Elementos de un cluster.........................................................................................................................4 Procesadores....................................................................................................................................4 Comunicaciones...............................................................................................................................5 Sistemas O erati!os.........................................................................................................................5 So"t#are...........................................................................................................................................5 $ecursos %umanos..........................................................................................................................5 Instalacin de $oc&s..................................................................................................................................6 $e'uerimientos ( Prerre'uisitos...........................................................................................................6 Instalacin ( con"i)uracin del *ront End............................................................................................+ Con"i)uracin del *ront End..........................................................................................................10 Instalacin ( con"i)uracin de los nodos ...........................................................................................11 Con"i)uracin "inal de los nodos....................................................................................................11 Administracin ,-sica..............................................................................................................................12 Acceso al *ront.End ( a los nodos del cluster....................................................................................12 Sistemas de arc/i!os en el cluster.......................................................................................................10 1onitoreo ,-sico de los recursos del cluster.......................................................................................14 Or)ani2acin del sistema O erati!o....................................................................................................1+ Sistemas de arc/i!os or red..........................................................................................................13 El ser!icio 411 Secure In"ormation S(stem........................................................................................19 Administracin de 4suarios................................................................................................................20 S5ntesis de comandos...........................................................................................................................21 6 icos Es eciales de Administracin.....................................................................................................22 Instalacin de 7ue!o So"t#are............................................................................................................22 1onitoreo de recursos or la #e,.......................................................................................................24 S5ntesis de comandos...........................................................................................................................25 Errores encontrados al instalar el cluster en la 4ni!ersidad de Guadala8ara...........................................26 Instalacin de los nodos......................................................................................................................26 $einiciar un ser!icio con errores.........................................................................................................26 *lu8os ara re!isin de errores ( c/ec&list ara la administracin..........................................................2+ A)re)ar usuario...................................................................................................................................2+ Eliminar un 4suario............................................................................................................................23 9etalles del cluster instalado en la 4ni!ersidad de Guadala8ara.............................................................29

ndice de figuras
:Por'ue un cluster;....................................................................................................................................4 Es'uema General de con"i)uracin de un cluster......................................................................................+ Pantalla de Inicio de $oc&s........................................................................................................................3 Es'uema de articionamiento de $ocs&....................................................................................................9 Pantalla del insert.e/ters..........................................................................................................................11 Putt(.........................................................................................................................................................12 Acti!acin de <11 "or#ardin).................................................................................................................10 S5ntesis de comandos =Administracin >-sico?.......................................................................................21 Gan)lia monitorin)..................................................................................................................................24

S5ntesis de comandos Administracin a!an2ada......................................................................................25 *lu8o ara a)re)ar un usuario al cluster...................................................................................................2+ *lu8o ara eliminar un usuario.................................................................................................................23 *ront.End.................................................................................................................................................29 com ute.0.0.............................................................................................................................................00 com ute.0.1.............................................................................................................................................00 com ute.0.2.............................................................................................................................................00 com ute.0.0.............................................................................................................................................00 com ute.0.4.............................................................................................................................................00 com ute.0.5.............................................................................................................................................01 com ute.0.6.............................................................................................................................................01 com ute.0.+.............................................................................................................................................01 com ute.0.3.............................................................................................................................................01

Introduccin a un cluster de alto rendimiento

:@uA es un cluster;
Cluster es un sistema de procesamiento de tipo paralelo o distribuido, que est formado de computadoras independientes, interconectadas entre s, trabajando juntas como un solo recurso de cmputo intensivo.

Proces adores

S is temas Operativos Linux

Comunicaciones Redes / s witches

Clus ters

Es calabilidad

Recurs os !umanos
!erramientas "plicaciones

Programacin paralela Envo de mens a es

Figura 1: Porque un cluster? Bas caracteristicas m-s so,resalientes en la utili2acin de un cluster ara el com uto de alto rendmiento tiene las si)uientesC

Elementos de un cluster Procesadores

Se ueden utili2ar racticamente cual'uier ti o de rocesadores. Ba tecnolo)5a actual los rocesadores de una ma'uina accesi,le nos da un rendimiento similar a los rocesadores de una su ercom utadora. En donde cada rocesador osee una )ran cantidad de cac/eD as5 como de altas !elocidades ( ,a8o costo.

Comunicaciones
EEisten soluciones 'ue necesitan ocos recursos economicos ara interconectar los e'ui os 'ue "ormaran arte del cluster. Se uede utili2ar cual'uier ti o de tecnolo)5a ara la interconeEin entre los e'ui os (a sea la utli2acin de redes Et/ernetD 1(rinetD Gi)a,it. Con el 'ue se o,tiene un )ran anc/o de ,anda dis oni,le ara la comunicacin con ,a8as latencias.

Sistemas Operativos
Se uede utili2ar cual'uier sistema o erati!o ara la creacin de un cluster sin em,arlo se recomienda el uso de linuE (a 'ue este osee una )ran esta,ilidad aFnado a un ,uen rendmiento en cuanto a mane8o de memor5aD as5 como de IGO e"icienteD asi como la osi,ilidad de /acer un a8uste mu( re"inado a los arametros de los dis ositi!os ara un me8or rendimiento.

Software
EEiste una )ran cantidad de so"t#are 'ue (a esta listo ara "uncionar en un clusterD desde la a aricin de los rocesadores con %i er6/readin) =%6?D la ro)ramacin ( la roli"eracin de so"t#are se /a desarrollado eE onencialmenteD con lo 'ue se tiene una ma(or cantidad de osi,ilidades ara las di"erentes disci linas cienti"icas.

Recursos Humanos
El elemento m-s im ortante ara el "uncionamiento de cual'uier sistema es el elemento /umano 'ue ca acitado en la administracin ( mane8o necesario de recursos ro!eA de un am,iente m-s ami)a,le ara a'uellos usuarios 'ue retendan utili2ar el cluster. El cluster es "acilmente escala,le a com aracin de las su ercom utadoras en donde la escala,ilidad de ende de una )ran cantidad de recursos economicos. Con la "acilidad de eEtender el cluster con e'ui o de ,a8o costo la escala,ilidad no re resenta una )ran limitante en el momento de a)re)ar recursos necesarios ara incrementar el oder de com uto. EEisten adem-s muc/as /erramientas en la actualidad ara la administracin ( mane8o del clusterD tanto en /erramientas de monitoreoD as5 como de /erramientas ara la administracin de tra,8os ( recursos. El so orte en li,rerias ara o)ramacin en aralelo estan altamente desarrolladasD lo cual ermite 'ue la ro)ramcin de nue!as a licaciones 'ue uedan "uncionar en multi rocesamiento sea m-s sencillo.

Instalacin de Rocks
=ori)inalmente llamado 7PACI $oc&s? es una distri,ucin de BinuE ara clusters de com utadores de alto rendimiento. *ue inciada or la 7PACI ( la S9CS in 2000D ( "ue "inanciada inicialmente en arte or una su,!encin de la 7*S =2000.200+?D ero actualmente est- "inanciada or la si)uiente su,!encin de la 7S*. $oc&s se ,as inicialmente en la distri,ucin $ed %at BinuED sin em,ar)o las !ersiones m-s modernas de $oc&s est-n ,asadas en CentOSD con un instalador anaconda modi"icadoD 'ue sim li"ica la instalacin Hen masaH en muc/as com utadoras.

Requerimientos y Prerrequisitos
Bos re'uerimientos necesarios ara instalar roc&s sonC

4n con8unto de m-'uinas de ar'uitectura similar =com ute nodes?D cada una con una inter"a2 de redD disco duro con ca acidad ara m-s de + G> ( memoria $A1 su erior a 256 1>. 4n data s#itc/ =o !arios? con un nFmero de uertos ma(or al do,le del nFmero de m-'uinas dis oni,les = ara darle escala,ilidad?. 4na m-'uina con 2 inter"aces de redD ca acidad en disco duro i)ual o su erior a 20 G>D ( memoria $A1 su erior o i)ual a 512 1> ="rontend?. Ca,les de red en nFmero ( lon)itud su"iciente. 1ue,le o $ac& con es acio a ro iado ara los c/asis de las m-'uinas ( e!entualmente ara el "rontendD con acceso a ro iado a la arte de atr-s de los e'ui os. 4na /a,itacin con !entilacin o re"ri)eracin adecuada ara los ni!eles de disi acin de calor de todos los e'ui os com,inados. 4na 4PS ara alimentar al menos una m-'uina =el "rontend or e8em lo? or m-s de 10 minutos.

Para la instalacin del sistema o erati!o se de,e dis oner de los si)uientes medios =rolls? 'ue uede ser descar)ados desde el sitio de roc&s clusters =/tt CGG###.roc&sclusters.or)G?C

Iernel $oll Core $oll OS $ollD dis& 1 OS $oll dis& 2 Cual'uier otro $oll 'ue considere necesario =CondorD >ioD Ji2D etc.?

Instalacin y configuracin del Front End

Antes de roceder con la instalacin del "rontend es necesario ase)urarse 'ue las coneEiones de la red eEterna ( la red interna del cluster se /a)an a la inter"a2 de red correcta. $oc&s asume 'ue la inter"a2 identi"icada como Het/1H or el &ernel ser- a'uella 'ue esta conectada a la red eEterna ( la Het/0H a la red ri!ada del cluster.

Figura 2: Esquema general de configuracin fisica de un cluster

El roceso de instalacin resulta mu( sencillo una !e2 instalados los e'ui os en el rac& ( uesto la alimientacin de oder /a( 'ue encender el e'ui o 'ue ser- el nodo maestro =*rontEnd? ( oner el disco de arran'ue =>oot? en la unidad de C9 ara comen2ar la instalacin. Al reali2ar este rocedimiento a arecer- la rimer antalla en la 'ue de,eremos ele)ir la instalacin del *rontEnd =*i)ura 0.?.

Figura 3: Pantalla de Inicio de la isntalacin de Rocks En esta antala ara oder instalar el nodo maestro de,emos de escri,ir la ala,ra K,uildL =o "rontend en !ersiones anteriores a la 5.1 de $oc&s?. Con esto comen2ar- el roceso de instalacin en la 'ue se con"i)urar- el cluster. Pantalla 1. Seleccionar los rolls 'ue se !an a instalarC Para ello /a( 'ue selecionar la o cion (a sea de instalar desde C9 o descar)ar desde un ser!idor. Para a)re)ar los roll desde un C9 solo /a( seleccionar el roll a aMadir de la antalla 'ue a arece des uede darle clic& en el ,oton K*rom media G *rom C9LD des ues de selecionar el roll ( resionar el ,oton KSu,mitL entonces re)resamos a la antalla anterior ( la unidad de C9 se eE ulsar- automaticamenteD des ues de esto /a( 'ue ir re itienedo el mismo rocedimiento ara cada roll 'ue se dis on)a. O en caso 'ue se seleccione la o cion de instalar desde un ser!idorD seleccionar la lista de rolls 'ue se desean instalar. 9es ues de esto resionar el >oton K7eEtL Pantalla 2. A arece una "ormulario en el 'ue /a( 'ue llenar la in"ormacin >-sica del cluster entre las 'ue se encuentranC 1. *ull( @uali"ied %ost 7ame =*@%7?C /a( 'ue oner el nom,re con el 'ue se conocera en la red eEterna en este caso =orion.ud).mE?

2. Cluster 7ameC 7om,re utili2ado ara identi"icar dentro de las /erramientas del cluster como )an)lia al clusterD se ueden utili2ar cual'uier ti o de com,inacin de letras ( di)itos =Orion?. 0. Or)ani2acin a la 'ue ertenece el clusterD el estado ( la ciudad =4deGD 4ni!ersidad de Guadala8araD Nalisco 1<? 4. 9ireccin de contactoC 4sar una direccin !alida ara re"erencia de correos electronicos res ecto al cluster. Pantalla 0. Con"i)uracin >-sica de la red ri!ada en nuestro caso una clase > =10.1.0.0 G 255.255.0.0? Pantalla 4. Con"i)uracin de la red eEterna. En esta antalla /a( 'ue dar los datos de la red en la 'ue se encuentr nuestro clusterD en nuestro caso 143.202.105.220 G 255.255.255.0 )# 143.202.105.254. Pantalla 5 Esta,lecimiento de la contraseMa de root 'ue ser- utili2ada ara los ro ositos de adminsitracin. Pantalla 6. Esta,lecer el uso /orario del ser!ido ( en caso de ser re'uerido un ser!idor 76P ara sincroni2aciones de tiem o. Pantalla +. Es'uema de articionado del discoD en caso de clusters dedicados se recomienda el auto articionamiento or de"ecto 'ue es el si)uienteC

Figura 4: Esquema de articionamiento del disco

en donde KaL es !alido tanto ara sda como /da. 4na !e2 seleccionado el es'uema de articionado comien2a entonces la instalacin del *rontEndD en donde se nos solicitar- ir a)re)ando los cd de los rolls seleccionados o la descar)a del ser!idor de los mismos. 4na !e2 terminada la instalacin de todos los rolls el e'ui o es reiniciado ( el ultimo cd insertado es eE ulsadoO una !e2 reiniciado el *rontEnd arranca con nuestro sistema $oc&s (a instalado.

Configuracin del ront !nd

Una vez instalado completamente el frontend se puede proceder a ajustar algunos detalles de la configuracin de la mquina y la preparacin de la distribucin que ser instalada en los compute nodes. Para usuarios con teclados latinoamericano o espaol es muy conveniente cargar el mapa de teclado correspondiente. Para hacerlo se usa el comando: load!eys "lib"!bd"!eymaps"i#$%"q&erty"i#$%"es.map.gz Para garantizar que la configuracin del teclado se mantenga a'n despu(s de reiniciado el frontend se puede agregar esta l)nea al archivo rc.local: echo load!eys "lib"!bd"!eymaps"i#$%"q&erty"i#$%"es.map.gz ** "etc"rc.local Para continuar con la configuracin del frontend+ antes de la instalacin de los nodos de computo se recomienda completar las siguientes tareas: 1. Creacin de cuentas de usuario 2. Pre aracin del GeE ortGa s 0. Instalacin de so"t#are desde tar,alls 4. Instalacin de a'uetes desde $P1Hs 5. Pre aracin ( creacin de la distri,ucin 6. Con"i)urar el sistema 411 ara 'ue sincronice adem-s de los arc/i!os or de"ault =I.e. etcGld.so.con"? Aun'ue no es necesario /acer todas estas tareas antes de instalar nuestro nodos es recomenda,le /acerlo. 4na !e2 com letado todo esto es momento de instalar nuestros nodos.

Instalacin y configuracin de los nodos

Para iniciar la instalacin de los nodos es necesario entrar al *rontEnd e iniciar el roceso insert.et/ersD ( seleccionar la o cin com uteD 'ue detectar- a los nodos 'ue se !a(an a instalar.

Figura !: "omando insert#et$ers 9es ues de e8ecutar el comando anterior /a( 'ue ir encendiendo los nodos con el cd de Iernel $oll ara comen2ar a instalar. Si se desea 'ue se res ete la u,icacin "5sica de los nodos ( 'ue coincida con la secuencia de asi)ancin de nom,re /a( 'ue encender secuencialmente los nodos. Se uede ir monitoreando el a!ance de la instalacin de los nodos con el comandoC roc&s.console com ute.0.0 reem la2ando com ute.0.0 or el nom,re 'ue le asi)na insert.et/ers aun'ue este comando solo "unciona si se tiene una ser!idor <.

Configuracin final de los nodos

Si la instalacin de los nodos es eEitosa no 'ueda m-s 'ue comen2ar a utili2ar el cluster. Pero se uede /acer una re!isn re!ia ara sa,er si todo "uncionaC 1. Jeri"icar 'ue el comando cluster."or& "unciona correctamente 2. $e!isara la salida de 'stat ." 0. 4n usuario uede conectarse eEitosamente al "rontend 4. 4na !e2 dentro !eri"icar si se uede conectar trans arentemente a los nodos =no solictar contraseMa? 4na !e2 reali2adas estas rue,as odemos decir 'ue nuestro cluster (a esta instalado.

"dministracin b#sica
Acceso al Front-End y a los nodos del cluster

Acceso desde BinuE

Ba ma(or5a de las m-'uinas BinuE !ienen dotadas de un cliente ss/ 'ue se in!oca directamente desde el s5m,olo del sistema con el comando ss/. P ss/ "ulanitoQcluster.dominio P ss/ "ulanitoQ192.163.0.2 Bast lo)inC 6ue Oct 01 09C12C06 2006 "rom 192.163.0.2 $oc&s 4.2.1 =C(donia? Pro"ile ,uilt 00C06 10.Oct.2006 Iic&started 19C06 12.Oct.2006 $oc&s *rontend 7ode . Cluster It doesnHt a ear t/at (ou /a!e set u (our ss/ &e(. 6/is rocess #ill ma&e t/e "ilesC G/omeG"ulanitoG.ss/GidRrsa. u, G/omeG"ulanitoG.ss/GidRrsa G/omeG"ulanitoG.ss/Gaut/ori2edR&e(s Generatin) u,licG ri!ate rsa &e( air. Enter "ile in #/ic/ to sa!e t/e &e( =G/omeG"ulanitoG.ss/GidRrsa?C Created director( HG/omeG"ulanitoG.ss/H. Enter ass /rase =em t( "or no ass /rase?C Enter same ass /rase a)ainC Sour identi"ication /as ,een sa!ed in G/omeG"ulanitoG.ss/GidRrsa. Sour u,lic &e( /as ,een sa!ed in G/omeG"ulanitoG.ss/GidRrsa. u,. 6/e &e( "in)er rint isC 00C3cC99C+1Cd,C03Ca2C91C99C9eC19C5dCcaC"+C01Cc+ "ulanitoQcluster.dominio Es tam,iAn osi,le a,rir una terminal remota usando un cliente ss/ en Tindo#s. Entre los clientes m-s o ularesD li)eros ( !ers-tiles ara este sistema o erati!o se encuentran utt(

Ba utilidad del utt( es acti!ar el <11 "or#ardin) ( tener instalado en nuestro e'ui o un ser!idor < ara oder eE ortar a licaciones en "orma )r-"ica ara ello solo /a( 'ue dar clic& en la o cin de < 11 "or#ardin)

Al acti!ar el ser!idor < en nuestro e'ui o como el C()#in =###.c()#in.com?. Con esto odremos lan2ar a licaciones desde el "ronend /acia nuestro e'ui o. %a( 'ue tomar en cuenta 'ue cual'uier a licacion )r-"ica 'ue se utili2a /ara uso de los recursos del "rontend.

Sistemas de archivos en el cluster

Bos arc/i!os de un usuario son almacenados en su /ome director( =G/omeG"ulanito? ( estos de,e de estar dis oni,les en cual'uiera de los nodos del cluster cuando se esta,lece una coneEin con los mismos. $oc&s utili2a dos mecanismos ara 'ue estos esten dis oni,les. 4no es el el sistema 7*S =7et#or& *ile S(stems? con el 'ue se com arte or medio de la red los recuros necesarios ara 'ue estos esten dis oni,les en cual'uier e'ui o. El otro es el auto"s 'ue se ase)ura de montar el sistema de arc/i!os 7*S cuando un usuario se conecta a un e'ui o ( se ase)ura de desmontarlo una !e2 'ue el usuario de8a de utili2arlo.

Monitoreo b sico de los recursos del cluster

Antes de comen2ar a utili2a el oder de com uto de un cluster se /ace necesario conocer 'ue recursos estan dis oni,lesD ,asicamente eEisten tres recursos 'ue son im ortantes ara estoC a? el CP4D ,? $A1 ( c?%9. 4na de las !enta8as 'ue tiene roc&s es ro orcionar una serie de /erramientas ara oder administrar el clusterD entre los 'ue se encuentran la "amilia de comandos de roc&sD en el 'ue se encuentra el comando Kcluster."or&L 'ue nos ermite en!ia la eticin a todos los nodos o a un con8unto de ellos ara e8ecutar un comando en es eci"ico sin tener 'ue accesar a cada uno de los nodos. Ba sintaEis de este comando esC cluster."or& U./!mV U. ass#ordV U.u /ostV U.d data,aseV U.' s'l.eE rV U.n nodesV U../el V U..list.rc"ilesV U..list. ro8ect.in"oV U..!er,oseV U..,)V U..!er,oseV U..rc"ile ar)V U../ost /ostV U.. ass#ord ass#ordV U..d, data,aseV U..user /ostV U..'uer( s'l.eE rV U..nodes encoded node listV U.. e./ost"ile s)e mac/ine"ileV command or e8em lo odemos /acer un ls desde el "ront end ara sa,er si este comando "unciona ( todos los nodos res onden adecuadamente cluster."or& ls cluster."or& Wnodes com ute.0.1 com ute.0.2 ls 9e esta manera odemos comen2a a conocer nuestro cluster. Para el CP4 nos interesan dos ti os de arametrosD los estaticos ( los dinamicos. Entre los estaticos 'ue de,emos consultar esta el numero de rocesadores en la mot/er ,oardD la !elodidad del relo8 ( la c/ac/e. Para consultar estos arametro odemos en!iar el si)uiente comandoC cluster."or& cat G rocGc uin"o X.... este arc/i!o contiene in"ormacin so,re el CP4 a arecera al)o como lo si)uienteC com ute.0.3C rocessor !endorRid c u "amil( model model name C0 C GenuineIntel C 15 C2 C Intel=$? <eon=61? CP4 2.30G%2

ste in) c u 1%2 cac/e si2e rocessor !endorRid c u "amil( model model name ste in) c u 1%2 cac/e si2e

C9 C 2+91.114 C 512 I> C1 C GenuineIntel C 15 C2 C Intel=$? <eon=61? CP4 2.30G%2 C9 C 2+91.114 C 512 I>

9e los arametros dinamicos nos interesa la car)a 'ue tiene un nodoD ara ello odemos reali2ar la consulta mediante el comando u time. cluster."or& u time X... con lo 'ue o,tenemos com ute.0.6C 13C51C55 u 6 da(sD 3C24D 0 usersD load a!era)eC 0.00D 0.03D 0.2+ com ute.0.+C 13C51C56 u 6 da(sD 3C24D 0 usersD load a!era)eC 0.02D 0.02D 0.03 com ute.0.3C 13C51C5+ u 6 da(sD 3C24D 0 usersD load a!era)eC 0.00D 0.00D 0.00 en donde se uede estar consultado la car)a romedio de cada uno de los nodos. $A1D de este recurso tam,ien nos interesan tanto los arametro dinamicos como los estaticos. 9e los estaticos odemos !er el tamaMo total de la memoria ( el tamaMo s#a . 9e los dinamicos nos interesan la memoria utili2ada ( la memoria li,re. Para consultar los arametros dinamicos odemos re!isar el arc/i!o G rocGmemin"o como si)ueC cluster."or& cat G rocGmemin"o 1em6otalC 1em*reeC 2595+33 &> 205++60 &>

S#a 6otalC S#a *reeC

1020116 &> 1020116 &>

Para el disco duro =%9? se ueden consultar las articiones del disco ( los untos de monta8eD as5 como los tamaMos asi)nadosD el es acio dis oni,le ( el es acio utili2adoD con el si)uiente comando se uede reali2ar esta consultaC cluster."or& d" .&/ com ute.0.+C *iles(stem Gde!Gsda1 Gde!Gsda0 tm "s Si2e 4sed A!ail 4seY 1ounted on 5.+G 2.2G 0.2G 41Y G 2+G ++1 26G 1Y GstateG artition1 10141 0 10141 0Y Gde!Gs/m

orion.localCGeE ortG/omeGadan) 4+G 21G 24G 46Y G/omeGadan) com ute.0.3C *iles(stem Gde!Gsda1 Gde!Gsda2 Gde!Gsda5 tm "s Si2e 4sed A!ail 4seY 1ounted on 16G 2.2G 10G 16Y G 0.3G 1101 0.5G 4Y G!ar 10G 1621 10G 2Y GstateG artition1 1.0G 0 1.0G 0Y Gde!Gs/m

orion.localCGeE ortG/omeGadan) 4+G 21G 24G 46Y G/omeGadan) Otra /erramienta de )ran !alor ara el monitoreo es el comando sD con el 'ue odemos /acer una consulta de los rocesos 'ue se estan e8ecutando en determinado momentoD as5 como al)unas de sus ro iedades m-s im ortantesD un e8em lo de este comando esC cluster."or& s .cauE com ute.0.+C 4SE$ root root PI9 YCP4 Y1E1 JSZ $SS 66S 1 0.0 0.0 2064 620 ; 2 0.0 0.0 0 0; S6A6 S6A$6 6I1E CO11A79 Ss Nan16 0C00 init SX Nan16 0C00 mi)rationG0

root root root root root root 4SE$ root root root root

0 0.0 0.0 4 0.0 0.0 5 0.0 0.0 6 0.0 0.0 + 0.0 0.0 3 0.0 0.0

0 0 0 0 0 0

0; 0; 0; 0; 0; 0;

S7 Nan16 0C00 &so"tir'dG0 SX Nan16 0C00 #atc/do)G0 SX Nan16 0C00 mi)rationG1 S7 Nan16 0C00 &so"tir'dG1 SX Nan16 0C00 #atc/do)G1 SX Nan16 0C00 mi)rationG2 S6A6 S6A$6 6I1E CO11A79

com ute.0.3C PI9 YCP4 Y1E1 JSZ $SS 66S 1 0.0 0.0 2064 620 ; 2 0.0 0.0 0 0.0 0.0 4 0.0 0.0 0 0 0 0; 0; 0; Ss Nan16 0C00 init SX Nan16 0C00 mi)rationG0 S7 Nan16 0C00 &so"tir'dG0 SX Nan16 0C00 #atc/do)G0

!rgani"acin del sistema !#erativo

$oc&s es una distri,ucin ,asada en $ed/at Enter rise BinuE. Ba estructura de la distri,ucin es or tanto similar en muc/os as ectos a las distri,uciones de ese mismo sa,or =*edoraD CentOSD Scienti"ic BinuED etc.? Bas caracter5sticas es eciales de tra,a8o en el cluster /acen sin em,ar)o 'ue /a(an articularidades en la estructura del sistema o erati!o =ser!iciosD sistemas de arc/i!osD etc.? 1?Ba articin ra52 =montada en el directorio HGH? 'ue contiene los arc/i!os del sistema o erati!o ( el es acio de almacenamiento de arc/i!os tem oralesD lo)"ilesD arc/i!os de con"i)uracinDetc. 2? una articin es ecial ara almacenamiento masi!o en el "rontend ( en cada nodo 'ue normalmente se monta so,re el directorio HGstateG artition1HO en el "rontend esta articin contiene las cuentas de usuario ( otros arc/i!os im ortantes relacionados con la instalacin del sistema o erati!oO en los nodos esta articin uede usarse li,remente ara almacenar localmente )randes !olFmenes de in"ormacin. 0? en las Fltimas !ersiones de $oc&s =[4.2? se /a incluido en el es'uema de articionado or de"ecto una articin 'ue se monta so,re el directorio HG!arH 'ue normalmente contiene in"ormacin K!aria,leL )enerada or los distintos ro)ramas ( ser!icios del sistema o erati!oD inclu(endo los lo)"iles. 9e los sistemas de arc/i!os locales en el "rontend !ale la ena resaltar los si)uientes directorios de )ran rele!ancia ara el clusterC W GeE ortG/ome =GstateG artition1G/ome?C total 63 dr#Er.Er.E 0 condor condor 4096 7o! 1 14C22 condor

dr#Er.Er.E + root root 4096 7o! 1 14C24 install dr#E...... + "ulano "ulano 4096 7o! 3 11C04 "ulano Este directorio contiene de un lado todos los /ome director( de los usuarios. 9e otra arte se encuentra all5 tam,iAn el directorio del usuario condor donde se de ositan im ortantes arc/i!os del sistema de colas de Condor. W GeE ortG/omeGinstallC total 20 dr#Er.Er.E 0 root root 4096 7o! 1 14C24 contri, dr#Er.Er.E 4 root root 4096 7o! 1 14C2+ roc&s.dist dr#Er.Er.E 10 root root 4096 7o! 1 13C53 rolls dr#Er.Er.E 0 root root 4096 7o! 1 15C0+ s,in dr#Er.Er.E 0 root root 4096 7o! 1 19C12 site. ro"iles Este im ortante directorio contiene la totalidad de los a'uetes de instalacinD arc/i!os de con"i)uracinD ro)ramas ( scri ts es eciales 'ue usa $oc&s ara reali2ar la instalacin del sistema o erati!o en los nodos.

Sistemas de arc$ivos por red

Para montar autom-ticamente los directorios contenidos en GeE ort so,re los nodos se con"i)ura el sistema auto"s a tra!As de los arc/i!os GetcGauto.masterD GetcGauto./omeD G etcGauto.s/are. 7ormalmente estos arc/i!os de,en residir en el directorio Getc de todas las m-'uinas del cluster inclu(endo el ro io "rontend. Cuando se reali2an cam,ios en los arc/i!os de con"i)uracin del ser!icio auto"s el ser!icio de,e Krecar)arseL. Esto se reali2a usando el comando Hser!iceH de linuE como se ilustra a continuacinC \ ser!ice auto"s reload C/ec&in) "or c/an)es to GetcGauto.master .... $eload ma GusrGs,inGautomount ..timeout]1200 Gs/are "ileGetcGauto.s/are $eload ma GusrGs,inGautomount ..timeout]1200 G/ome "ile GetcGauto./ome Se uede recar)ar el ser!icio tam,iAn en otros =o todos? los nodos del cluster usando cluster."or&C \ cluster."or& ser!ice auto"s reload com ute.0.0C C/ec&in) "or c/an)es to GetcGauto.master .... $eload ma GusrGs,inGautomount ..timeout]1200 Gs/are "ile GetcGauto.s/are $eload ma GusrGs,inGautomount ..timeout]1200 G/ome "ile GetcGauto./ome com ute.0.1C C/ec&in) "or c/an)es to GetcGauto.master .... $eload ma GusrGs,inGautomount ..timeout]1200 Gs/are "ile GetcGauto.s/are $eload ma GusrGs,inGautomount ..timeout]1200 G/ome "ile GetcGauto./ome

El servicio $%% Secure Information System

Este ser!icio ermite 'ue arc/i!os de con"i)uracin !itales ara los ser!icios del cluster =listas de usuariosD ta,la de ass#ordsD )ru osD con"i)uracin del ser!icio auto"sD entre otras? sean com artidos or todas las m-'uinas de la lata"ormaD )aranti2ando adem-s =( o"reciendo las /erramienta necesarias ara? 'ue se manten)an sincroni2ados a lo lar)o de la o eracin del cluster. ,a lista de los archivos compartidos usando -.. puede encontrarse en el archivo "var"-.."/iles.m! 0U1232U41 5 67&ildcard "etc"auto.89 1hese files all ta!e a : : comment character. ;f you alter this list+ you must do a <ma!e clean= ma!e<. /;,>? 5 670U1232U419 1hese files do not ta!e a comment header. /;,>?@42A233>41 5 "etc"pass&d B "etc"group B "etc"shado& /;,>? C5 "my"file >l servicio -.. esta configurado para realizar en forma automtica la sincronizacin de los archivos de configuracin en el cluster. ?in embargo en algunas situaciones es necesario DforzarE la sincronizacin despu(s de que se ha hecho un cambio en los archivos de configuracin 7creacin de un usuario+ modificacin de la configuracin del servicio autofs+ creacin de un nuevo grupo+ etc9. ,a sincronizacin se puede realizar de tres maneras diferentes: .. Usando service: ?ervice -.. commit >ste comando solo sincroniza los archivos que han cambiado F. Usando ma!e: ma!e GA "var"-.. ma!e GA "var"-.. force H >sto es similar solo que env)a todos los archivos aunque no hayan sido modificados #. usando -..get en todos los nodos clusterGfor -..get H >ste mecanismo es util para detectar problemas de comunicacin con los nodos.

Administracin de &suarios
Para a)re)ar un usuario /a( 'ue reli2ar los si)uientes asosC Creacin de una cuenta de usuario 1.Creacin ,-sica de la cuentaC \useradd usuario 2.Asi)nacin correcta del /ome del usuarioC \usermod Wd G/omeGusuario usuario 0.Asi)nacin de la contraseMaC ass#d usuario 4.Con"i)uracin de auto"sC !i GetcGauto./ome a)re)ar usuario cluster.localCGeE ortG/omeGusuario 5.Sincroni2acin de los arc/i!os de usuarioC Pma&e WC G!arG411 "orce 6.$ecar)ar auto"s en el "rontend ( los nodosC \ ser!ice auto"s reload O cluster."or& auto"s reload En !ersiones m-s recientes lo anterior se uede reducir a tres asos utili2ando el comando roc&s.user. s(nc 1.Creacin de la cuenta 2.*i8acin de la contraseMa 0.E8ecucin del comandoC roc&s.user.s(nc

Eliminacin de cuentas de usuario

1. 2. 0. 4. Eliminacin de la cuenta. Para ello se usa el comando userdelC \ userdel usuario 9esmontado del /ome director(C \umount G/omeGusuarioO cluster."or& umount G/omeGusuario Eliminacin del /ome director(C \rm Wr" GeE ortG/omeGusuario Sincroni2acin de los arc/i!osC Eliminar la entrada en GetcGauto./ome

S'ntesis de comandos

Tpicos !speciales de "dministracin

Instalacin de (uevo Soft)are
Ba instalacin de nue!o so"t#are en el "rontend cluster se reali2a si)uiendo en rinci io rocedimientos similares a los 'ue se re'uieren ara instalar so"t#are en cual'uier ser!idor BinuE. Sin em,ar)o a la /ora de re'uerir 'ue el so"t#are ueda accederse desde todos los nodosD ara e8ecutarlo or e8em lo usando un Sc/eduler o ara 'ue las instancias de un ro)rama en aralelo encuentren las com onentes "undamentales del ro)rama =,i,liotecasD arc/i!os de con"i)uracinD re ositorios de tem oralesD etc.? es necesario con"i)urar el a'uete ( los sistemas de arc/i!os de manera a ro iada. 1?instalacin de un r m de ,inarios \ r m .' )nu lot \cluster."or& r m .' )nu lot \ m&dir GeE ortGa sGsrc \ cluster."or& ls .l Gs/areGa s c .r" )nu lot.0.+.0.2.i036.r m GeE ortGa sGsrc \ cluster."or& r m .4!/ Gs/areGa sGsrcG)nu lot.0.+.0.2.i036.r m 3as apropiado que instalar el rpm en caliente el paquete+ es incluir el paquete directamente en la distribucin que se instala en cada uno de los nodos. ,a ventaja evidente de este procedimiento estriba en el hecho que despu(s de una re instalacin de los nodos estar garantizado que el paquete se instale automticamente sin requerir que se ejecuten las tareas descritas anteriormente. Para esto hay que seguir el siguiente procedimiento: Ioc!s tiene un espacio especialmente dedicado a las contibuciones adicionales de los usuarios a la distribucin instalada. >l espacio esta habilitado en el directorio GeE ortGroc&sGinstallGcontri,GX!er[GXarc/[G JrootKorion i#$%L ls IP3? ?IP3? JrootKorion i#$%L 0ll) se pueden colocar todos los archivos rpm que deseamos agregar a la distribucin por ejemplo: cp Marchivo*.rpm "eNport"roc!s"install"contrib"O.."i#$%"IP3? Aopiar ahi el rpm no es suficiente hay configurar la distribucin para que incluya el paquete que acabamos de copiar+ para ello hay que copar el archivo s!eleton del directorio "eNport"roc!s"install"siteGprofiles"Mver*"nodes a un archivos eNtended como sigue: JrootKorion nodesL cd "eNport"roc!s"install"siteGprofiles"O.."nodes JrootKorion nodesL cp s!eleton.Nml eNtendedGcompute.Nml

>ditar este ultimo y agregar los paquetes necesario a la seccion main+ indicando ?2,03>41> el nombre del paquete 7sin el n'mero de la versin u otra informacin que venga con el archivo rpm9 ie. MPGG 1here may be as many pac!ages as needed here. Qust ma!e sure you only uncomment as many pac!age lines as you need. 0ny empty Mpac!age*M"pac!age* tags are going to confuse roc!s and !ill the installation procedure GG* MPGG Mpac!age*gnuplotM"pac!age* GG* MPGG Mpac!age* insert Fnd pac!age name here and uncomment the lineM"pac!age* GG* MPGG Mpac!age* insert #rd pac!age name here and uncomment the lineM"pac!age* GG* Una vez configurado se debe reconstruir la distribucin usando el comando roc!s: cd "eNport"roc!s"install roc!s create distro >s importante que una vez se reconstruye la distribucin se pruebe al menos con la reinstalacin de uno de los nodos que la distribucin funciona correctamente. Para reinstalar fcilmente un nodo del cluster se puede recurrir a mecanismos de automatizacin que vienen instalados con Ioc!s y que usan el sistema !ic!start. ,a re instalacin procede de la siguiente manera: a9 ?e elimina del nodo respectivo el archivo ".roc!sGrelease ssh cRG% rm Grf ".roc!sGrelease >sto habilita una opcin en el gestor de arranque que hace que el nodo se reinicie la prNima vez en modo de re instalacin. b9 ?e inicia el proceso de re instalacin: ssh cRG% "boot"!ic!start"clusterG!ic!start
Shutting down kernel logger: [ OK ] Shutting down system logger: [ OK ]

2? instalacin de un tar,all de "uentes

\ c o!ra(.0.6.tar.)2 Gs/areGa sGsrc \ cd GeE ortGa sGsrc \ tar 2E!" o!ra(.0.6.tar.)2 \ cd o!ra(.0.6.1 \ .Gcon"i)ure W re"iE]Gs/areGa s \ ma&eO ma&e install 1odi"icar GetcG ro"ile en caso de ser necesario ( recar)ar 411

0? instalacin de una ,i,lioteca de rutinas.

\ c .r" )sl.1.6.tar.)2 GeE ortGa sGsrc

\ cd GeE ortGa sGsrc \ tar 2E!" )sl.1.6.tar.)2 \ cd )sl.1.6 \ .Gcon"i)ure .. re"iE]Gs/areGa s \ ma&eO ma&e install Editar GetcGld.so.con"C \ ldcon"i)O cluster."or& ldcon"i)

Monitoreo de recursos #or la )eb

,as tareas de monitoreo de los recursos del cluster que usamos en el documento . y muchas otras ms pueden realizarse usando la interfaz &eb de Sanglia una poderosa y completa herramienta que viene instalada casi por defecto con todas las distribuciones de Ioc!s.

Figura %: &anglia monitoring Solo /a( 'ue a,rir un na!e)ador ( a untar a la direccin IP o dns del cluster utili2ando el rotocolo /tt s ( a)re)ando al "inal la ala,ra )an)lia =/tt sCGGorion.ud).mEG)an)lia?. Con lo 'ue a arecera una antalla como la "i)ura 6.

S'ntesis de comandos

!rrores encontrados al instalar el cluster en la %niversidad de &uadala'ara

En esta seccin se descri,ir-n los ro,lemas encontrados al instalar el cluster.

Instalacin de los nodos

Al instalar los nodos des ues de tener el comando insert.et/ers en el "ront end se encontraron dos erroresC 1. 4no de los nodos no reconoc5a el discoD or lo 'ue se tu!o 'ue articionar manualmente desde un li!e cd ara 'ue el disco udiera ser reconocido ( articionado adecuadamente or roc&s. 2. Al no terminar una instlacin de manera eEitosaD el "ront end no udo ,orrar adecuadamente la entrada del d/c D lo cual causa,a un con"licto ( no ermitia la instalacin del nue!o nodoD incluso utili2ando la o cin re lace del insert.et/ersD or lo 'ue se tu!o 'ue ,orrar manualmente la con"i)uracin del arc/i!o GetcGd/c d.con" ( reiniciar el ser!icio de d/c con el comando ser!ice d/c d restart.

Reiniciar un servicio con errores

Al)unos de los ser!icio uede caer en errorD odemos com ro,ar este estatus con el comando ser!ice Xser!icio[ status i.e. ser!ice d/c d status

9es ues de re!isar el estatus ( !eri"icar 'ue este esta con errores /a( 'ue !eri"icar or'ue tiene el error corre)ir ( !ol!er a inicar el ser!icio con ser!ice Xser!icio[ start i.e. ser!ice d/c d start

lu'os para revisin de errores ( c$ecklist para la administracin

Agregar usuario

Eliminar un &suario

)etalles del cluster instalado en la %niversidad de &uadala'ara

Ba !ersin de roc&s instalada en la 4ni!ersidad de Guadala8ara "ue la 5.1 esta,leD con los rolls deC

IernelD >oot OS 9is& 1 OS 9is& 2 Core =area51^,ase^)an)lia^/ c^8a!a^s)e^#e,.ser!er^Een?

Se utili2aron los si)uientes recursos de %ard#areC S#itc/C Enteras(s de 24 uertos di!idido en 0 Jlans.

Jlan I9 1 =de"ault?C 4tili2ada ara dar salida a las ma'inasD los uestos en esta !lan son del 1 al 5. Jlan I9 2 =6itan?C En esta estan todos los uertos ares 'ue es la utili2ada ara el cluster orion Jlan I9 0 =Atlante?C En esta estan todos los uertos im ares del + al 10

*rontEndC

7odosC com ute.0.0

com ute.0.1

com ute.0.2

com ute.0.0

com ute.0.4

com ute.0.5

com ute.0.6

com ute.0.+

com ute.0.3