Apndice A

Instalacin de un Cluster Rocks

Jorge Zuluaga Instituto de Fsica U. de A.
ltima actualizacin: 5 de diciembre de 2!
Se presenta en este apndice una gua prctica a la instalacin completa de un Cluster Rocks y
su configuracin bsica para realizar tareas de procesamiento distribuido y en paralelo. El
proceso de instalacin descrito en este apndice supone una versin de Rocks posterior a la
.!." y la disposicin de un Cluster de m#uinas de $! bits con interfaces de red et%ernet. &ara
versiones anteriores de Rocks el procedimiento podra diferir en algunos apartes 'sobre todo en
la parte de configuracin( pero a grandes rasgos sigue las mismas lneas. )a gua presentada
a#u no cubre la instalacin de Rocks en m#uinas de * bits+ Clusters %eterogneos '$!,*( o
en Clusters con redes #ue usen una tecnologa diferente a Et%ernet+ aun#ue una buena parte de
los procedimientos descritos se aplica tambin en estos casos.
&ara una gua ms completa de la instalacin y la configuracin se refiere al lector a las gua del
usuario de Rocks '%ttp-,,....rocksclusters.org(.
1.Requerimientos y prerrequisitos
/ntes de proceder con la instalacin se deben satisfacer los siguientes re#uisitos de %ard.are-
". 0n con1unto de m#uinas de ar#uitectura similar 'compute nodes(+ cada una con una interfaz
de red+ disco duro con capacidad para ms de 2 34 y memoria R/5 superior a !6* 54.
!. 0n data s.itc% 'o varios( con un n7mero de puertos mayor al doble del n7mero de m#uinas
disponibles 'para darle escalabilidad(.
$. 0na m#uina con ! interfaces de red+ capacidad en disco duro igual o superior a !8 34+ y
memoria R/5 superior o igual a 6"! 54 'frontend(.
. Cables de red en n7mero y longitud suficiente.
Se recomienda adems tener a disposicin-
6. 5ueble o Rack con espacio apropiado para los c%asis de las m#uinas y eventualmente para
el frontend+ con acceso apropiado a la parte de atrs de los e#uipos.
*. 0na %abitacin con ventilacin o refrigeracin adecuada para los niveles de disipacin de calor
de todos los e#uipos combinados.
2. 0na 0&S para alimentar al menos una m#uina 'el frontend por e1emplo( por ms de "8
minutos
ltima actualizacin: 5 de diciembre de 2006
1
&ara la instalacin del sistema operativo se debe disponer de los siguientes medios-
9ernel Roll
Core Roll
:S Roll+ disk "
:S Roll disk !
Cual#uier otro Roll #ue considere necesario 'Condor+ 4io+ ;iz+ etc.(
)os medios pueden ser descargados como imgenes de C< o una imagen 7nica de <;< del
sitio de descargas de Rocks '%ttp-,,....rocksclusters.org,.ordpress,=page>id?$(.
Tips tiles
/ntes de proceder con la instalacin se recomienda disponer de informacin detallada de los
e#uipos #ue servirn como nodos y del frontend. <e particular inters es conocer el fabricante y
modelo de las interfaces de red+ el n7mero de procesadores efectivos por m#uina '" procesador
con @A ? ! procesadores efectivos( y el espacio en disco duro.
2.Instalacin del frontend
/ntes de proceder con la instalacin del frontend es necesario asegurarse #ue las coneBiones de
la red eBterna y la red interna del cluster se %agan a la interfaz de red correcta. Rocks asume
#ue la interfaz identificada como Cet%"C por el kernel ser a#uella #ue esta conectada a la red
eBterna y la Cet%8C a la red privada del cluster 'ver figura(.
)a manera como el kernel asigna los identificadores et%8 y et%" es relativamente comple1a y vara
con el fabricante y modelo de las tar1etas+ la board y los puertos a los #ue estn conectadas y la
ltima actualizacin: 5 de diciembre de 2006
2
eth
eth1
versin del kernel de )inuB 'para una discusin del asunto vea
%ttp-,,linuB.dell.com,files,.%itepapers,nicDenumD.%itepaperDv!.pdf(. Eormalmente en )inuB es
posible cambiar despus de la instalacin la manera como el sistema asigna los identificadores a
las tar1etas de acuerdo a su 5ac/ddress. Sin embargo cuando se instala Rocks es importante
#ue el orden de ellas sea el #ue se espera de acuerdo al es#uema de conectividad del frontend.
El sntoma de #ue eBiste un problema en el orden de identificacin de las tar1etas de red aparece
cuando en los primeros momentos de la instalacin el proceso no logra obtener una direccin F&
de la red a la #ue esta conectada la interfaz et%". En este caso podran darse ! situaciones-
". )a red eBterna tiene servicio de <@C&. En este escenario el %ec%o de #ue el proceso de
ad#uisicin de una F& por parte del servidor no funcione es sntoma de #ue el orden de
identificacin no fue el correcto y la interfaz #ue va a la red eBterna seguramente esta
identificada como et%8. )a solucin en este caso puede ser simplemente cambiar
intercambiar los cables de coneBin y re intentar la ad#uisicin de una direccin F& dinmica.
En caso de #ue las tar1etas para la red eBterna y privada sean muy distintas 'por e1emplo la red
privada puede mane1arse me1or si se usa una interfaz rpida de " a "8 3bits(+ la solucin ms
simple puede ser simplemente intercambiar las ranuras a las #ue estn conectadas las
tar1etas. Si una de ellas esta integrada a la 5ot%erboard el problema se complica a7n ms y
se sugiere en este caso buscar asesora especializada.
!. )a red eBterna no tiene servicio <@C&. En este escenario no es posible identificar de forma
inmediata cul identificador se asigna a las interfaces. &ara resolver el inconveniente podra
ser posible usar un disco de arran#ue de )inuB ')inuB rescue+ )inuB )ive C<( #ue use un
kernel de versin no muy distinta a la #ue usa Rocks '.!." incluye un kernel !.*( e investigar
el modo en el #ue los identificadores de las EFC son asignados.
Tips tiles
&ara saber el identificador #ue fue asignado a una EFC especfica puede primero consultar la
5ac /ddress 'o @G /ddress( de la EFC asociada a un identificador usando-
Comandos "+" -
H ifconfig et%8 I %ead Dn"
eth0 Link encap:Ethernet HWaddr 00:0A:5E:4C:94:1A
J luego 'en sistemas basados en Red%at( consultar el arc%ivo ,etc,sysconfig,%.conf para saber
a #ue EFC 'por fabricante y modelo corresponde esta 5ac /ddress-
Comandos "+! -
H grep D4 6 D/ 6 88-8/-6E-C-K-"/ ,etc,sysconfig,%.conf
bus: PCI
detached: 0
device: eth0
driver: 3c59
desc: !3C"# C"rp"rati"n 3c905C$%&'%&$( )%"rnad"*!
net+"rk,h+addr: 00:0A:5E:4C:94:1A
vend"rId: 10b-
deviceId: 9.00
sub/end"rId: 10b-
sub0eviceId: 1000
ltima actualizacin: 5 de diciembre de 2006
3
pci%1pe: 1
0na vez resuelto el inconveniente 'de eBistir en primera instancia( de los identificadores de las
EFCs puede proceder con la instalacin. / continuacin se describe rpidamente el proceso
'#ue puede ser seguido en detalle en la Rocks 0serCs 3uide(.
". /rran#ue del frontend usando el disco con el 9ernel Roll. En el prompt del CbootC escriba la
palabra CfrontendC.
Tips tiles
Si el proceso de instalacin no arranca eBitosamente o se detiene antes de avanzar a una etapa
posterior consulte al e#uipo de soporte de Rocks el origen de su problema. /lgunos problemas
previamente identificados y resueltos por nuestro e#uipo incluyen-
E#uipos con memoria R/5 insuficiente 'inferior a 6"! 54(. Solucin- aumentar la cantidad
de memoria R/5 disponible aun#ue sea temporalmente durante la instalacin.
E#uipos con tar1etas de video no reconocidas propiamente por Rocks. Solucin- intentar otras
versin del sistema o ponerse en contacto con el e#uipo de desarrollo de la distribucin.
!. !antalla"o 1-
a(&ara instalaciones desde medios seleccione en el pantallazo inicial la opcin- C#$#%#&
'ased Roll. El uso de esta opcin en este punto le mostrar una lista de los Rolls
contenidos en el disco actualmente presente en la unidad 'en el caso de instalacin desde
un C< solamente aparecer el Roll kernel(. Seleccione el Roll y presione CsubmitC
b(&ara insertar nuevos Rolls a la instalacin presione siempre en el mismo orden C<,<;<D
based Roll 'lo #ue producir la eBpulsin cada vez del medio en la unidad(+ continue 'para
#ue muestre la lista de Rolls en el medio(+ seleccione los Rolls a instalar+ presione submit
para incluirlos en la lista. El orden en el #ue se ingresan los Roll es arbitrarios.
c(0na vez concluya la insercin de los Rolls continue con la instalacin presionando EeBt.
$. !antalla"o 2- / continuacin complete el formulario con la informacin bsica del cluster.
Aenga en cuenta las siguientes instrucciones y recomendaciones-
a(Lully Mualified @ost Eame 'LM@E(- use a#u el nombre completo del frontend tal y como es
reconocido en la red eBterna. Consulte con su administrador de redes el nombre #ue su
m#uina recibir en esa red. Este parmetro es importante por #u ser utilizado en
muc%os aspectos de la configuracin del cluster y sus %erramientas. Si en la red a la #ue
esta conectado su e#uipo no eBiste un es#uema de asignacin de nombres entonces use
uno #ue obedezca a una regla lgica de asignacin+ nombre.dominio
b(Cluster Eame- use a#u el nombre completo de su %erramienta. &uede usar may7sculas y
min7sculas cmo NCluster Escuela de FngenieraO. El nombre completo ser usado para
identificar el cluster en piezas de soft.are como 3anglia y otras.
c) Certificate organization 'organizacin a la #ue pertenece el cluster(+ Certificate )ocality
'ciudad(+ Certificate state 'estado o departamento en el #ue esta la ciudad(+ Certificate
country 'abreviatura del pas P ver una lista completa en
%ttp-,,....bris.ac.uk,Support,Eet.ork,ipcodes".%tml(
d(Contact- eDmail de contacto 'use uno vlido(
e(0R)- direccin de la pagina del cluster o de la organizacin a la #ue pertenece.
ltima actualizacin: 5 de diciembre de 2006
4
f( )attitude,)ongitude- latitud y longitud geogrfica de la locacin en la #ue se encuentra el
cluster en el format EISHH.HH EIGHHH.HH 'e1emplo para 5edelln Colombia E*.! G26.6(
Tips tiles
El instalador de Rocks usa por defecto una configuracin de teclado en ingls. &ara teclados
latinoamericanos o en espaQol tenga presente #ue el smbolo arroba se encuentra con la
combinacin de teclas S@FLAR!
. !antalla"o (- / continuacin se configura los parmetros bsicos de la red privada. El 7nico
detalle de inters para tener presente en este punto es el de si la red eBterna esta configurada
tambin usando F&s de clase / '"8.S.S.S(. En ese caso las Fps de la red privada del cluster y
de la red eBterna colisionan produciendo una incompatibilidad. Se recomienda usar una
asignacin de F&s distinta para la red del cluster. /s por e1emplo-
F&- "K!."*T."."
Eetmask- !66.!66.8.8
En este caso las F&s de los nodos se asignarn de la forma "K!."*T.!66.!6+
"K!."*T.!66.!6$+ "K!."*T.!66.!6!+ en lugar de "8.!66.!66.!6+ como se eBplico en la gua.
6. !antalla"o )- )a configuracin de los parmetros de red para la interfaz et%" no se debe
modificar en caso de #ue la red eBterna tenga <@C&. En esta situacin los valores de los
parmetros %abrn sido obtenidos directamente del servicio <@C& en la red.
*. !antalla"o *- Se fi1a a continuacin el pass.ord de Root. para usuarios con un teclado en
espaQol o latinoamericano se recomienda usar el pass.ord de root ms sencillo posible 'no
usar caracteres especiales( para evitar inconvenientes cuando se configure apropiadamente el
teclado en la fase de post instalacin.
2. !antalla"o +- configuracin del %uso %orario y del servidor de protocolo de tiempo 'EA&(. En
redes protegidas con un fire.all es com7n #ue los puertos con los #ue traba1a el EA& estn
protegidos de modo #ue el servicio de cual#uier modo deber detenerse despus de instalado
el frontend.
T. !antalla"o ,- seleccin del mecanismo de particionado. &ara clusters dedicados se
recomienda utilizar el es#uema de auto particionado. El particionado por defecto #ue crea
Rocks realiza el siguiente es#uema de pariticiones y puntos de monta1e-
Particin Punto de montaje Tamao por defecto Tipo
a"S , 2.2 34 EBt$
a! ,var $.K 34 EBt$
a$ D " 34 S.ap
a ,state,partition" 3ro. EBt$
;ale por ,dev,%da" o ,dev,sda"
Es posible cambiar el es#uema de particionado si se desean incluir en el frontend particiones
ltima actualizacin: 5 de diciembre de 2006
5
especiales para respaldos+ soft.are+ sistemas de arc%ivos distribuidos+ etc. En ese caso se
debe sin embargo tratar de respetar las elecciones %ec%as arriba para el punto de monta1e de
los sistemas de arc%ivos #ue usa por defecto rocks.
En el caso de reinstalacin del frontend y si no #uiere formatearse alguna de las particiones se
debe elegir la opcin de particionado manual.
K. 0na vez completo el proceso de configuracin comienza propiamente el proceso de instalacin
de la distribucin. Esta fase incluye 'puede incluir( las siguientes tareas para la persona #ue
realiza la instalacin-
a(&ersonalizacin del es#uema de particionado 'Si se eligi la opcin de particionado manual(
b()a persona debe proveer los medios #ue contienen los Rolls #ue fueron seleccionados para
la instalacin. El instalador los ir pidiendo uno a uno esos medios 'si se trata de Cds(. )a
informacin con los pa#uetes y los pa#uetes mismos son transferidos al disco duro antes
de instalarse.
"8.0na vez completo el proceso anterior el proceso comienza a instalar todos los pa#uetes
contenidos en los Rolls y finaliza con la e1ecucin de todos los scripts de post instalacin
definidos con las %erramientas incluidas en la distribucin.
(.Confi-uracin del frontend
0na vez instalado completamente el frontend se puede proceder a a1ustar algunos detalles de la
configuracin de la m#uina y la preparacin de la distribucin #ue ser instalada en los compute
nodes.
&ara usuarios con teclados latinoamericano o espaQol es muy conveniente cargar el mapa de
teclado correspondiente. &ara %acerlo se usa el comando-
Comandos "+$ -
H loadkeys ,lib,kbd,keymaps,i$T*,#.erty,i$T*,es.map.gz
&ara garantizar #ue la configuracin del teclado se mantenga a7n despus de reiniciado el
frontend se puede agregar esta lnea al arc%ivo rc.local-
Comandos "+ -
H ec%o loadkeys ,lib,kbd,keymaps,i$T*,#.erty,i$T*,es.map.gz UU ,etc,rc.local
En lo sucesivo puede ser cmodo contar con una cnsola grfica en las tareas de instalacin y
configuracin del cluster. &ara ello se puede e1ecutar la siguiente secuencia de comandos-
Comandos "+6 -
H service gpm start
H service Bfs restart
H systemDconfigDdisplay
c%kconfig Plevels $6 gpm on
ltima actualizacin: 5 de diciembre de 2006
6
c%kconfig Plevels $6 Bfs on
Este 7ltimo aplicativo permite a1ustar las propiedades del modo grfico 'resolucin profundidad
de color+ aceleracin de %ard.are+ entre otras(.
&ara iniciar el modo grfico se puede usar-
Comandos "+* -
H startB
Rocks utiliza por defecto 3nome como gestor de escritorio. )a configuracin de teclado de
3nome normalmente difiere de a#uella #ue viene con el sistema V"" 'y #ue se %ereda de la
configuracin de teclado en la consola de teBto(. /l iniciar 3nome por primera vez es necesario
entonces configurar manualmente el mapa del teclado. Esto se consigue usando la %erramienta
de configuracin NkeyboardO #ue se encuentra en el submenu NSystem settingsO del men7
N/plicationO.
&ara #ue la configuracin permanezca se sugiere reiniciar limpiamente el modo grfico 'usar el
botn N/ctionsU)og outO( y reiniciarlo nuevamente. 0na vez suceda esto el 3E:5E preguntar
por cul debe ser la configuracin #ue seguir usando por defecto para los dispositivos a lo #ue
se deber responder NV"" settingsO.
0na vez %abilitada una consola grfica es posible realizar con ms comodidad algunas de las
tareas de configuracin #ue se describen a continuacin.
&ara continuar con la configuracin del frontend+ antes de la instalacin de los nodos de computo
se recomienda completar las siguientes tareas-
". Creacin de cuentas de usuario. 0tilice las instrucciones provedas en la gua $+ seccin $.$
para crear las cuentas de usuario en el frontend.
!. &reparacin del ,eBport,apps. Cree la estructura de subdirectorios en ,eBport,apps tal y como
se describe en la gua + seccin ."+ comandos +"2.
$. Fnstalacin de soft.are desde las fuentes 'tarballs(. Fnstale todo el soft.are adicional en el
frontend #ue desea instalar en el cluster desde tarballs sobre el directorio ,eBport,apps. ;er
detalles en gua + seccin .".
. Fnstalacin de soft.are desde rpms. Consiga e instale el soft.are no presente en la
distribucin y de cuyos binarios en R&5 se pueda disponer.
6. &reparacin y creacin de la distribucin. 0na vez se garantiza #ue todos los pa#uetes en
R&5 conseguidos pueden ser instalados en el frontend y antes de crear la distribucin para
los nodos+ configure el sistema de instalacin para #ue incluya esos mismos pa#uetes 'ver
instrucciones detalladas del proceso en la gua + seccin ."(.
*. Linalmente configure el sistema "" para #ue sincronice en todos los nodos adems de los
ltima actualizacin: 5 de diciembre de 2006
7
arc%ivos de configuracin por defecto ',etc,pass.d+ ,etc,group+ etc.( otros arc%ivos #ue pueda
ser de utilidad compartir a travs del cluster 'p.e. ,etc,profile+ ,etc,bas%rc+ ,etc,ld.so.conf+ etc.(
&ara ello refierase a la gua $+ seccin $.!.
0na vez se %a completado el procedimiento anterior comience la instalacin de los nodos.
).Instalacin de los nodos
&ara comenzar con la instalacin de los nodos se debe iniciar CinsertDet%ersC un aplicativo #ue
permite la asignacin automticas de las F&s a los nodos y la creacin de la base de datos de
dispositivos conectados al Cluster. &ara iniciar insertDet%ers e1ecute-
Comandos "+2 -
H insertDet%ers
Si no se cuenta con un s.itc% mane1ado seleccione directamente CComputeC para comenzar el
proceso de deteccin de los nodos conectados a la red privada del cluser.
0na vez iniciado insertDet%ers comience a arrancar secuencialmente los nodos de computo+ o
bien usando para ello el disco del 9ernel Roll o usando &VE en caso de estar disponible y
%abilitado en el e#uipo.
Tips tiles
&ara instalaciones usando medios 'C< o <;<( se recomienda crear varias copias del C< del
9ernel Roll para agilizar el proceso de instalacin de los nodos. Aenga presente #ue si instalo el
frontend usando <;< pero los nodos no tienen unidad lectora de este tipo de medios puede
descargar solamente la imagen del 9ernel Roll para la instalacin de los nodos.
Si desea #ue sus nodos #ueden numerados siguiendo un orden riguroso relacionado con la
manera como se disponen fsicamente no se apresure con la instalacin simultnea de muc%os
de esos nodos. )a asignacin de la F& y el nombre de cada nodo se ir %aciendo+ la primera vez+
en el orden en el #ue vayan llegando los re#uerimientos de F& al frontend. 0na vez registrada la
5ac /ddress del e#uipo su F& y nombre #uedan determinados definitivamente. Evite conectar
e#uipos en la red privada 'porttiles+ otros &cs+ etc.( #ue no vayan finalmente a formar parte del
Cluster. FnsertDet%ers asignar a esos e#uipos una F& y un nombre y su eliminacin de la lista de
ltima actualizacin: 5 de diciembre de 2006
8
nodos una vez no estn conectados a la red no es una tarea sencilla.
Tips tiles
Se puede c%e#uear el avance en la instalacin de uno de los nodos usando el comando-
Comandos "+T -
H rocksDconsole computeD8D8
rocksDconsole funciona solamente si se tiene acceso a una consola grfica en el frontend.
*.Confi-uracin final de los nodos
Si la instalacin de los nodos es eBitosa entonces no %ace falta mayor cosa para comenzar a
utilizar el Cluster. &or precaucin se pueden realizar algunas pruebas sencillas para verificar #ue
todo este funcionando normalmente en la plataforma.
". WEl comando clusterDfork funciona correctamente=
Comandos "+K -
H clusterDfork .
Eo-
)os nodos piden pass.ord de root. :curri alg7n problema con la creacin de la clave
p7blica y privada del root.
Eing7n nodo responde. El proceso de instalacin de los nodos no se completo
eBitosamente.
!. EBamine la salida de C#stat DfC. Si la salida no es normal o muestra algunos nodos en estado
CauC-
Comandos "+"8 -
H #stat Df
Revise #ue los nodos estn funcionando
$. W0n usuario puede conectarse eBitosamente en el frontend=
Comandos "+"" -
H ss% fulanoXcluster.dominio
Eo-
Revise #ue el usuario si eBista
El usuario no encuentra su %ome directory- revise el arc%ivo de configuracin
,etc,auto.%ome y recarge el servicio de autofs 'Comandos $+2(
<espus del reload el usuario todavia no encuentra su %ome directory- apague los nodos
y reinicie el frontend. <espus de reiniciar el frontend+ encienda los nodos.
. 0na vez adentro del frontend+ Wpuede el usuario conectarse transparentemente a otros nodos=
ltima actualizacin: 5 de diciembre de 2006
9
Eo-
/l usuario se le pide pass.ord y una vez ingresa no se encuentra su %ome directory- re
sincronice los arc%ivos de configuracin en todo el cluster 'comandos $+"$ o $+"( y
reinicie en todo el cluster el servicio autofs.

ltima actualizacin: 5 de diciembre de 2006
10