UNIVERSIDAD DE AQUINO BOLIVIA

Trabajo de Investigacin Nro. 1 SISTEMAS DISTRIBUIDOS Lic. Roberto Vargas

MPP - Massively parallel Procesing COW - Estaciones de trabajo

Luz Eva Aruquipa

I / 2011

INGENIERIA DE SISTEMAS NOVENO SEMESTRE

A 9C 76 57@9 7D D7 A A 7 9@ D 9 C 7D 9D C D 6@95 6 65 57

D6 6 C5 6D 69 7 A 5 9@ 9 D 57@9 D @ A 75 D7 E7 75 7 9D9 7D 57 9D 57@9 A 59 7 C 7 69 7 A 7 C 7 6C C 6 7 7 B 6 C5 6D A 5 7 9@ 6 9 7 D 6C A 9 6 6C 69 7 A 7D 5 7 7 7 C9 A A 7D 59 7 @ 59 9C 7 6 6D 7 9C C6 7 A 8 8 57 B 6557@9 7 7 655

('&  # # #! # %

$   # "!

 

 





INTRODUCCIN

b l pr am S paral l fr u a v aa f va ua a , u pr pal b f , la escalabilidad ( apa a r m ), pu r f l al a zar. E b a qu f rm r ur mpar f a .

a (pr m

a b a a r ), qu u l a qu r para b m ra .

l u a al r a va pr bl ma fu am al,

p r qu r r m

r ua

arqu f r

l pr am paral l mul a y r a am v . El pr bl ma fu am

ura r

pr

aa

am paral l r la qu pu

pr

qu var la ar a , pu al la

, la

fr m

pu a p r l

va

ul pr am m r am ma vam paral l r r am paral l alabl

  



a a

u pr p a v

aa y

ul a

aa . E

M ASS

MARCO TERIC O

PROCESAMIENTO MASIVAMENTE PARALELO.

E Y

El Procesamiento Masiva-mente Paralelo (Ma v ly arall l r / MPP) u a arqu ura mpu a al al r m . Para v ar l u ll lla l bu b m m r a, MPP u l za m m ra mpar a; u r buy lu ar, qu a vam la r l m m r a RAM pr a r m qu a m a a u a r a r u ( a a pr m m ra r bu a a a a m lar a u mpu a r r u a r pr am
7D A 96@ C 9@ C@7C 6 A

AR ALLEL
la a

R OCESS

43 )

raba

m l

(Cluster of Workstation) raba hablara p ar: r v l r

distribuido). Para tener a eso a las reas de memoria fuera de su propia RAM (memoria libre no empleada por los otros procesadores), los procesadores utilizan un esquema de paso de mensajes anlogo a los paq etes de datos en redes. Este sistema reduce el trfico del bus, debido a que cada seccin de memoria interacta nicamente con aquellos accesos que le estn destinados, en lugar de interactuar con todos los accesos a memoria, como ocurre en un sistema SMP. Esto permite la construccin de sistemas MPP de gran tamao, con cientos y an miles de procesadores, por lo que MPP es una tecnologa altamente escalable.
G FF

La parte negativa de MPP desde el punto de vista tecnolgico, es que la programacin se vuelve difcil, debido a que la memoria se rompe en pequeos espacios separados. Sin la existencia de un espacio de memoria globalmente compartido, ejecutar una aplicacin que requiere una gran cantidad de RAM (comparada con la memoria local), puede ser difcil. La sincronizacin de datos entre tareas ampliamente distribuidas tambin se complica, particularmente si un mensaje debe pasar por muchos componentes de hardware hasta alcanzar la memoria del procesador destino. Escribir una aplicacin MPP tambin requiere estar al tanto de la organizacin de la memoria manejada por el programa. Donde sea necesario, se deben insertar comandos de paso de mensajes dentro del cdigo del programa. Adems de complicar el diseo del software, tales comandos pueden crear dependencias de hardware en las aplicaciones (slo funcionara en equipos de cierta marca y modelo). Sin embargo, la mayor parte de vendedores de computadores han salvaguardado la portabilidad de las aplicaciones adoptando, sea u n mecanismo de dominio pblico para paso de mensajes conocido como Mq ina Virtual Paralela (Parallel irtual Machine / PVM), o un estndar llamado Interfaz de Paso de Mensajes (Message Passing nterface / MPI). El costo de las soluciones basadas en MPP es mucho ms alto que el costo por procesador de las soluciones SMP, por lo que su uso slo se justifica cuando la necesidad de procesamiento es muy alta. El RS/6000 Scalable Powerparallel System de IBM (SP2) es un ejemplo de sistema MPP. El enfoque dado por IBM para manejar un gran nmero de procesadores es una pequea variacin muy ingeniosa de la tecnologa MPP estndar. Los
P I G H

componentes son conectados en grupos de 8 procesadores, llamados nodos. Cada nodo tiene un bloque de memoria compartida (tecnol ga SMP), pero o todos los nodos estn conectados utilizando tecnologa MPP convencional (cada nodo tiene una memoria distribuida independiente). Lo importante de esta arquitectura es que aprovechan los bajos costos de la tecnologa SMP.

ES ACIONES DE RAB AJO COW (CLUS ER OF WORKS ATION)

Empecemos definiendo que es un cluster: Un cluster es un conjunto de equipos independientes que ejecutan una serie de aplicaciones de manera conjunta y aparecen ante clientes y aplicaciones como uno solo sistema. Hoy en da desempean un papel importante en la solucin de problemas de las ciencias, las ingenieras y del comercio moderno. La tecnologa de clusters ha evolucionado en apoyo de actividades que van desde aplicaciones de supercmputo y software de misiones crticas, servidores web y comercio electrnico, hasta bases de datos de alto rendimiento, entre otros usos. El cmputo con clusters surge como resultado de la convergencia de varias tendencias actuales que incluyen la disponibilidad de microprocesadores econmicos de alto rendimiento y redes de alta velocidad, el desarrollo de herramientas de software para cmputo distribuido de alto rendimiento, as como la creciente necesidad de potencia computacional para aplicaciones que la requieran. Los clusters son usualmente empleados para mejorar el rendimiento y/o la disponibilidad por encima de la que es provista por un solo computador tpicamente siendo ms econmico que computadores individuales de rapidez y disponibilidad comparables.
R

Emilio Jos Plaza, Cluster heterogneo de computadoras

1.1 E calab l dad: es la capacidad de n eq ipo para acer frente a vol enes de trabajo cada ve ayores, sin dejar de prestar n nivel de rendi i ento aceptable. Existen dos tipos de escalabilidad. a) Escalabilidad de Hardware, ta bi n lla ado escalabilidad vertical, basado en la tili acin de gran cantidad de eq ipos de trabajo c ya enta a edida q e lo exige la carga de trabajo capacidad a existente. b) Escalabilidad de software, ta bi n deno inada escalabilidad ori ontal, basado en la tili acin de eq ipos de ediana potencia q e f ncionan y parecida a co o lo acen las nidades de n en tnde de for a RAID (Red ndant array of Inexpensive Disk o Array red ndante de discos de bajo coste). Se tili an el t r ino RAC (Red ndant array of co p ters o Array red ndante de eq ipos) para referirse a los cl sters de escala i ento ori ontal. Del is o odo q e se a aden discos a n array RAID para a entar s rendi i ento, se p eden a adir nodos a n cl ster para a entar ta bi n s rendi ient o. 1.2 La d p b l dad y la f ab l dad, son dos conceptos q e si bien se enc entran nti a ente relacionados, difieren ligera ente. La disponibilidad es la calidad de estar presente, listo para s so, a ano, accesible, ientras q e la fiabilidad es la pos ibilidad de n f nciona iento correcto. Pero asta el s fiable de los eq ipos acaba fallando, los fabricantes de ardware intentan anticiparse a los fallos aplicando red ndancia en a reas claves co o son las nidades de disco, las f entes de ali entaci n, los controladores de red y los ventiladores, pero dic a red ndancia no protege a los s arios de los fallos de las aplicaciones. entar el nivel de Se ve co o los cl sters i itan a los arrays RAID al a disponibilidad y fiabilidad. En las config raciones de discos tolerantes a fallos, co o RAID 1 o RAID 5, todos los discos f ncionan conj nta ente for ando n array red ndante de odo q e c ando no de ellos falla, solo ay q e ree pla arlo por otro; el resto del array sig e f ncionando sin proble as, sin s necesidad de q e se efect en tareas de config racin y, lo q e es i portante, sin q e se prod can tie pos ertos. En efecto, el siste a RAID nidad n eva para q e f ncione reconstr ye a to tica ente la conj nta ente con las restantes. De ig al odo, c ando falla n eq ipo q e for a parte de n cl ster, solo ay q e s stit irlo por otro. Alg nos progra as de cl ster incl so config ran e integran el servidor de for a a to tica en el cl ster, y todo ello sin q e el cl ster deje de estar disponible ni n solo instante. La constr ccin de los ordenadores del cl ster es s fcil y econ i ca debido a s flexibilidad: p eden tener todos la i s a config racin de ardware y siste a operativo (cl ster o og neo), diferente rendi iento pero con arq itect ras y siste as operativos si ilares (cl ster se i - o og neo), o tener
v u w u v u u s u s u u u w u v s u s s s u s s s s u u u v s s u u s u s s s s s u u u s s s s s s u s s s u s s s s s s u s s v s s y xs u u s u s s u s s s s s u s u s x s s s u u u s u w u s s s s v s s u u v ss v e e e e e u u a a c f s e g e e s s s s e h e h e s X Y g e e e c c c c c c u e d c c c c d e e c e c s d d e c c c e f e ii c a c e f s c e f e i f e b c g e e e c u i i irq pi e c u u t

Los cl sters per iten a ltiples niveles de red.

T WW V T U

entar la escalabilidad, disponibilidad y la fiabilidad de

Para q e n cl ster f ncione co o tal, no basta solo con conectar entre s los ordenadores, sino q e es necesario proveer n siste a de anejo del cl ster, el c al se encarg e de interact ar con el s ario y los procesos q e corren en l para opti i ar el f nciona i ento.

Componentes de un Cluster En general, n cl ster necesita de varios co ponentes de software y ardware para poder f ncionar. A saber: y y y y y y y y Nodos lti -procesador o estaciones de P eden ser si ples ordenadores, siste as trabajo (workstations). E n infor tica, de for a y general, n nodo es n p nto de interseccin o nin de varios ele entos q e confl yen en el is o l gar. A ora bien, dentro de la infor tica la palabra nodo p ede referirse a conceptos diferentes seg n el bito en el q e nos ova os:

Nodos Al acena iento Siste as Operativos Conexiones de Red Middleware Protocolos de Co nicacin y servicios Aplicaciones A bientes de Progra acin Paralela

y y

En redes de co p tadoras cada na de las q inas es n nodo, y si la red es Internet, cada servidor constit ye ta bi n n nodo. En estr ct ras de datos din icas n nodo es n registro q e contiene n dato de inter s y al enos n p ntero para re ferenciar (ap ntar) a otro nodo. Si la estr ct ra tiene slo n p ntero, la nica estr ct ra q e se p ede constr ir con l es na lista, si el nodo tiene s de n p ntero ya se p eden constr ir estr ct ras s co plejas co o rboles o grafos. 1
e d d

El cl ster p ede estar confor ado por nodos dedicados o por nodos no dedicados. En n cl ster con nodos dedicados, los nodos no disponen de teclado, ratn ni onitor y s so est excl siva ente dedicado a reali ar tareas relacionadas con el cl ster. Mientras q e, en n cl ster con nodos no dedicados, los nodos disponen de teclado, ratn y onitor y s so no est excl siva ente dedicado a reali ar tareas relacionadas con el cl ster, el cl ster ace so de los ciclos de reloj q e el s ario del co p tador no est tili ando para reali ar s s tareas. Cabe aclarar q e a la ora de dise ar n cl ster, los nodos deben tener caracter sticas si ilares, es decir, deben g ardar cierta s i ilaridad de arq itect ra y siste as operativos, ya q e si se confor a n cl ster con nodos total ente eterog neos (existe na diferencia grande entre capacidad de
h g d g i f f g f f

diferente ardware y siste a operativo (cl ster eterog neo), lo q e ace fcil y econ ica s constr ccin.

procesadores, e oria, disco d ro) ser ineficiente debido a q e el i ddleware delegar o asignar todos los procesos al nodo de ayor capacidad de c p to y solo distrib ir c ando este se enc entre sat rado de procesos; por eso es reco endable constr ir n gr po de ordenadores lo s si ilares posible. Almacenamiento El al acena iento p ede c onsistir en na NAS, na SAN, o al acena i ento interno en el servidor. El protocolo s co n ente tili ado es NFS (Network File Syste ), siste a de fic eros co partido entre servidor y los nodos. Sin e bargo existen siste as de fic eros espec ficos para cl sters co o L stre (CFS) y PVFS2. Tecnolog as en el soporte del al acena iento en discos d ros: y y y y y IDE o ATA: velocidades de 33, 66, 100, 133 y 166 MB/s SATA: velocidades de 150, 300 y 600 MB/s SCSI: velocidades de 160, 32 0, 640 MB/s. Proporciona altos rendi i entos. SAS: a na SATA-II y SCSI. Velocidades de 300 y 600 MB/s Las nidades de cinta ( DLT) son tili adas para copias de seg ridad por s bajo coste.
p r u s r r t q r j j j k j j k m k k j j l o j j n n j j j j o j j k k k j j u k k k k k k r s v k j k j j r v r r j v r j j v

NAS (Network Attac ed Storage) es n dispositiv o espec fico dedicado al al acena i ento a trav s de red (nor al ente TCP/IP) q e ace so de n siste a operativo opti i ado para dar acceso a trav s de protocolos CIFS, NFS, FTP o TFTP. Por s parte, DAS (Direct Attac ed Storage) consiste en conectar nidades externas de al acena iento SC SI o a na SAN (Storage Area Network) a trav s de n canal de fibra . Estas conexiones son dedicadas. Mientras NAS per ite co partir el al acena i ento, tili ar la red, y tiene na gestin s sencilla, DAS proporciona ayor rendi iento y ayor fiabilidad al no co partir el rec rso. Sistema Operativo ltiproceso y lti s ario. Otras caracter sticas Un siste a operativo debe ser deseables son la facilid ad de so y acceso. Un siste a operativo es n progra a o conj nto de progra as de co p tadora destinado a per itir na gestin efica de s s rec rsos. Co ien a a trabajar c ando se enciende el co p tador, y gestiona el ardware de la q ina desde los niv eles s bsicos, per itiendo ta bi n la interaccin con el s ario. Se p ede encontrar nor al ente en la ayor a de los aparatos electrnicos q e tilicen i croprocesadores para f ncionar, ya q e gracias a estos pode os entender la q ina y q e sta c p la con s s f nciones (tel fonos viles, reprod ctores de DVD, radios, co p tadoras, etc.)
v rr r r v r v v v v v v v v v w r s r r t v v r r r r t r w v v w s v v r v v

BIBLIOGRAFIA
[1] Cl ster Heterog neo de Co p tadoras, E ilio Jos Pla a , 24/enero/2002
v w r w r

r r

t u

v v

v v

[2] Cl ster (Infor tica), Enciclopedia libre Wikipedia . [3] Procesa iento Paralelo, Boletin Nro 5, Universidad Internacional del Ec ador Fac ltad de Infor tica y M lti edia UIDE BITS, Ing. Marcelo Ro o, j nio 2003.
x x x z y y x y y y