3 Algoritmos PDF

AT5128 Arquitectura e Ingeniera de Computadores II
Juan Antonio Maestro (2004/05)
Diseo de algoritmos paralelos
Curso 2011-2012
Esquema del captulo

Visin general de algunos algoritmos serie.
Algoritmo paralelo vs. Formulacin
paralela
Elementos de un Algoritmo paralelo
Mtodos de descomposicin:
Extraccin de la concurrencia.
Mtodos de asignacin:
Reduccin de las comunicaciones por paralelismo.
Algunos algoritmos serie
Multiplicacin de matrices densas.

Multiplicacin de matrices dispersas.
Eliminacin Gausiana.
Camino ms corto (algoritmo de Floyd).
Quicksort (ordenacin rpida).
Bsqueda de mximos y mnimos.
Bsqueda heurstica (problema del puzzle).
Multiplicacin densa Matriz - Vector

Multiplicacin densa Matriz - Matriz

Multiplicacin Matriz dispersa - Vector

Eliminacin Gausiana
La matriz A de un sistema de ecuaciones se reemplaza por una

matriz equivalente triangular superior
Camino ms corto (algoritmo de Floyd)

Quicksort
Bsqueda del mnimo

Puzzle de 15 piezas
Algoritmo paralelo vs. Formulacin paralela

Formulacin paralela: Paralelizacin de un
algoritmo serie ya diseador. Adaptacin a una
plataforma paralela.
Algoritmo paralelo: Algoritmo que se disea en
un inicio pensando en una plataforma paralela.
Puede diferir considerablemente de su versin
serie.
En el curso, se trabajar principalmente con

Formulaciones paralelas.
Elementos de un algoritmo / formulacin paralelo
Elementos de trabajo que se pueden ejecutar

concurrentemente: Tareas.
Asignacin de tareas a mltiples procesadores.
Distribucin de la informacin (datos de entrada-salida
e intermedios) entre los procesadores.
Gestin del acceso a datos compartidos.
Sincronizacin de los procesos.
Maximizar la concurrencia y minimizar costes

de comunicacin: Mejorar el Speed-up.
Bsqueda de elementos de trabajo concurrentes
Descomposicin: Proceso de divisin del

trabajo en unidades menores y ms manejables
denominadas tareas.
Las tareas se definen a nivel de programacin y
se consideran indivisibles.
Ejemplo: Multiplicacin Matriz densa - Vector
Granularidad: Nmero y tamao de las tareas.

Granularidad fina: Muchas tareas detalladas.
Granularidad gruesa: Pocas tareas genricas.
Descomposicin en n tareas Descomposicin en 4 tareas
Ejemplo: Proceso de bsqueda

Ejemplo: Proceso de bsqueda

Dos descomposiciones de tareas, con resultados muy diferentes:
(a) Tres etapas de proceso, con un grado de concurrencia mximo de
4.
b) Cuatro etapas de proceso, con un grado de concurrencia mximo
de 4.
(a) (b)
Grafo de dependencia de tareas

En la mayora de los casos, las tareas tienen
dependencias. No pueden empezar hasta que no acaben
las predecesoras.
Estas dependencias se representan mediante un grafo
dirigido acclico, denominado Grafo de Dependencia
de Tareas.
Grafo de dependencia de tareas
Grado medio de concurrencia: Nmero medio

de tareas que se pueden ejecutar
concurrentemente.
Camino crtico: El camino ms largo que recorre
el grafo, el cual delimita el tiempo de ejecucin
total del algoritmo.
Tanto el grado de concurrencia como el camino
crtico se ven directamente afectados por la
eleccin de la granularidad.
Grafo de interaccin de tareas
Muestra los patrones de interaccin de las tareas.

Suele contener al grafo de dependencias de tareas
como un subgrafo propio.
Multiplicacin de matriz dispersa

Mtodos habituales de descomposicin
Descomposicin de datos.
Descomposicin recursiva.
Descomposicin exploratoria.
Descomposicin especulativa.
Descomposicin hbrida.
Descomposicin recursiva
Apropiado para problemas resolubles

con la tcnica Divide-y-vencers.
Cada uno de los subproblemas
generados en el proceso de divisin se
corresponde con un proceso.
Ejemplo: Quicksort
Cada paso de divisin se

asocia a un proceso.
Ejemplo: Clculo del mnimo

Se puede aplicar la estrategia de divide-y-vencers a problemas
que tradicionalmente no se han resuelto con esta tcnica.
Descomposicin de datos
Apropiado para algoritmos que trabajan con

una gran cantidad de datos: el problema est
en el volumen.
Habitualmente se realiza en dos etapas:
Particin de los datos.
Cambio en la computacin para trabajar con mltiples
particiones de datos.
Qu datos hay que dividir en particiones (los de
entrada, los intermedios)?: Depende del caso.
Ejemplo: Multiplicacin de matrices
Particin de los datos de salida:

Ejemplo: Multiplicacin de matrices
Particin de los datos intermedios:
Grafo de dependencias de datos

Descomposicin exploratoria
Apropiado para descomponer clculos

basados en la bsqueda de un espacio
de soluciones.
Puede resultar en speed-up anmalo:
Dependiendo de dnde se encuentre la solucin
dentro del espacio, la formulacin paralela puede
requerir ms trabajo que la formulacin serie.
Speed-up anmalo debido a descomposicin exploratoria

Descomposicin especulativa
Usada para extraer concurrencia en
problemas donde el prximo paso es una
accin (entre varias posibles), que slo se
puede determinar cuando la tarea actual
concluya.
Esta descomposicin asume un cierto
resultado de la tarea actual y ejecuta los
pasos posteriores.
Equivalente a la ejecucin especulativa a nivel de
microprocesador
Ejemplos: Simulacin discreta de eventos

Descomposicin especulativa
Si la prediccin es errnea:
el trabajo realizado se desperdicia
puede que haya que deshacer los resultados de la
tarea (restauracin de contexto)
A menudo, puede ser el nico medio para
obtener concurrencia.
Asignacin de tareas
Por qu una asignacin de tareas? No es

suficiente una asignacin aleatoria?
La asignacin apropiada es crtica, a fin de
minimizar el coste asociado al paralelismo.
Coste = pTp - Ts.
Causas del coste:
Carga de trabajo no equilibrada.
Comunicacin entre procesos.
Asignacin de tareas
Para una correcta asignacin hay que

estudiar los grafos de dependencia e
interaccin de tareas:
Se conocen las tareas a priori?
Dependencia
Y sus requisitos de clculo?
de datos
Cuntos datos se asociarn por tarea?
Cmo se comunican las tareas? Interaccin
Ejemplos: Interaccin simple y compleja
Interaccin simple: Las

tareas se comunican slo
con las adyacentes
Interaccin compleja:
Las tareas necesitan
mucha comunicacin
Objetivo: Equilibrado de carga

El equilibrado de carga es fundamental para
maximizar la concurrencia.
Una asignacin equitativa de tareas a
procesadores no garantiza el equilibrado de
carga.
Tcnicas de equilibrado de carga

Asignacin esttica:
Las tareas se distribuyen entre los procesadores antes de la
ejecucin.
Aplicable a tareas:
Generadas estticamente
Con requisitos computaciones conocidos
Asignacin dinmica:
Las tareas se distribuyen entre los procesadores en tiempo de
ejecucin.
Aplicable a tareas:
Generadas dinmicamente
Con requisitos computaciones desconocidos
Tcnicas de equilibrado de carga
Asignacin esttica:
Distribucin en array
Particionamiento del grafo
Asignacin dinmica:
Patrones centralizados
Patrones distribuidos
Asignacin esttica: Distribucin en array
Apropiada para algoritmos:

que usan descomposicin de datos
sus datos se almacenan en forma de arrays
Tipos:
Distribucin en bloques
Distribucin cclica
Distribucin cclica en bloques
Distribucin aleatoria en bloques
Ejemplo: Distribuciones en bloques
8 procesos
16 procesos
Ejemplo: Distribuciones en bloques
n2 n2
Particin
p
unidimensional
n2
+ n2
p
Particin
2 2
n n
p p
bidimensional
2n 2
p
Los datos de las zonas sombreadas A y B son requeridos por el proceso que
calcula la zona sombreada C. La particin unidimensional requiere ms acceso a
datos que la bidimensional.
Ejemplo: Distribuciones cclicas en bloques

Se usa para evitar problemas de desequilibrio de carga cuando
distintas partes del array necesitan carga computacional distinta.
Se divide el array en ms bloques que procesadores.
Cada procesador se encarga de varios bloques no contiguos.
Ej.: Eliminacin Gausiana. Distribuciones uni y

bidimensionales sobre 4
procesos
Distribuciones aleatorias en bloques

Algunas veces, la computacin se realiza nicamente
sobre ciertas partes del array:
por ejemplo, en la multiplicacin de matrices dispersas.
El uso de distribucin
cclica en bloques llevara
a un desequilibrio de
carga
Distribuciones en bloques aleatorios
Distribucin aleatoria
unidimensional
Distribucin aleatoria bidimensional: Mejor equilibrado de carga.


La asignacin de procesos se puede
conseguir particionando directamente el
grafo de interaccin de tareas.
Ejemplo: Modelado basado en clculos sobre malla.
Distribucin aleatoria en
8 procesos
Carga equidistribuida
Distribucin en 8 procesos
usando un algoritmo de
particionamiento de grafos
Carga equidistribuida
+
Minimizacin de comunicaciones

Otro ejemplo: Multiplicacin de matriz dispersa
Asignacin contigua,
Cada proceso se
ocupa de 4 filas
consecutivas
Asignacin que minimiza las

comunicaciones y mantiene
las misma carga
computacional por proceso
Patrones de equilibrado dinmico de carga
Tema de mxima actualidad a nivel de

investigacin.
Patrones centralizados:
Un cierto procesador es responsable de repartir el
trabajo.
Patrones distribuidos:
El trabajo se puede distribuir entre cualquier par de
procesadores.
Asignacin para minimizar los costes de interaccin
Maximizar ubicacin conjunta de datos.

Minimizar volumen de intercambio de datos.
Minimizar frecuencia de interaccin.
Minimizar contencin y hot spots.
Solapar computacin y comunicacin.
Rplica selectiva de datos y clculo.
Estos objetivos se consiguen con una buena

descomposicin y asignacin de tareas.

3 Algoritmos PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

3 Algoritmos PDF

Cargado por

Copyright:

Formatos disponibles

AT5128 Arquitectura e Ingeniera de Computadores II

Juan Antonio Maestro (2004/05)

Diseo de algoritmos paralelos

Esquema del captulo

Algunos algoritmos serie

Multiplicacin de matrices densas.

Multiplicacin densa Matriz - Vector

Multiplicacin densa Matriz - Matriz

Multiplicacin Matriz dispersa - Vector

La matriz A de un sistema de ecuaciones se reemplaza por una

Camino ms corto (algoritmo de Floyd)

Bsqueda del mnimo

Algoritmo paralelo vs. Formulacin paralela

En el curso, se trabajar principalmente con

Elementos de un algoritmo / formulacin paralelo

Elementos de trabajo que se pueden ejecutar

Maximizar la concurrencia y minimizar costes

Bsqueda de elementos de trabajo concurrentes

Descomposicin: Proceso de divisin del

Ejemplo: Multiplicacin Matriz densa - Vector

Granularidad: Nmero y tamao de las tareas.

Ejemplo: Proceso de bsqueda

Ejemplo: Proceso de bsqueda

Grafo de dependencia de tareas

Grafo de dependencia de tareas

Grado medio de concurrencia: Nmero medio

Grafo de interaccin de tareas

Muestra los patrones de interaccin de las tareas.

Multiplicacin de matriz dispersa

Mtodos habituales de descomposicin

Apropiado para problemas resolubles

Cada paso de divisin se

Ejemplo: Clculo del mnimo

Apropiado para algoritmos que trabajan con

Ejemplo: Multiplicacin de matrices

Particin de los datos de salida:

Ejemplo: Multiplicacin de matrices

Particin de los datos intermedios:

Grafo de dependencias de datos

Apropiado para descomponer clculos

Speed-up anmalo debido a descomposicin exploratoria

Ejemplos: Simulacin discreta de eventos

Por qu una asignacin de tareas? No es

Para una correcta asignacin hay que

Ejemplos: Interaccin simple y compleja

Interaccin simple: Las

Objetivo: Equilibrado de carga

Tcnicas de equilibrado de carga

Tcnicas de equilibrado de carga

Asignacin esttica: Distribucin en array

Apropiada para algoritmos:

Ejemplo: Distribuciones en bloques

Ejemplo: Distribuciones en bloques

Ejemplo: Distribuciones cclicas en bloques

Ej.: Eliminacin Gausiana. Distribuciones uni y

Distribuciones aleatorias en bloques

Distribuciones en bloques aleatorios

Distribucin aleatoria bidimensional: Mejor equilibrado de carga.

Particionamiento del grafo

Particionamiento del grafo

Particionamiento del grafo

Asignacin que minimiza las

Patrones de equilibrado dinmico de carga