Está en la página 1de 22

Primo

Pipes

Versin 1.0 - 29/12/2010

Sumario
Introduccin
Pipe Monitoring
Tipos de pipes
Acciones
Crear un nuevo pipe
Programar un pipe
Procesos posteriores
Qu hacer cuando falla un pipe

Introduccin

Pipe Monitoring
Primo Home
> Monitor Primo Status
Es la seccin del admin de Primo desde
la que podemos crear pipes, lanzarlos y
monitorizarlos.

Pipe Monitoring

De cada pipe podemos ver el nombre, el tipo, la fase en la


que se encuentra y el estatus.

Tipos de pipes
Regular
Corresponde a las cargas normales. Una carga normal es aquella que se
va lanzando peridicamente y los nuevos registros se aaden a medida
que estn disponibles.
Delete Data Source
Sirve para eliminar de Primo todos los registros de un Data Source.
No harvesting - Upload Data Source
Sirve para actualizar los registros de un Data Source, sin cargar nada
nuevo. Por ejemplo, si hemos modificado las normalization rules y
queremos que las modificaciones se vean en Primo podemos
simplemente actualizar el Data Source.

Tipos de pipes
Delete Data Source and ReLoad
Este tipo nos permite eliminar todo el contenido de un Data Source y
volver a lanzar el pipe original.
Physical Delete Records
No podemos crear pipes de este tipo. Es automtico, se lanza cada vez
que se eliminan registros de un data source.

Acciones

Editar el pipe

Ver el historial
de ejecuciones

Ejecutar

Ver la lista de
errores

Crear un nuevo pipe

En la parte inferior de la pantalla tenemos el botn Create new pipe.


Nos permite crear un nuevo pipe de carga.
Importante!
Los pipes no se pueden eliminar, por lo que hay que crearlos
nicamente en caso de que sean necesarios.

Crear un nuevo pipe

Crear un nuevo pipe


Data Source
Seleccionamos el data source que vamos a cargar.
Normalization Mapping Set
Escogemos las reglas de normalizacin que usaremos.
Priority
La prioridad en caso de que ms de un pipe se ejecuten a la vez.
Maximum error threshold
El nmero mximo de errores que no debe sobrepasarse para que la
carga se haga correctamente.

Crear un nuevo pipe


Harvesting method
El mtodo de recoleccin.
FTP / SFTP -- debemos poner los datos del servidor donde estn los
registros y un usuario y un password.
OAI -- en este caso ponemos la URL base del OAI.
Copy -- ponemos la ruta del servidor donde se encuentran los registros. El
servidor en este caso es el propio de Primo.

Crear un nuevo pipe


Start harvesting files/records from
La fecha a partir de la cual se recolectarn los registros. Cuando se lanza
un pipe se guarda en este campo la fecha de ejecucin. As, la segunda
vez que se ejecuta el pipe se cargan slo los registros creados o
modificados despus de la ltima ejecucin.
Start time
La hora exacta a partir de la cual se recolectarn los registros (ver punto
anterior).

Enrichment Set
Escogemos el Enrichment Set (rutinas de enriquecimiento).

Crear un nuevo pipe


System Last Stage
ltimo estado antes de finalizar la carga. Si seleccionamos FRBR la
carga se realizar completa. Si seleccionamos DEDUP la fase de FRBR
no se realizar. Y si seleccionamos PERSISTENCE las fases de DEDUP
y FRBR no se realizarn.
Harvested File Format
Aqu debemos escoger el formato de compresin del fichero.

Programar un pipe
Despus de la primera carga podemos programar la ejecucin del pipe, para
que se haga automticamente cada cierto tiempo.
Se hace desde la seccin Schedule Tasks, en la pgina principal del Back
Office.

Programar un pipe

Podemos escoger el pipe, la frecuencia de ejecucin y la hora en la que se


lanzar. Desde esta misma pantalla podemos los pipes y las otras tareas
programadas.

Procesos posteriores
Primo Home
> Monitor Primo Status
Despus de lanzar un pipe es
importante lanzar un proceso para que
los registros se actualicen
definitivamente en la base de datos.
Los procesos se lanzan desde Process
Monitoring.

Procesos posteriores

El proceso que hay que lanzar es:


Indexing_and_Didumean_and_Hotswpping

Primero pulsamos el botn Clean-up y luego Execute.

Qu hacer cuando falla un pipe

Una carga puede fallar por muchos motivos.


Estos son algunos ejemplos:
Los registros no tienen un ID persistente.
Hay errores en el formato de los registros.
El XML no est bien formado.
Faltan campos obligatorios como "delcategory" o "display:type".

Qu hacer cuando falla un pipe

Primero hay que pulsar en stopped harvest error.


Aparecer el resumen de la carga y podremos ver el harvest log
(copiado de registros) y el log (las fases siguientes al copiado).
Para poder volver a lanzar el pipe debemos pulsar terminate.
Hacemos las correcciones oportunas y ya podemos volver a probar.

Qu hacer cuando falla un pipe


logs de la carga

terminar el proceso

Muchas gracias por la atencin.

Preguntas?