PROGRAMA DE DESARROLLO TECNOLGICO

PAUTAS DE EVALUACIN PARA PROYECTOS DE INVESTIGACIN Y/O DESARROLLO TECNOLGICO EN REAS DE OPORTUNIDAD

1.

PROCEDIMIENTOS GENERALES DE EVALUACIN Y SELECCIN

1.1 Los siguientes procedimientos funcionarn en los marcos definidos por el Reglamento Operativo del PDT y el Reglamento de Procedimientos del Comit de Seleccin de Proyectos de Ciencia y Tecnologa (CSPCYT), en particular en cuanto al modo de asegurar la confidencialidad, excelencia y transparencia de las evaluaciones. 1.2 Una vez cerrado un llamado a proyectos, la Unidad de Coordinacin del Programa (UCP) remitir al CSPCYT un listado de los proyectos presentados, ordenados por rea de oportunidad y conteniendo para cada proyecto su n de identificacin, ttulo, tema, institucin proponente, monto total solicitado y nombre del responsable cientfico/tcnico. 1.3 Con base en esta informacin, el CSPCYT designar un Comit Tcnico de rea (CTA) por cada rea de oportunidad considerada en el llamado. En la conformacin de stos, se tendrn en cuenta las siguientes normas: a. Los integrantes debern ser investigadores y tcnicos de probada excelencia, con una trayectoria afn al rea de oportunidad correspondiente. b. Uno de los integrantes de cada CTA deber ser un investigador o profesional con probada experiencia en el anlisis socio-econmico de proyectos, preferentemente en reas o sectores correspondientes al rea de oportunidad. La UCP invitar a los seleccionados a conformar los CTA, proporcionndoles los trminos de referencia de las funciones a cumplir. 1.4 Simultneamente, la UCP efectuar el anlisis de elegibilidad de todos los proyectos presentados, asegurando el cumplimiento de los requisitos formales de presentacin segn especificados en las bases del llamado. En caso de no-cumplimiento de alguno/s de los requisitos, la UCP elevar un informe al CSPCYT, que resolver si corresponde solicitar informacin complementaria o descartar el proyecto. En este ltimo caso, la UCP comunicar la decisin a la institucin proponente del proyecto y al Responsable C/T, refirindose al Acta de la sesin del CSPCYT. 1.5 Una vez conformados los CTA, la UCP convocar a cada uno a una primera reunin en la que participar por lo menos un miembro del CSPCYT y el Gerente del Departamento de Ciencia y Tecnologa. Luego de recibir la lista de proyectos presentados al rea correspondiente al CTA, los integrantes debern declarar por escrito los posibles conflictos de inters e incompatibilidades para el desempeo de sus funciones. Conforme al Reglamento de Procedimientos del CSPCYT, este ltimo definir los lmites de actuacin de los integrantes que hayan declarado conflictos de inters. En todo caso, un integrante involucrado en un proyecto no participar en ninguna actividad del CTA relacionada con dicho proyecto. 1.6 Las tareas de los CTA incluyen: a. Emitir opinin respecto a la pertinencia de cada proyecto al rea de oportunidad al que se present; b. Emitir opinin respecto a si cada proyecto cumple con un nivel mnimo de calidad que justifique que sea evaluado por pares. c. Elevar un informe al CSPCYT en el que se identificarn aquellos proyectos calificados como no-pertinentes o de calidad insuficiente, con la debida

justificacin. En los casos en que el CSPCYT ratifique las recomendaciones de los CTA, la UCP comunicar la decisin a las respectivas instituciones proponentes y Responsables C/T. d. Recomendar evaluadores nacionales o extranjeros para realizar la evaluacin tcnica de los proyectos elegibles y pertinentes. Cada proyecto ser evaluado por al menos dos especialistas, de probada excelencia, en la temtica del proyecto. Cuando el monto del proyecto lo justifique, se efectuar adicionalmente un anlisis econmico. Los criterios a utilizar para la evaluacin y su ponderacin se encuentran detallados a continuacin en el numeral 2. La UCP se encargar de contactar, contratar y proporcionar la informacin necesaria a los evaluadores seleccionados. Estos ltimos debern declarar por escrito la naturaleza de posibles conflictos de inters con el o los proyectos a evaluar, informndose al respecto al CSPCYT. El CTA y el CSPCYT tendrn en cuenta dichas declaraciones al considerar y ponderar la evaluacin. e. Una vez obtenidas las evaluaciones, analizarlas y recomendar un orden preferencial para la adjudicacin de los fondos del llamado. El CTA presentar esta informacin al CSPCYT en un informe que incluir tambin, para cada proyecto, una sntesis de las dos evaluaciones tcnicas y la opinin general del propio CTA, incluyendo su recomendacin acerca de si el proyecto tiene mritos suficientes para ser considerado como financiable. 1.7 El CSPCYT seleccionar los proyectos a financiar considerando el orden preferencial de los mismos y los comentarios incluidos en el informe de evaluacin del CTA, as como los criterios establecidos previamente en las bases del llamado y los fondos asignados al mismo. 1.8 Concluido el proceso de seleccin del llamado, se darn a conocer las resoluciones correspondientes del CSPCYT. Dichas resoluciones sern remitidas a la DINACYT segn establecido en los artculos quinto y sexto del Decreto N82/02. 1.9 Las recomendaciones finales de los CTA podrn tomar estado pblico solamente luego de producida la resolucin del CSPCYT. Todos los restantes aspectos del proceso retendrn las garantas de confidencialidad. 1.10 Cada Responsable C/T de un proyecto recibir una copia de las evaluaciones tcnicas que mereci su propuesta por parte de los evaluadores, cuya identidad se mantendr en reserva. 1.11 Los proyectos presentados sern considerados de propiedad intelectual de sus autores y recibirn garantas de confidencialidad por dos aos. 1.12 El CSPCYT se pronunciar con respecto a las solicitudes de reconsideracin segn lo establecido en el artculo 7 del Decreto 82/02. Para aprobar una recomendacin se necesitar un mnimo de cinco votos afirmativos. 2. CRITERIOS Y ESCALA DE CALIFICACIONES

Los criterios y subcriterios para la evaluacin tcnica, as como los respectivos puntajes y factores de ponderacin se encuentran detallados en el formulario adjunto, que ser utilizado por todos los evaluadores.

PROGRAMA DE DESARROLLO TECNOLGICO

FORMULARIO PARA LA EVALUACIN DE PROYECTOS DE INVESTIGACIN EN REAS DE OPORTUNIDAD

Nmero del proyecto Ttulo del proyecto DOCUMENTACIN ENVIADA AL EVALUADOR: Formulario de presentacin del proyecto Pautas para la evaluacin Bases del llamado Declaracin de elegibilidad (fax a devolver firmado)

Evaluador 1 2

Fecha de envo de la documentacin Fecha de recepcin del fax Fecha de devolucin de la evaluacin Sr. Evaluador: Las evaluaciones tcnicas deben realizarse en el marco del Reglamento Operativo del Programa de Desarrollo Tecnolgico (PDT) y siguiendo las Pautas de Evaluacin entregadas. El evaluador deber garantizar la excelencia del proceso de evaluacin, asegurando la Confidencialidad de la informacin perteneciente a cada propuesta en consideracin. Deber canalizar sus consultas respecto al proyecto a travs del Departamento de Proyectos de Ciencia y Tecnologa. El evaluador no podr tener ningn tipo de Conflicto de Inters con las propuestas en juicio al momento de la evaluacin. Se entiende por Conflicto de Inters aquellas situaciones en que se ve comprometida la objetividad de la evaluacin debido a una vinculacin directa con la propuesta o el equipo de investigacin, u otras incompatibilidades. En este caso, el evaluador declinar participar y en su lugar se seleccionar otro especialista. En caso de dudas, el evaluador deber declarar sus posibles conflictos de inters en el formulario (fax) previsto a tal fin y el Comit de Seleccin de Proyectos de Ciencia y Tecnologa (CSPCYT) resolver al respecto. El subprograma II del PDT tiene como finalidad ampliar la capacidad de generacin de conocimientos cientficos y tecnolgicos haciendo especial nfasis en aquellas reas del conocimiento en las que se propende a la solucin de problemas preidentificados de inters social o econmico, a las que se denomina reas de oportunidad. El nfasis en estas reas deriva de la necesidad de estrechar la vinculacin entre demandantes y oferentes de conocimientos tecnolgicos. Los proyectos presentados a esta convocatoria son autoclasificados por sus proponentes en una de las reas de oportunidad convocadas y deben precisar si su objetivo principal es: A. Generar informacin para la gestin o para el desarrollo de normativas; o

B. Apoyar el desarrollo o la mejora de procesos o tecnologas Debe tenerse en cuenta en la evaluacin si el proyecto es de tipo A o B, tal como se indica en el formulario presentado a continuacin. La evaluacin de los proyectos est estructurada sobre la base de diferentes criterios y subcriterios, explicitados ms adelante, que deben aplicarse de la siguiente forma: 1. El evaluador otorgar un indicador de evaluacin para cada uno de los subcriterios, marcando con una cruz el smbolo que corresponda: - Pobre o incompleto - Satisfactorio o bueno - Muy bueno o excelente 2. El evaluador asignar a cada criterio un puntaje de 0 a 10, siendo 10 el ptimo. El puntaje deber ser consistente con: i) los smbolos ("caritas") seleccionados para los subcriterios, ii) el concepto asociado a cada puntuacin, segn indicado en el formulario para cada criterio (por ej., para el criterio 1: de 3 a 4 puntos significa "regular" y de 7 a 8 puntos significa "muy bueno" . El respeto de estas reglas por cada evaluador es particularmente importante considerando que un Comit Tcnico deber posteriormente establecer un orden preferencial para todos los proyectos presentados a la convocatoria ("ranking"), con base en los puntajes asignados por los distintos evaluadores. Los fondos asignados a la convocatoria no alcanzarn para financiar todos los proyectos recomendables. 3. Para cada criterio, el evaluador justificar el puntaje otorgado con un comentario, preferiblemente en no ms de media pgina. 4. Los proyectos deben lograr una puntuacin mnima en cada criterio para ser financiables, segn se indica en la tabla siguiente. 5. Los puntajes para los diferentes criterios sern reportados en un cuadro resumen y se les aplicarn los coeficientes de ponderacin indicados en la tabla siguiente, para obtener el puntaje global del proyecto.

Criterios Contenido cientfico tecnolgico Pertinencia Probabilidad de xito Probabilidad de transferencia de resultados

Puntaje mnimo 6 7 6 6

Ponderacin 3 2 2.5 2.5

6. El evaluador resumir su opinin global sobre el proyecto en no ms de media pgina.

CRITERIO 1 - CONTENIDO TCNICO-CIENTFICO Proyectos de tipo A (generacin de informacin C/T) a. Calidad de la formulacin y fundamentacin del proyecto SUBCRITERIOS b. Precisin y claridad de los objetivos principales c. Definicin del enfoque y del alcance del trabajo d. Manejo del estado del conocimiento y la tecnologa en la temtica del proyecto e. Metodologa de trabajo con relacin a los objetivos del proyecto f. Relevancia de la informacin a medir, recopilar, sistematizar o analizar del

Pobre: 1-2

Regular: 3-4

Bueno: 5-6

Muy bueno: 7-8

Excelente: 9-10

PUNTAJE OTORGADO : Comentarios:

g. Especificacin y relevancia resultado a producir

= Pobre o incompleto

= Satisfactorio o bueno

= Muy bueno o excelente

GUAS PARA LA EVALUACIN DE ESTE CRITERIO: Est definido el objetivo del proyecto? es verificable su cumplimiento? El Proyecto est correctamente ubicado con relacin al conocimiento y la tecnologa existente en el tema? Se demuestra un conocimiento en profundidad de la literatura tcnica relevante? Es adecuada la metodologa de trabajo propuesta a los objetivos planteados? Est claramente definido el alcance del trabajo? Existe un estudio de las normas tcnicas o los estndares aceptados para la determinacin de las variables a medir, recopilar o analizar? de la normativa legal y comercial aplicable a dichas variables, nacional e internacional? Est descrito con suficiente claridad el resultado del proyecto, en cuanto a la informacin que se pretende recolectar y diseminar?

CRITERIO 1 - CONTENIDO TCNICO-CIENTFICO Proyectos de tipo B (relacionados con el desarrollo o mejora de procesos o tecnologas) a. Calidad de la formulacin y fundamentacin del proyecto SUBCRITERIOS b. Precisin y claridad de los objetivos principales c. Definicin del enfoque y del alcance del trabajo d. Manejo del estado del conocimiento y la tecnologa en la temtica del proyecto e. Impacto de la tecnologa o proceso objeto del desarrollo desde el punto de vista cientfico-tecnolgico f. Solidez de las hiptesis cientficotecnolgicas

Pobre: 1-2

Regular: 3-4

Bueno: 5-6

Muy bueno: 7-8

Excelente: 9-10

PUNTAJE OTORGADO : Comentarios:

= Muy bueno o excelente

g. Adecuacin de la metodologa propuesta a los objetivos

= Pobre o incompleto = Satisfactorio o bueno

GUAS PARA LA EVALUACIN DE ESTE CRITERIO: Est definido el objetivo del proyecto? es verificable su cumplimiento? El Proyecto, est correctamente ubicado con relacin al conocimiento y la tecnologa existente en el tema? Se demuestra un conocimiento en profundidad de la literatura tcnica relevante? Es adecuada la metodologa de trabajo propuesta a los objetivos planteados? Est claramente definido el alcance del trabajo? Tiene el proyecto planteado un impacto potencial desde el punto de vista tecnolgico o cientfico? Posee originalidad o novedad? Las hiptesis cientfico-tecnolgicas adoptadas son presumiblemente correctas?
Pautas_de_evaluacion_proyectos.doc Pgina 2 de 6

En caso que corresponda, existe un estudio de las patentes y licencias de tecnologa aplicables? de los procesos y tecnologas actualmente utilizados en el sector econmico nacional, y de los disponibles en el mercado?

Pautas_de_evaluacion_proyectos.doc

Pgina 3 de 7

PERTINENCIA: CRITERIO 2 PERTINENCIA DE LA PROPUESTA respecto Muy alta: 9-10 Alta: 7-8 de las reas de oportunidad PUNTAJE OTORGADO: a. Identificacin del problema objetivo con relacin a las reas y temas del llamado. SUBCRITERIOS b. Importancia del problema a abordar y aporte de la propuesta c. Identificacin de los usuarios potenciales del resultado del desarrollo d. Posibles impactos: - en la competitividad del segmento econmico objetivo - impacto medioambiental - impacto social - en el fortalecimiento de la capacidad de recursos humanos en el rea de oportunidad
= Satisfactorio o bueno

Media: 5-6

Discutible: 3-4

Nula: 1-2

Comentarios:

= Pobre o incompleto

= Muy bueno o excelente

GUAS PARA LA EVALUACIN DE ESTE CRITERIO: Es pertinente el proyecto con relacin a las reas convocadas, y a los temas dentro de cada rea? Demuestra el proyecto su pertinencia con relacin a uno o ms de los siguientes elementos: competitividad econmica del sector productivo nacional objetivo del proyecto mejora de condiciones medioambientales por control o reduccin de la contaminacin impacto social positivo, en trminos de empleo u otro factor medible? Contribuye el proyecto a fortalecer la capacidad de recursos humanos con relacin al rea de oportunidad? Existen en principio usuarios potenciales del resultado del proyecto planteado?

Pautas_de_evaluacion_proyectos.doc

Pgina 4 de 8

Al evaluar este criterio, el evaluador debe tener en cuenta el objetivo global del PDT: la mejora de la competitividad de la economa nacional por medio de la innovacin tecnolgica y del desarrollo tcnico-cientfico, as como las propuestas producidas por los comits tcnicos de cada rea convocada con respecto a los problemas del sector.

PROBABILIDAD:80% o superior: 9-10 CRITERIO 3 PROBABILIDAD DE XITO DEL PROYECTO

= Muy bueno o excelente

60-80%: 7-8 20-40%: 3-4

40-60%: 5-6 0-20%:

1-2 PUNTAJE OTORGADO: Comentarios:

SUBCRITERIOS

a. Antecedentes del equipo b. Antecedentes de los responsables c. Infraestructura disponible d. Ambiente en el que se desarrolla el proyecto e. Capacidad de gestionar el proyecto f. Adecuacin de los recursos humanos, fsicos y financieros al trabajo propuesto
= Satisfactorio o bueno

= Pobre o incompleto

GUAS PARA LA EVALUACIN DE ESTE CRITERIO: Son relevantes los antecedentes del responsable y el equipo en materia de produccin de conocimiento cientfico y tecnolgico? Ha realizado el equipo propuesto trabajos similares al planteado en cuanto a su alcance, metodologa y herramientas tcnico-cientficas utilizadas? Los recursos humanos planteados para el proyecto, renen las condiciones de formacin y experiencia como para ejecutarlo correctamente (cada uno en su rol)? Tiene el responsable del proyecto la capacidad de dirigirlo?Existen elementos acadmicos, institucionales, de cooperacin internacional y de gestin en el entorno del proyecto? La dedicacin de los distintos participantes en el proyecto, es suficiente para sus roles? es adecuada con relacin al alcance del proyecto la cantidad de tiempo y esfuerzo planteada? Los recursos materiales planteados (equipos, materiales de consumo, software) son adecuados y suficientes? Son razonables con relacin al alcance del proyecto? La infraestructura disponible, es adecuada?
Pautas_de_evaluacion_proyectos.doc Pgina 5 de 9

Los costos planteados para remuneraciones, recursos materiales y otros gastos son razonables? Existen elementos crticos de costo que no hayan sido previstos? El planteo del proyecto identifica contingencias de riesgo previsible e incorpora estrategias para enfrentarlas? En el caso que el proyecto incluya tem cuya financiacin no se solicita, estos estn ya disponibles o estn previstas otras fuentes de financiacin para cubrirlos? Evaluando globalmente todos estos elementos, cmo evala Ud. la probabilidad de que el proyecto pueda alcanzar los objetivos planteados?

Pautas_de_evaluacion_proyectos.doc

Pgina 6 de 10

CRITERIO 4 PROBABILIDAD DE TRANSFERENCIA DE RESULTADOS a. Antecedentes del equipo en la aplicacin y difusin de resultados en el sector productivo SUBCRITERIOS b. Antecedentes del equipo en la aplicacin y difusin de resultados originales c. Existencia de usuarios potenciales del resultado esperado en el sector productivo, especialmente en el sector exportador d. Involucramiento de los usuarios potenciales con el proyecto e-A. Mecanismos de difusin previstos en el proyecto (para proyectos tipo A) e-B. Probabilidad de uso de los resultados en procesos y tecnologas (para proyectos tipo B) f. Mecanismos de transferencia previstos
= Pobre o incompleto = Satisfactorio o bueno

PROBABILIDAD:80% o superior: 9-10 PUNTAJE OTORGADO : Comentarios:

60-80%: 7-8 20-40%: 3-4

40-60%: 5-6 0-20%: 1-2

= Muy bueno o excelente

GUAS PARA LA EVALUACIN DE ESTE CRITERIO: Est definido el objetivo del proyecto? es verificable su cumplimiento? Cuenta el equipo con antecedentes en la difusin de resultados hacia el sector productivo mediante transferencia de tecnologa, produccin de estudios orientados al sector u otra modalidad de contacto anloga? Cuenta el equipo con antecedentes en la difusin de resultados de investigacin? Existen usuarios potenciales del resultado del proyecto? Han sido identificados por el proponente? Es el resultado generalizable o de inters para el sector productivo en su conjunto?

Pautas_de_evaluacion_proyectos.doc

Pgina 7 de 11

Existe involucramiento de los usuarios potenciales con el proyecto, mediante convenios, financiacin, demandas especficas, apoyo material o de otros recursos? Se relaciona este proyecto con otros desarrollados para el mismo grupo de usuarios potenciales? (sigue)

Para proyectos de tipo A: Se han previsto mecanismos de difusin de la informacin producida? Garantizan stos el acceso de los sectores productivos, acadmicos o regulatorios relevantes? Estn previstos los mecanismos y formatos de acceso a la informacin? Permiten stos respetar las restricciones de confidencialidad, secreto estadstico, u otras condiciones plantadas en el proyecto? Existen restricciones de propiedad intelectual sobre la informacin generada? Globalmente, cul es la probabilidad de que la informacin producida sea efectivamente utilizada por los sectores productivos y regulatorios correspondientes? Para proyectos de tipo B: Existe un sector productivo potencialmente demandante que pueda adoptar o utilizar con facilidad y rapidez el resultado del proyecto? Demuestra el proyecto la existencia de una demanda y de una justificacin econmica para la adopcin del desarrollo o de la mejora planteada? Se plantean en el proyecto formas de proteccin para la propiedad intelectual generada (patentes, licenciamiento) cuando corresponde? Cul es la probabilidad de comercializar la tecnologa o el proceso desarrollado, suponiendo que se logren los objetivos? Globalmente, cul es la probabilidad de que el resultado del proyecto, si es exitoso, sea adoptado por el sector productivo? NOTAS ADICIONALES Los proyectos de tipo A deben garantizar el acceso pblico a la informacin generada agregada, en el marco del respeto al secreto estadstico, del cumplimiento de las restricciones de confidencialidad que haya implicado la recoleccin de datos, y de los eventuales derechos de propiedad intelectual de los autores del proyecto. La forma de difusin o publicacin de los resultados debe estar especificada en el proyecto.

Pautas_de_evaluacion_proyectos.doc

Pgina 8 de 12

TABLA RESUMEN DE LOS PUNTOS OTORGADOS AL PROYECTO Criterios Puntos otorgados (1) Factor de ponderacin (2) 3 2 2.5 2.5 Puntaje ponderado (1) multiplicado por (2)

Contenido cientfico-tecnolgico Pertinencia Probabilidad de xito Probabilidad de transferencia de resultados TOTAL

OPININ GLOBAL SOBRE EL PROYECTO

Pautas_de_evaluacion_proyectos.doc

Pgina 9 de 13