Calidad del software educativo: Metodologa de Evaluacin de software
educativo ara deter!inar el "ue cu!le con las esecificaciones #asadas en estndares internacionales Anaranjo2408@hotmail.com, bnaranjo@espol.edu.ec $esu!en: Las instituciones educativas demandan cada vez ms modelos, tcnicas y herramientas que ayuden a la evaluacin de software educativo para as poder seleccionar de forma ms eficiente la Tecnologa de nformacin !T" que cumpla con estndares internacionales que permita garantizar de esa manera la operatividad razona#le de un producto software educacional$ %l presente artculo, analiza un caso prctico que permite demostrar como los modelos aportan y potencian la seleccin adecuada de productos de software seguro y eficiente$ &dems se presenta un nuevo enfoque de evaluacin com#inando modelos y tcnicas de evaluacin de software permitiendo as una seleccin ptima de un producto$ %n este caso se aplica el enfoque de prue#as y el desarrollo de casos para la correcta determinacin del producto software$ %ala#ras Clave: 'oftware 'eguro, (odelos de )alidad, '* +,-., estndares internacionales, calidad de software, mtricas, indicadores A#stract: The educational institutions demands models, techniques and tolls that help to the educational software evaluation in order to select the most efficient nformation Technology to achieve the international standards to guarantee in this way the operativity reasona#le of a educational software product$ This article analyze a study case that show how the models contri#ute and improve the adequate selection of secure and efficiency software products$ &lso shows a new approach of evaluation com#ining models and techniques of software ma/ing an optimal selection of a product$ n this case we also apply the testing approach and cases of study to the correct determination of the software product$ 0ey 1ords: 'ecure software, 2uality (odels, '* +,-., international standards, software quality, metrics, indicators$ &N'$()*CC&+N EVALUACIN DE SOFTWARE Pgina 1 La evaluacin de software educativo se ha convertido en una necesidad no slo de empresas comerciales que construyen este tipo de productos, sino tam#in de instituciones educativos y docentes que desean seleccionar la me3or herramienta para lograr el o#3etivo educacional y el desarrollo de destrezas y ha#ilidades en el aula$ %sta situacin ha despertado gran inters en las instituciones educativas, empresas desarrolladoras de software, ingenieros de software, dise4adores grficos y en fin, su amplia co#ertura en el tema educativo y el inters despertado por esta audiencia ha motivado a que en la actualidad se desarrollen muchas investigaciones alrededor del tema de la evaluacin de software educativo$ E,A-*AC&+N )E S(.'/A$E EN E- C(N'E0'( E)*CA'&,( La evaluacin en el medio educativo ha involucrado a algunos teoras, algunos han preferido la evaluacin cualitativa mientras que otros prefieren la evaluacin cuantitativa y hasta la cualicuantitativa$ Todo proceso de evaluacin incluye a algunos actores$ 5ero si #ien es cierto la evaluacin de software educativo es un proceso$ )omo todo proceso est apoyado en modelos, herramientas, tcnicas$ 5ara evaluar software educativo de#emos tener en cuenta modelos, mtodos, tcnicas y herramientas, lo importante es seleccionar la que vaya acorde al caso$ Todo esto de#e ser parte de un portafolio que el evaluador de#e tener para e3ecutar su tra#a3o$ Los o#3etivos de este tra#a3o investigativo son: ,$6 %sta#lecer una metodologa para evaluar software educativo -$6 5resentar un modelo de evaluacin de software generalizado 123 Metodologa ara evaluar software 7asada en el estndar ,8$+9+ y en otras metodologas para evaluar software se aplic una metodologa particular al caso que puede ser considerada como un aporte a las metodologas de evaluacin generalizada$ %sta metodologa consta de las siguientes partes: ,$,$6 %sta#lecimiento de la evaluacin ,$-$6 5lanificacin de la evaluacin EVALUACIN DE SOFTWARE Pgina 2 ,$9$6 %sta#lecer el (odelo de )alidad ,$:$6 ;eterminar la puntuacin<calificacin de los elementos que componen el modelo ,$8$6 %fectuar medicin ,$.$6 %sta#lecer resultados ,$=$6 5resentar nforme 12123 Esta#leci!iento de la evaluacin dentificada la necesidad del tra#a3o se de#e determinar el enfoque de la medicin$ %n esta fase se de#e: ,$,$,$6 ;eterminar o#3etivo de la evaluacin ,$,$-$6 %sta#lecer tipo de la evaluacin ,$,$9$6 dentificar el tipo de producto 1212123 )eter!inar (#jetivo de la evaluacin: )onsiste en relevar con el cliente el o#3etivo de la evaluacin$ %3: )omparar productos software educativos afines para determinar aquel que cumpla con las especificaciones 1212423 Esta#lecer 'io de evaluacin: )onsiste en identificar el tipo de evaluacin$ %sta puede ser: 5roducto o proceso 1212523 &dentificar el tio de roducto23 'e de#e identificar el 5roducto a evaluar sea ste: )omercial, desarrollado a medida, software li#re o gratuito, software rentado, alquilado, comprado<por comprar, entre otros 12423 %lanificacin de la evaluacin La planificacin implica organizar el tra#a3o a realizar$ Las principales actividades dentro de esta fase son: ,$-$,$6 %la#orar cronograma de la evaluacin ,$-$-$6 dentificar responsa#les EVALUACIN DE SOFTWARE Pgina 3 ,$-$9$6 ;eterminar roles ,$-$:$6 %la#orar contrato !%n el caso de una evaluacin comercial" o acuerdo !para software no comercial" >na e?plicacin detallada de estos componentes se muestra a continuacin$ ,$-$,$6 %la#orar cronograma de la evaluacin$6 %n esta fase se de#e ela#orar un cronograma tentativo pero que se definan las principales actividades a realizar ,$-$-$6 dentificar responsa#les$6 %n esta etapa se definir el recurso humano que intervendr en el proyecto$ %3emplo: evaluadores, docentes, alumnos, tcnicos, pedagogos, andragogos, entre otros dependiendo del tipo de software educativo a usar ,$-$9$6 ;eterminar roles$6 &qu se determinan las actividades y< tareas que van a desarrollar por cada uno de los integrantes del proyecto$ ,$-$:$6 %la#orar contrato o acuerdo$6 %n esta actividad se esta#lecen los parmetros contractuales de la medicin que se documentarn en el contrato o acuerdo$ 12523 Esta#lecer el Modelo de Calidad %l modelo creado para evaluar software educativo se #asa en estndares internacionales$ %ste modelo dise4ado a medida pero que puede ser considerado en un conte?to general considera cuatro niveles a la hora de evaluar software$ %stos niveles son: @ivel A: Tipo de )alidad @ivel ,: )aractersticas @ivel -: 'u#caractersticas @ivel 9: (tricas @ivel :: ndicadores 1252123 )eter!inar el tio de calidad6 las caractersticas6 su#caractersticas6 !7tricas e indicadores EVALUACIN DE SOFTWARE Pgina 4 Nivel 8: 'io de calidad 9M7tricas de %roducto : !7tricas roceso; %n el enfoque glo#al el modelo de calidad est centrado en mtricas de proceso y mtricas de producto$ Las mtricas de producto se #asan en la familia '* +,-., %%% ,:,:9, '* -A$AAA que contiene mtricas internas, e?ternas y de calidad en uso$ Las mtricas de proceso resumen los aspectos comunes de los siguientes estndares )*7T, '* ,==++, '* -=AA,, )((, '* ,88A:, %%% ,A::, TL, '* -AAAA, entre otros$ Nivel 1: Caractersticas %ste modelo considera todas las mtricas de calidad interna, e?terna y de uso agrupadas #a3o la denominacin de caractersticas Bigura ,$6 (odelo de )alidad de la '* +,-. %n este nivel se escogen las caractersticas deseadas en la evaluacin del software educativo, pueden ser todas o aquellas que el equipo evaluador considere relevante o tam#in se pueden incluir particularidades del software educativo segCn corresponda Nivel 4: Su#caractersticas EVALUACIN DE SOFTWARE Pgina 5 5ara armar el modelo lo primero que hacemos es esta#lecer este nivel que lo componen los atri#utos del producto, para ello es aconse3a#le listar todos los atri#utos que de#e reunir el software ideal que para el modelo constituyen las su#caractersticas, luego de validarlas con el cliente y o#tener su aceptacin procedemos a incluirlas en nuestra matriz del modelo de calidad de software #a3o la denominacin de su#caractersticas Nivel 5: M7tricas 5ara cada su#caracterstica esta#lecemos las frmulas o medidas que usaremos para poder llegar a determinar el grado de cumplimiento de las su#caractersticas$ Nivel <: &ndicadores &plicada las frmulas llegamos a calcular el nCmero resultante o#tenido que puede ser un nCmero, un porcenta3e, un numerador y un denominador, en fin la medida en la cual las su#caractersticas se cumplan 5ara documentar cualquier ane?o o papel de tra#a3o que descri#a el modelo de calidad esta#lecido se usarn los siguientes cdigos asignados a caractersticas y su#caractersticas: ,$ 'e usarn las dos primeras letras para referenciar a la caracterstica -$ 'e usarn las tres primeras letras para referenciar a la su#caracterstica 9$ 'e usarn las tres primeras letras para referenciar a categoras dentro de la su#caracterstica :$ 'e usar el cdigo anterior ms un nCmero secuencial en orden ascendente para referenciar a cada atri#uto de una su#caracterstica 8$ 'e usar un nCmero secuencial en orden ascendente para referenciar a cada papel de tra#a3o .$ )ada papel de tra#a3o de#er llevar el cdigo del atri#uto relacionado adems del nCmero antes indicado en el prrafo anterior %l modelo descrito en dos niveles es el que se presenta a continuacin: Ta#la ,$6 (odelo de calidad: )aractersticas y su#caractersticas CODIG O CARACTERISTI CA CODIG O SUBCARACTERISTICA FU FUNCIONALIDA ADE ADECUACION EVALUACIN DE SOFTWARE Pgina 6 D EXA EXACTITUD INT INTEROPERABILIDAD SEG SEGURIDAD DE ACCESO FI FIABILIDAD MAD MADUREZ TFA TOLERANCIA A FALLOS REC RECUPERABILIDAD US USABILIDAD ENT ENTENDIMIENTO APR APRENDIZAJE OPE OPERABILIDAD ATR ATRACCION EF EFICIENCIA CTI COMPORTAMIENTO EN EL TIEMPO URE UTILIZACION DE RECURSOS MA CAPACIDAD DE MANTENIMIENT O CAN CAPACIDAD DE SER ANALIZADO CAM CAMBIABILIDAD EST ESTABILIDAD FPR FACILIDAD DE PRUEBA PO PORTABILIDAD ADAP ADAPTABILIDAD FIN FACILIDAD DE INSTALACIN COE COEXISTENCIA REE REEMPLAZABILIDAD EF EFECTIVIDAD LME LOGRAR METAS PR PRODUCTIVIDA D TCT TIEMPO PARA COMPLETAR TAREAS RET REDUCCION DE ESFUERZO DE TRABAJO ETA EJECUCION EN TIEMPOS ADECUADOS Y CONSTANTES SE SEGURIDAD DE USO CCO CAMBIO DE CONTRASEAS PERIODICO AUC ADMINISTRACION DE USUARIOS Y EVALUACIN DE SOFTWARE Pgina 7 CONTRASEAS ACC ADMINISTRACION CENTRALIZADA DE CONTRASEAS SA SATISFACCION NSU NIVEL DE SATISFACCIN DEL USUARIO CMS CONFIANZA EN EL MANEJO DEL SOFTWARE COS CONOCIMIENTO OPERACIONAL DEL SOFTWARE AAI ACCESIBILIDAD A LA INFORMACION EBR ENTRENAMIENTO BRINDADO STE SOPORTE TECNICO MIN MENSAJERIA INSTANTANEA 12<23 )eter!inar la untuacin=calificacin de los ele!entos "ue co!onen el !odelo 'e de#e precisar los criterios de valoracin esta#lecidos por niveles$ Nivel 8: 'ios de calidad La escala de puntuacin la esta#lece el personal tcnico con un punta3e de ,AA, de los cuales distri#uye apropiadamente de acuerdo al enfoque de la medicin$ 5ara el nivel A se determina: M7tricas de roducto .A puntos para mtricas de calidad interna y e?terna, -A puntos para las mtricas de calidad de uso Las mtricas de calidad interna y e?terna son tomadas del modelo '* +,-. y permiten evaluar criterios necesarios de todo software educativo tal como lo incluy en su de#ida poca el modelo de (c)all y que est vigente aCn en nuestros das$ M7tricas de roceso Las mtricas de proceso se consideran en el modelo Cnicamente si la evaluacin de software educativo se lo hace para la empresa o institucin educativa desarrolladora de dicho aplicativo y si es que se considera evaluar el mantenimiento del software educativo en el tiempo$ EVALUACIN DE SOFTWARE Pgina 8 %n el modelo planteado se asign -A puntos para &spectos de la &dministracin de sistemas, que constituyen la #ase que soporta el uso del aplicativo y su mantenimiento en el tiempo, si este es el criterio a incluirD puede ocurrir que en algunos casos estas mtricas no se tengan que incluir en el modelo, por ello los ,AA puntos en los que califica el modelo se de#ern distri#uir Cnicamente en las mtricas de producto Nivel 12 Caractersticas %n este nivel se distri#uye el punta3e asignado en el nivel A acorde a criterios de la evaluacin$ %ste punta3e es sugerido por el personal tcnico pero de#e estar de#idamente apro#ado por el cliente$ ;e las mtricas de producto tres caractersticas fueron consideradas preponderantes para el caso y stas fueron: Buncionalidad, usa#ilidad y fia#ilidad a la cual le otorgamos el mayor punta3e de una calificacin de EA puntos y los -A restantes fueron asignadas a las mtricas de proceso, tal como se o#serva en las siguientes ta#las$
Ta#la -$6 Felevancia entre factores de calidad6)aractersticas por 5roducto
Caractersticas or %roducto %untaje
B>@)*@&L;&; -A
>'&7L;&; ,-
B&7L;&; +
%B)%@)& E
'&T'B&))*@ E
)&5&);&; ;% (&@T%@(%@T* .
5F*;>)TG;&; .
5*FT&7L;&; 8
%B%)TG;&; 9
'%H>F;&; ;% >'* 9
'('A- EA
EVALUACIN DE SOFTWARE Pgina 9
Ta#la 9$6 Felevancia entre factores de calidad 6 )aractersticas por 5roceso
Caractersticas or %roceso %untaje
5L&@B)&)I@ ;% ''T%(&' 8
*FH&@J&)I@ 8
)*@TF*L%' H%@%F&L%' :
(%T*;*L*H& ;% ;%'&FF*LL* ;% ''T%(&' -
%@TF%H& % (5L%(%@T&)I@ ;% ''T%(&' -
&;(@'TF&)I@ ;% L& ;*)>(%@T&)I@ -
'('A- -A
Nivel 4: Su#caractersticas %n este nivel el personal del equipo de evaluadores esta#lece los punta3es de valoracin repartidos apropiadamente pero que en total de#en sumar el valor apro#ado por el cliente en el nivel ,$ 5ara compro#ar el cumplimiento de cada su#caracterstica se aplicaron tcnicas de investigacin !%ntrevista y encuestas", as como prue#as tcnicas, administrativas y<o de cuestionario de relevamiento tcnico, las cuales tam#in tuvieron un peso en esta evaluacin acorde a criterios Ta#la :$6 %3emplo de distri#ucin de 5eso de nstrumentos usados en la evaluacin de software Cuestionario a usuarios %rue#a Ad!inistrativa Cuestionario de $eleva!iento '7cnico %rue#a de caja negra '('A- K 8A K 8A ,AA K 9A K -A K 8A ,AA K ,AA ,AA K ,AA K 8A K 9A K -A ,AA EVALUACIN DE SOFTWARE Pgina 10 K ,AA ,AA Tanto el cuestionario como las prue#as se de#en e3ecutar en nCmero mnimo de tres y se de#e determinar el peso relativo que de#en tener en la evaluacin, el cual se puede resumir de la siguiente forma: 'i en una su#caracterstica se aplican Cnicamente prue#as administrativas y<o cuestionario tcnico, estas tienen un punta3e de 8AL cada una, lo cual da un ,AAL de la evaluacin total, pero este porcenta3e de#e ser analizado por el equipo evaluador, y podra variar de acuerdo a cada componente y evaluador, tal como se aprecia en la ta#la anterior, por e3emplo aspectos educacionales pueden pesar ms que criterios tcnicos en un nivel y eso har que el porcenta3e mayor sea asignado al componente que a nuestro criterio tiene mayor peso que el otro$ Las entrevistas que se de#en realizar son de tipo tcnico respecto a las necesidades tanto educativas como informticas requeridas Las encuestas de#en ser destinadas a los usuarios o posi#les usuarios del software educativo as como podran aplicarse cuestionarios de relevamiento tcnico$ Las encuestas de#en usar preguntas con diversas escalas, las cuales pueden ser escalas dicotmicas o escalas de Li/ert, puesto que permiten valorar de me3or forma y con un criterio ms preciso las diversas percepciones de los usuarios o posi#les usuarios$ Las preguntas de escala usadas en el cuestionario plantean el nivel de apreciacin del encuestado, so#re una #ase de afirmaciones se pueden codificar con los valores esta#lecidos, acorde a la escala que se ad3unta: Ta#la 8: %scala de Li/ert de 8 niveles 'otal desacuerdo %arcial )esacuerdo Medio %arcial Acuerdo 'otal Acuerdo , - 9 : 8 Las prue#as de#en ser e3ecutadas so#re los productos software y ante la presencia de los solicitantes de la evaluacin$ EVALUACIN DE SOFTWARE Pgina 11 Las prue#as realizadas en el estudio plantean la evaluacin de cumplimiento de caractersticas relacionadas con los atri#utos evaluados, por lo que el procedimiento de valorizacin de cada prue#a consisti en: %valuacin ponderada y proporcin de cumplimiento$ Evaluacin onderada %l procedimiento planteado es: %sta#lecer un peso para cada caracterstica evaluada en la prue#a$ La suma de los pesos da un ,AAL$ La sumatoria de la multiplicacin del cumplimiento de la caracterstica con el respectivo peso$ Ta#la .: %3emplo de ponderacin %eso Cu!li!iento )aracterstica , 5, ), ;onde: )aracterstica - 5- )- ): representa el cumplimiento de la caracterstica, 'i !," y @o !A" )aracterstica 9 59 )9 M M M )aracterstica n 5n )n 5: ponderacin de la caracterstica, la suma de las ponderacin da ,AAL
Galor ponderado F La ponderacin se da de acuerdo al nivel de importancia de la caracterstica$ EVALUACIN DE SOFTWARE Pgina 12 %roorcin de cu!li!iento %l procedimiento planteado es: Ta#ular con N,O el cumplimiento de la caracterstica analizada y NAO en el caso contrario$ )ontar cuantos cumplimientos logrados y dividir para el nCmero de caractersticas totales$ Ta#la =: %3emplo de cumplimiento Cu!li!iento )aracterstica , , )aracterstica - , )aracterstica 9 A MM$ M$$ )aracterstica n ,
5roporcin A,=8 L )umplimientoP !),Q)-Q)9QM$$)n"<n R,AA Nivel 5: M7tricas S & cada mtrica seleccionada le asignar un punta3e m?imo de referencia$ S La suma de los punta3es m?imos de todas las mtricas de#er ser igual a ,AA puntos$ 'lo se usarn nCmeros enteros en la puntuacin de cada caracterstica y su#caracterstica Todos los punta3es sern referidos como punta3e esta#lecidos, en todos los niveles$ 12>23 Efectuar !edicin 5ara la medicin, las caractersticas, su#caractersticas, mtricas e indicadores seleccionados o esta#lecidos en el modelo de#en ser evaluados y por ello se aplica la EVALUACIN DE SOFTWARE Pgina 13 medicin a travs de todos los instrumentos dise4ados y considerados dentro del modelo$ Los valores o#tenidos al efectuar la medicin sern denominados punta3es o#tenidos y son e?presados en funcin de las escalas esta#lecidas previamente$ %n la e3ecucin de la medicin puede ocurrir que una caracterstica, su#caracterstica, mtrica o indicador no alcance el punta3e esta#lecido pero en su defecto nunca podr ser de mayor valor$ %n la e3ecucin de las mediciones se e3ecutan todas las prue#as esta#lecidas para el modelo$ %?isten varios tipos de prue#as, entre los que se destacan: 5rue#as de carga m?ima, 5rue#as de almacenamiento, 5rue#as de tiempo de e3ecucin, 5rue#a de recuperacin, 5rue#a de procedimientos, 5rue#a de factores humanos, 5rue#as de usa#ilidad, 5rue#as de smo/e !'istema", 5rue#as de unidad o unitarias, 5rue#as de integracin, 5rue#as funcionales, 5rue#as de configuracin e instalacin, 5rue#as de ca3a negra 5rue#as de sentencia, 5rue#as de rendimiento, 5rue#as de #ac/ground, 5rue#as de estrs, 5rue#as de recuperacin de errores, 5rue#as de seguridad, 5rue#as de multiusuario, 5rue#as de configuracin, 5rue#as de instalacin y otras de acuerdo a las necesidades de la evaluacin %n este caso se aplicaron para definir este modelo los siguientes instrumentos: prue#as de ca3a negra, prue#as administrativas, cuestionario de relevamiento tcnico, encuestas dirigidas a usuarios y entrevistas de confirmacin con el personal tcnico$ Todas ellas con la respectiva puntuacin asociada a la caracterstica, su#caracterstica, mtrica e indicador$ 12?23 Esta#lecer resultados 5ara esta#lecer los resultados tomamos en una matriz todo el modelo de calidad y registramos ah el valor medido u o#tenido$ %sta matriz de resultados permite comparar con los criterios predeterminados en el modelo y contrastar as los punta3es esta#lecidos y o#tenidos por cada producto software educativo evaluado$ %ste cuadro de resultados permite apreciar los resultados finales y nos ayuda a determinar el producto que cumple con las especificaciones$ Ta#la E$6 (atriz del (odelo de calidad para un software educativo 'io de Caractersticas Su#caractersticas M7tricas &ndicadores %E %( EVALUACIN DE SOFTWARE Pgina 14 Calidad 'i se considera dos software en la evaluacin la ta#la sufre ciertas modificaciones$ Ta#la +$6 (atriz del (odelo de calidad para dos software educativo 'io de Calidad Caractersticas Su#caractersticas M7tricas &ndicadores %E %(1 %(4 ;onde 5% es el punta3e esta#lecido para cada nivel y 5* el punta3e o#tenido luego de la aplicacin de los instrumentos as como su respectiva ta#ulacin y medicin$ La valoracin, que resume un con3unto de niveles calificados, es el paso final del proceso de evaluacin del software$ 'i el punta3e total sumando todas las caractersticas de la evaluacin es superior a =A<,AA recomendamos la aplicacin del producto software educativo, caso contrario no podemos recomendar el uso o aplicacin del mismo$ 'i se evalCan dos software educativos, se recomendar el uso de aquel que o#tenga el mayor punta3e$ 12@23 %resentar &nfor!e Todo el proceso de evaluacin es documentado$ %l documento final que es el informe de la evaluacin ser apro#ado por los representantes de la empresa o institucin educativa$ %?isten dos instancias de presentacin$ >na es la presentacin del #orrador del informe y la otra es la entrega del informe final$ &s mismo se de#e presentar dos tipos de informes escritos, el informe e3ecutivo y el informe analtico$ %l informe e3ecutivo se presentar como m?imo en una ho3a y muestra el resultado de la evaluacin mientras que el informe analtico de la EVALUACIN DE SOFTWARE Pgina 15 evaluacin presentar toda la documentacin asociada a la evaluacin, es decir las evidencias del tra#a3o realizado, formatos de prue#as, prue#as aplicadas, capturas de pantallas, cuestionarios aplicados, en fin todos los instrumentos usados y la documentacin asociada que e?plica de forma pormenorizada el tra#a3o realizado$ >n detalle importante de la evaluacin que de#e estar includo en el informe analtico es el que se muestra a continuacin$ Ta#la ,A: nstrumentos aplicados &nstru!entos )escricin )uestionario %valuacin de los atri#utos por parte del operador calificado$ 5rue#as de )a3a @egra %valuacin de mdulos y funcionalidades de atri#utos por parte del equipo auditor Lista de verificacin %valuacin de aspectos relacionados con los atri#utos por parte del equipo auditor$ 5rue#a administrativa %valuacin del cumplimiento de atri#utos por parte del equipo auditor$ %n este ane?o que de#e estar incluido en el informe se muestra una e?plicacin de los instrumentos usados en la evaluacin y el o#3etivo del uso del mismo, as como de#e precisar que informacin se recogi en ellos$ C(NC-*S&(NES %ste modelo sirve para evaluar cualquier tipo de software educativo y permite cuantificar la calidad del producto software a travs del uso de prue#as de ca3a negra, prue#as administrativas, cuestionario de relevamiento tcnico, encuestas dirigidas a usuarios y entrevistas de confirmacin con el personal tcnico o desarrollador de la herramienta, los mismos que dan informacin de la calidad del producto software, la cual resume valores cualicuantitavos del modelo de calidad esta#lecido$ $E.E$ENC&AS 7arroso, T$, (edel, T$ y Galverde, T$ !,++="$ %valuacin de medios informticos$ >na escala de evaluacin para software educativo$ )ongreso %dutec +=$ EVALUACIN DE SOFTWARE Pgina 16 7ostoc/, '$ !,++E"$ %valuating chec/list$ %valuating training software$ Lancaster >niversity$ )ataldi, J$ !-AAA"$ (etodologa de dise4o, desarrollo y evaluacin de software educativo$ Tesis de (agster en nformtica$ !Gersin resumida"$ Bacultad de nformtica$ >niversidad @acional de La 5lata$ &rgentina$ '7@ +.A69:6A-A:6-$ )ova, &$ y &rrieta, K$ !-AAE"$ (odelo de evaluacin de software educativo en el rea de la fsica$ Tesis doctoral indita$ >niversidad del Julia$ ;octorado en )iencias Uumanas$ (aracai#o, Genezuela$ Haln, %$ !-AA."$ %l guin didctico para materiales multimedia$ %spculo$ Fevista de estudios literarios$ >niversidad )omplutense$ (adrid$ %spa4a$ Halvis, &$ !-AAA"$ ngeniera de 'oftware %ducativo$ )olom#ia$ %diciones >niandes$ -V reimpresin$ (artnez, B$, 5rendes, ($, &lfageme, ($, &mors, L$, Fodrguez, T$ y 'olano, $ !-AA-"$ Uerramienta de evaluacin de multimedia didctico$ ;epartamento de ;idctica y *rganizacin %scolar$ >niversidad de (urcia, %spa4a$ Revista Pxel !it, @W ,E$ *wston, F$ ;$ !,+E="$ "o#t$are %valuation& a 'riterion!ased Approach$ 'car#orough: 5rentice6Uall$ Fepraz, )h$D 'o#rino, &$ y 'antiago, F$ !,++E"$X%scala de evaluacin de calidad educativa de software multimediaX$ Foig, F$ !,++="$ (odelos de evaluaci)n de so#t$are educativo$ Tesis doctoral$ >niversidad de Galencia$ 'antiago, F$ !,++E#"$ %valuaci)n de so#t$are educativo multimedia& Pro*ecto P%(+,$ 'oto, B$ y Hmez, ($ !-AA-"$ %G&LY&: >n instrumento de evaluacin de recursos multimedia para la atencin a la diversidad$ Z;ocumento en lnea[ EVALUACIN DE SOFTWARE Pgina 17