Curso de Posgrado
Universidad Nacional de San Luis / La Rioja / Catamarca
Ingeniería Web: Marco de
Medición y Evaluación de Calidad
Contenidos
Parte III
• Componentes de la Evaluación
Dr. Luis Olsina
• Procesos Medición-Evaluación
• Taxonomía de Métodos/Técnicas
GIDIS_Web, Facultad de Ingeniería,
UNLPam, La Pampa - Argentina
TE 02302 430497 Ext. 6501
E-mail [email protected]
© 2007 GIDIS_Web
Esquema
• Componentes de la Evaluación
• Procesos de Evaluación
• Taxonomía de Métodos y Técnicas
Beneficios de la Evaluación
 Beneficios
Comprender, Analizar (los atributos de un ente)
Controlar (la calidad del producto, …)
Predecir (el tiempo y costo de un proyecto)
Mejorar (la calidad de un producto, proceso …)
 Conceptos Medibles (Factores)
Calidad, Calidad en Uso, Productividad, Costo …
 Fases del Ciclo de Vida del Software
Exploración, Desarrollo, Mantenimiento.
Componentes en la Evaluación
 Requerimientos de Evaluación
Metas, Restricciones (Seguridad, Disponibilidad, etc.)
Especificación de Requisitos, Definición de Criterios,
Técnicas, Métricas, Indicadores…
 Captura de Datos
Recolección de Datos
– Automática, Semiautomática, Manual
 Análisis
Técnicas Estadísticas, Visualización Gráfica, Tablas, etc.
Interpretación de los datos.
 Recomendaciones
Doc. de Conclusiones, Propuestas de Mejora
Esquema
• Componentes de la Evaluación
• Procesos de Medición/Evaluación
• Taxonomía de Métodos y Técnicas
Estándares ISO sobre Medición…
 Diversos Estándares (principalmente ISO) tratan
sobre




el modelo de calidad de software (ISO 9126),
el proceso de medición (ISO 15939),
el proceso de evaluación (ISO 14598)
otros
 Con frecuencia, no existe un claro consenso entre
los mismos términos en diferentes documentos o, a
veces, términos ausentes
 Necesidad de una Ontología para el dominio de
Métricas e Indicadores (y Procesos de
Medición/Evaluación)
Modelo de Medición
(ISO/IEC
15939)
Info r m a tio n N e e ds
Info r m ati o n
P r o duc t
T he outc om e of the m eas urem ent proc es s that
s atis fies the inform ation needs
I n te rpre tation
Explanation relation the quantitative inform ation in
the indic ator to the inform ation needs in the
language of the m eas urem ent us ers
Indi c ato r
Variable as s igned a value by applying the analys is
m odel to bas e and/or derived m eas ures
(Anal ys i s )
M o de l
D e r i ve d
M e as ur e
M e as ur abl e
C o nc e pt
E ntity
Algorithm for c om bining m eas ures and dec is ion
c riteria
D e r i ve d
M e as ur e
M e as ure m e nt
F unc tio n
B as e
M e as ur e
B as e
M e as ur e
Me as u r e m e n t
Me th od
Me as u r e m e n t
Me th od
Attr i bute
Attr i bute
Variable as s igned a value by applying the
m eas urem ent func tion to tw o or m ore
values of bas e m eas ures
Algorithm for c om bining tw o or m ore bas e m eas ures
Variable as s igned a value by applying the m ethod
to one attribute
O perations m apping an attribute to a s c ale
P roperty relevant to inform ation needs
Proceso de Evaluación
 Los Procesos para Evaluación de la ISO que
pasaremos a describir, son en su especificación
original suficientemente genéricos y abstractos
personalizables a las distintas necesidades del
proceso de evaluación de calidad de artefactos de
software y artefactos Web
 Los Procesos para Evaluación no prescriben ni
recomiendan métodos ni procedimientos
específicos para realizar las actividades sino que
representan un marco conceptual genérico.
Proceso de Evaluación
 Fases o etapas fundamentales del Proceso
de Evaluación definido en el Estándar ISO
9126 del 1991.
Definición de Requerimientos de Calidad
Preparación de la Evaluación
Ejecución de la Evaluación
Proceso de Evaluación ISO 9126-1991
Niveles de Aceptabilidad
en ISO 9126
Proceso de Evaluación
 Fases o etapas fundamentales del Proceso
de Evaluación definido en el Estándar ISO
14598 del ‘98.
Establecimiento de los Requerimientos de
Evaluación
Especificación de la Evaluación
Diseño de la Evaluación
Ejecución de la Evaluación, y
Conclusión de la Evaluación
Proceso de Evaluación ISO 14598-5
Proceso de Evaluación ISO 14598-5
 1 Establecimiento
Evaluación.
de
los
Requerimientos
de
Objetivo: el propósito de este proceso es describir las
metas de la evaluación.
Tales metas se relacionan con el uso del artefacto en
consideración de uno o varios puntos de vista de
usuario y los riesgos asociados
El dominio de la aplicación del producto a evaluar debe
ser considerado; aspectos críticos como seguridad,
económicos, legales o de contexto deben ser tomados
en cuenta.
Proceso de Evaluación ISO 14598-5
 1. Nombre de los Subprocesos para Establecimiento
de los Requerimientos de Evaluación .
1.1 Proposición de los requerimientos por parte del
solicitante
1.2
Declaración del grado de cobertura en la
evaluación por parte del solicitante
1.3 Soporte del solicitante en analizar la meta de la
evaluación y en describir los requerimientos con el
evaluador
1.4 Explicación del grado de confianza y rigor de la
evaluación al evaluador
1.5 Acordar los requerimientos de evaluación
Proceso de Evaluación ISO 14598-5
 2 Especificación de la Evaluación.
Objetivo: este proceso consiste en definir el
alcance de la evaluación y las mediciones a
realizarse en los atributos del artefacto a
evaluar y sus componentes.
El nivel de detalle de la salida (el documento de
especificación de la evaluación) debe ser tal de
modo que se asegure la repetitividad y
reproducibilidad del proceso
Proceso de Evaluación ISO 14598-5
 2. Nombre de los Subprocesos
Especificación de la Evaluación.
para
2.1 Analizando la descripción del producto
2.2 Especificando las mediciones
2.3 Verificando las especificaciones producidas
en consideración con los requerimientos
Proceso de Evaluación ISO 14598-5
 3 Diseño de la Evaluación.
 Objetivo: consiste en documentar los métodos y
procedimientos a utilizar por el evaluador para realizar
las mediciones y verificaciones contenidas en el
documento de especificación de la evaluación.
 El evaluador producirá como resultado de este proceso
el plan de la evaluación que describe los recursos
necesarios (humanos, materiales, tecnológicos, etc.) y
la distribución y asignación de los mismos a las
actividades.
Proceso de Evaluación ISO 14598-5
 3. Nombre de los Subprocesos para Diseño de
la Evaluación.
 3.1
Documentando
los
métodos
y
procedimientos de evaluación y produciendo un
plan
3.2 Programando las actividades conforme a
los recursos disponibles
Proceso de Evaluación ISO 14598-5
 4 Ejecución de la Evaluación.
Objetivo: el objetivo de este proceso consiste
en obtener los resultados al realizar todas las
acciones para medir y verificar el producto
conforme a los requerimientos de evaluación,
según lo especificado y planeado.
 Al final del proceso se completan los registros
de evaluación y el borrador del informe de
evaluación.
Proceso de Evaluación ISO 14598-5
 4. Nombre de los Subprocesos para Ejecución de la
Evaluación.
4.1 Administrando los componentes del producto
provistos por el solicitante
 4.2 Administrando los datos producidos por la
evaluación (incluyendo registros e informes)
 4.3 Administrando las herramientas necesarias por la
evaluación
4.4 Administrando las acciones de evaluación fuera del
sitio acordado
4.5 Administrando los requerimientos surgidos por el
uso de técnicas específicas
Proceso de Evaluación ISO 14598-5
 5 Conclusión de la Evaluación.
Objetivo: este proceso consiste en la revisión
del borrador entre las partes (solicitante y
evaluador) y en poner a disponibilidad los
documentos finales.
Subproceso 5.1 Revisión conjunta del informe
de evaluación:
Proceso de Evaluación
Comentarios Finales
 Proceso de Evaluación suficientemente genérico
y abstracto
 Especifica detalladamente, a procesos y
subprocesos, entradas, salidas, y puntos de
control para cada uno de los cinco procesos.
 No prescribe ni recomienda, metodologías,
métodos, técnicas ni herramientas específicas
para realizar las actividades sino que
representan un marco conceptual genérico.
Esquema
• Componentes de la Evaluación
• Procesos de Evaluación
• Taxonomía de Métodos y Técnicas
Clases de Métodos de Evaluación
Categorías de Métodos
 Testing
 Inspección
 Consulta (Inquiry)
 Modelado Analítico
 Simulación
 Los Métodos y Técnicas a Aplicar pueden ser:
Cuantitativos versus Cualitativos
Automáticos, Semiautomáticos o Manuales
 Desde Fácil a Difícil de Usar y Aprender
Tipos de Métodos de Evaluación
Tipos de Métodos y Técnicas
 Protocolo Thinking Aloud
 Análisis de Log Files
 Evaluación Heurística
Revisión de Guías
 Inspección de Características y Atributos
En cumplimiento de estándares (ISO 9126)
 Entrevistas
 Cuestionarios
 Análisis Cognitivo de Tareas
Modelos Programables de Usuario, …
Taxonomía de Métodos de Evaluación
Clase de Método
-- Testing
-- Inspección
-- Consulta, ...
Tipo de Método
Taxonomía
de Métodos de
Evaluación
-- Análisis de Log Files
-- Evaluación Heurística
-- Evaluación de Características, ...
Tipo de Automatización
-- Manual
-- Semi-Automático
-- Automático
Nivel de Esfuerzo
-- Fácil de Usar, Aprender
-- Efectivo, Preciso
-- Rango de Aplicabilidad
Fase
-- Requerimientos
-- Captura
-- Análisis
-- Recomendaciones
Ejemplo de Método de Evaluación
Clase de Método
-- Inspección
Tipo de Método
-- Revisión de Guías
Bobby
www.cast.org/bobby
Tipo de Automatización
-- Automático
Nivel de Esfuerzo
-- Fácil de Usar, Aprender
-- Efectivo
Fase
-- Captura
-- Análisis
-- Recomendaciones
Descripción de Métodos de Evaluación
Tipo de Método: TESTING
Descripción
Protocolo Thinking Aload
Los usuarios conversan en voz alta
durante el test, por ejemplo durante un test
de Interface de Usuario.
Extensión del anterior, en donde el tester
pregunta al usuario
Cuán rápido es el sistema? Y con carga? Y
llegado a niveles de stress?
El tester o el software analiza el registro de
datos, que refleja lo que el usuario hizo
Protocolo de Realizar Preguntas
Testing de Performance del Sistema
Análisis de Web Log Files
Testing Remoto
Los testers y usuarios no están en el
mismo lugar físico
Testing de Código, Caja Negra y
Caja Blanca
Se testean componenetes de software,
revisando el código o simplemente la
funcionalidad a partir de entradas/salidas
Testing de Contenido
Se prueba la relevancia, consistencia,
precisión, etc. de los contenidos
Técnicas de Evaluación para Testing
 Testing de Performance del Sistema
métricas como Tiempo de Respuesta, Rendimiento, etc.
 Testing de Performance del Usuario
métricas como Tiempo para Completar una Tarea, Tasa
de Exito para Completar Tareas (Success Rate)
 Análisis de Web Log Files
métricas como Visitas por Páginas, Páginas por Visita
 Otras Técnicas de Testing
Descripción de Métodos de Evaluación
Tipo Método: INSPECCION
Descripción
Revisión de Guías
Los evaluadores (expertos) chequean la
conformidad del producto con un conjunto
due guías establecidas.
Los expertos identifican violaciones a una
lista de heurísticas . Es un método informal
Se reúne un equipo de inspectores (tester,
desarrollador,etc.) y chequean un producto
Los evaluadores miden al ente a partir de
atributos y características (Usabilidad, etc.)
Evaluación Heurística
Inspección Formal
Inspección de Características
Inspección de Estándares
Los evaluadores valoran atributos de
características para analizar la
conformidad con estándares (ISO, CMM)
Técnicas de Evaluación para Inspección
 Revisión de Guías,
Por ej., Guías de Accesibilidad WAI
http://www.w3.org/TR/WAI-WEBCONTENT/
 Evaluación Heurística,
Por ej., J. Nielsen http://www.useit.com/alertbox
 Inspección de Características
Por ej., ISO 9126, métricas para Confiabilidad,
Eficiencia, etc.
 WebQEM
 Otras Técnicas de Inspección
Descripción de Métodos de Evaluación
Tipo de Método: CONSULTA Descripción
Observación de Campo,
Entrevista Contextual
Entrevista
Cuestionarios
Feedback del Usuariuo
Grupos Focalizados
Los evaluadores visitan el lugar de trabajo
de los usuarios y observan su trabajo.
Puede entrevistar a los mismos
Es una sesión de discusión ente el usuario
y el entrevistador. Estructurada, o no
Es un instrumento de medición para captar
por ej. Satisfacción del usuario, etc.
Es un medio por el cual el usuario deja sus
comentarios y sugerencias
Grupo de cinco a diez usuarios, donde se
discuten aspectos del producto. El
evaluador juega el rol de moderador
Técnicas de Evaluación para Consulta
(Inquiry)
 Entrevistas
Estructuradas, Semiestructuradas
 Surveys
 Cuestionarios
Abiertos, Cerrados, etc.
http://www.acm.org/~perlman/question.html
http://www.ucc.ie/hfrg/
 Retroalimentación de Usuarios
 Otras Técnicas de Consulta
Descargar

LABORATORIO