Evaluación de
Usabilidad y
Experiencia de Usuario
Aldo Gordillo, Enrique Barra
Departamento de Ingeniería Telemática
Universidad Politécnica de Madrid
¿Por qué es tan importante?
 Afecta a nuestra vida cotidiana
 Mundo empresarial: una buena usabilidad y
experiencia de usuario se traduce en un incremento
de beneficios y/o disminución de costes
 Su evaluación se ha convertido en una parte esencial
en el desarrollo de sistemas, productos y servicios
Tiene un rol importante en nuestras vidas…
Más ejemplos….

Cajero de un banco

Sistema de entretenimiento de vuelo

Shutdown de Ubuntu
Y más… Un microondas
Usabilidad y Experiencia de Usuario
 Usabilidad (Usability)
 La usabilidad se suele considerar como la facilidad con la
que un usuario utiliza un sistema o producto para realizar
una tarea de forma satisfactoria.
 Experiencia de Usuario (User Experience – UX)
 La experiencia de usuario abarca un campo más amplio,
considerando todos los aspectos de la interacción del
usuario con el sistema.
No cubre solamente la facilidad de uso sino también otros
aspectos como los pensamientos, emociones y
percepciones que resultan de la interacción.
Usabilidad vs Experiencia de Usuario
Usabilidad
 Calidad pragmática
•
Rendimiento
ej: tiempo empleado
en la realización de
tareas, % éxito
Experiencia de Usuario
 Calidad hedónica
•
Emociones
ej: frustración,
curiosidad
•
Satisfacción
 Parcialmente objetiva
 Altamente subjetiva
 Relativamente
persistente
 Intrínsecamente
dinámica
 Métricas estandarizadas
 No hay métricas
estandarizadas
Relación entre Usabilidad y Experiencia de Usuario
Fuente: Measurability and Predictability of User Experience (UX), Effie Law
Usabilidad y Experiencia de usuario
 Es posible evaluar y medir la usabilidad y experiencia
de usuario de un sistema o producto
•
Mediciones cualitativas
•
Mediciones cuantitativas
 Existen métricas para casi cualquier tipo de
fenómeno que se quiera evaluar
 Aunque hay quien pone en entredicho que la
experiencia de usuario pueda ser medida…
Métricas
 Una métrica es una forma de medir o evaluar de
forma cuantitativa un fenómeno u objeto.
Ej: tiempo (segundos), distancia (metros), peso (gramos), …

Observables

Cuantificables (números)
 Los campos de la usabilidad y experiencia de usuario
tienen sus propias métricas
Ej: éxito en las tareas (%), tiempo tareas (segundos), satisfacción

Estas métricas revelan algo acerca de la interacción entre
el usuario y el sistema
Tipos de métricas
 Eficacia
Ser capaz de realizar una tarea
 Eficiencia
Esfuerzo requerido para la realización de la tarea
 Satisfacción
El grado en el que el usuario estaba contento en cuanto a
su experiencia de uso durante la realización de la tarea
¿Para qué valen las métricas?

¿Les gustará el producto/sistema a los usuarios?

¿Este nuevo producto es más eficiente en cuanto al uso
que el producto actual?

¿Cómo es la usabilidad y experiencia de usuario de este
producto comparado con el de la competencia?

¿Cuales son los problemas de usabilidad más
significativos de este producto?
¿Para qué valen las métricas?
 Mejorar (detección y priorización de problemas)
 Predecir y prevenir puestas en producción de
sistemas poco usables
 Comparar (versión anterior, competencia, …)
 Fuente de información para la toma de decisiones
y cálculo del ROI (retorno de inversión)
Corazonadas / Los usuarios dicen vs Los usuarios hacen
 Entender mejor al usuario final
Recolección de métricas
 Existen diferentes métodos de evaluación en función
del tipo de métrica que se quiera obtener
 No tiene un coste excesivamente elevado en
términos de tiempo o dinero
 Es posible obtener datos fiables con una muestra
relativamente pequeña
 Existen métricas para casi cualquier tipo de
fenómeno que se quiera estudiar
 Es necesario diseñar un estudio de usabilidad
Diseñando un estudio de Usabilidad
1. ¿Qué tipo de participantes necesito?
2. ¿Cuántos participantes?
3. ¿Voy a comparar datos de un grupo de participantes,
o de varios?
4. ¿Es necesario ajustar el orden de las tareas?
1. Seleccionando participantes
1. Deben ser representativos de tu público/usuarios finales
ej: niños, ancianos, médicos, profesores, población general
2. Decidir si se quiere separar los participantes en grupos, y
elegir los grupos, por ejemplo, en función de:

Experiencia (principiante, intermedio, experto)

Frecuencia de uso (nº interacciones por semana)

Factores demográficos (sexo, edad, lugar, etc.)
1. Seleccionando participantes
3. Elegir una estrategia de muestreo

Muestreo aleatorio: selección equiprobable

Muestro sistemático: selección en base a un criterio predefinido

Muestro estratificado: selección para varios subgrupos

Muestras de conveniencia: seleccionar al que quiera participar
2. Tamaño de la muestra

¿Cuántos participantes necesito para mi estudio de usabilidad?
No hay reglas de oro.

El tamaño de la muestra necesario dependerá de los objetivos
de nuestro estudio y del margen de error que estemos
dispuestos a asumir.
 Sistemas complejos requieren más muestras
 Cuanto mayor sea la muestra menor será el error

El grado de confianza de la muestra se puede analizar
mediante estadística aplicada*
* El área de la estadística que se ocupa de inferir resultados sobre una
población a partir de una o varias muestras
2. Tamaño de la muestra
Si 8/10 participantes completan una tarea con éxito en un
test de usabilidad, ¿podemos decir que el 80% de la
población será capaz de completarla?
2. Tamaño de la muestra
Si 8/10 participantes completan una tarea con éxito en un
test de usabilidad, ¿podemos decir que el 80% de la
población será capaz de completarla?
No
2. Tamaño de la muestra
Si 8/10 participantes completan una tarea con éxito en un test de
usabilidad, podemos decir (con un 95% de confianza) que entre el
48% y el 95% de las personas de la población general será capaz de
completar la tarea con éxito.
Fuente: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics
3. Comparación de datos

Elegir el enfoque para el estudio de usabilidad
•
Estudio Within-Subjects
Para cada participante, se comparan diferentes datos
(ej: % éxito para diferentes diseños/versiones de un sistema)
Lo que varía entre medidas es el sistema.
•
Estudio Between-Subjects
Se comparan los datos entre los participantes
(ej: % éxito para diferentes grupos de edad)
Lo que varía entre medidas es el tipo de usuario.
•
Estudios Mixtos: Between & Within-Subjects
Se comparan datos entre participantes a lo largo de
diferentes diseños/versiones del sistema
3. Estudio Within-Subjects

Cada participante se compara consigo mismo, varía el
sistema
•
Las diferencias en las medidas no pueden ser atribuidas a
diferencias entre participantes

Útil para evaluar como de fácil/complicado aprenden los
usuarios a utilizar un sistema concreto

Pueden existir efectos de arrastre (práctica, fatiga) los
cuales deben ser contrarrestados
Por ej: especificar un orden de tareas diferente para cada
participante
3. Estudio Between-Subjects


Compara resultados de diferentes participantes
•
% éxito de Jóvenes vs Adultos vs Ancianos
•
tiempo empleado de Novatos vs Expertos
•
satisfacción de Hombres vs Mujeres
No es necesario contrarrestar los efectos de arrastre
porque afectan a todos los grupos por igual
4. Contrarrestando efectos de arrastre
 Puede ser necesario en estudios within-subjects
 Se puede conseguir siguiendo un orden de tareas
específico en el estudio
ej: Plan para un estudio con 4 participantes y 4 tareas
Fuente: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics
Datos coleccionados
 Tipos de datos
•
Nominal (“verde”, “rojo”, …)
•
Ordinal (“excelente”, “bueno”, …)
•
Intervalos (8/10 de opinión general, 2/5 en …)
•
Ratio (10 segundos, 0 errores, …)
 Cada tipo de dato debe tratarse/analizarse de forma
diferente
Datos coleccionados
 Al presentar los datos gráficamente, es esencial
utilizar el tipo de gráfico apropiado
•
Gráficos de barra/columna
•
Circulares (de tarta)
•
Gráficos de línea
•
Diagramas de dispersión
•
Gráficos de barras apiladas
Planificación de un estudio de usabilidad
1. Definir los objetivos del estudio
•
¿Evaluación formativa o sumativa?
•
Investigación
2. Escoger las métricas adecuadas
3. Presupuesto y calendario
4. Escoger métodos de evaluación
5. Escoger y conseguir participantes
6. Recolección y análisis de datos
Estudios de investigación de usabilidad

Objetivo: responder a las preguntas de investigación
• ¿Las personas mayores tienen más problemas para usar el
sistema?
• ¿Los expertos tardan menos tiempo que los novatos en
realizar las tareas?

Variable independiente
Es la que nosotros manipulamos (edad, grado de experiencia,
etc.) para responder a las preguntas de investigación

Variable dependiente
Todas aquellas que medimos al cambiar la variable
independiente. Todas las métricas: %éxito, tiempo, etc.

Debemos tener muy claras las variables independientes y
dependientes de nuestro estudio antes de realizarlo
Escoger las métricas adecuadas
Fuente: Measuring the User Experience: Collecting, Analyzing, and Presenting Usability Metrics
Métodos de evaluación
 Entrevistas individuales o en grupo
 Encuestas (papel/online)
 Sistemas de tracking (seguimiento)
 Evaluaciones realizadas por expertos
 Recolección de feedback (comentarios, sugerencias, …)

Más de 80 métodos: http://www.allaboutux.org
Entrevista individual
Eye Tracking (Seguimiento de Ojos)
Heatmaps (Mapas de calor)
Clickmaps (Mapas de click)
Scrollmaps (Mapas de scroll)
Face Reader (Lector de Caras)
Emocards (Medición de emociones)
Me interesa el tema…
¿Preguntas?
Aldo Gordillo - [email protected]
Enrique Barra - [email protected]
Descargar

Experiencia de Usuario