Introducción a la medición de los
resultados de la formación
corporativa
Debra McKinney Gehman
Congreso CLADE
Quito, Ecuador
12 de mayo de 2006
Objetivos
• Lograr con una visión general y
articulada sobre el tema.
• Diferenciar la “moda” de la “sustancia”.
• Poder hablar con los directivos de su
empresa de manera profesional sobre el
tema.
• Contar con información inicial y fuentes
de profundización, si desea iniciar.
PRIMER CAPÍTULO
La gerencia estratégica y la
medición
“[…] mientras la mayoría de los directivos
de empresa creen firmemente que el
aprendizaje es crucial, algunos tienen
serias dudas si la capacitación en la cual
invierten constantemente produce el
aprendizaje que verdaderamente apoya
al negocio.”
Running Training Like a Business, David Van
Adelsberg & Edward A. Trolley, Berrett-Koehler
Publishers, San Francisco, 2000, p. 3
ENFOQUES DIFERENTES
• Contenido
•
•
•
•
•
•
•
•
•
Costo
Conocimiento
Volumen
Participantes
Resultados del
negocio
Retorno
Desempeño
Valor
Mercado
Ibid., p.12
REGLAS DE JUEGO
DIFERENTES
• Demanda asegurada
• Operar dentro del
presupuesto
• Sostenido por la
organización
• Éxito = actividad
• Convivir con riesgo
• Maximizar utilidades
• Sostenido por el
cliente
• Éxito = resultado
Ibid., p.13
Sus factores de éxito en C&D
• Aclarar razón de existencia
del área: crear valor
• Partir de la estrategia de la
empresa
• Alinearse y enfocarse
• Responder a las necesidades
de sus clientes principales
• Aplicar una seria disciplina
de negocios
Ibid., p. 20
MITOS Y MIEDOS
“No puedo medir los resultados de la formación.”
¿Cómo puede afirmar que agrega valor?
“No sé qué información recolectar.”
Con buen diseño, ya es sencillo.
“No necesito justificarme; ya gozo de credibilidad.”
Evaluamos la función, no al individuo. Las
crisis no respetan las reputaciones.
“Medir el progreso hacia los objetivos es
suficiente.”
Los objetivos enfocan el contenido. ¿Cuál es
el impacto?
MITOS Y MIEDOS
“Mi jefe no lo pide. ¿Por qué revolver avisperos?
Sin datos objetivos, su trabajo depende de la
opinión de alguien.
“Hay demasiados variables.”
Aísle las variables que su área controla.
“Si no puedo calcular el ROI, no vale la pena.”
No se emplea ROI para 100% de los casos.
“Probablemente costaría demasiado.”
¡Cuesta más no hacerlo!
Jack J. Phillips, Handbook of Training Evaluation and Measurement Methods, 2nd. Ed.,
Gulf Pubishing Co., Houstin TX, 1991, pp. 1-5.
¡Ud. necesita un plan!
• ¿Qué va a evaluar? ¿Para qué?
• ¿A quiénes va a evaluar?
¿Participantes? ¿Docentes? ¿Diseñadores?
¿Individuos? ¿Equipos de trabajo?
• ¿Cuándo va a evaluar?
¿Antes? ¿Durante? ¿Después? ¿Una vez?
¿Periódicamente?
• ¿Qué hará con los resultados?
¡Ud. necesita un plan!
¿Quiénes reciben los resultados?
¿Para qué le sirven a Ud.? ¿A la empresa?
¿A los participantes? ¿A sus jefes?
La medición y la evaluación son
medios, no fines en sí mismos.
¡Si no tiene un plan, no empiece!
SEGUNDO CAPÍTULO
Algunos conceptos básicos
B/C, ROI… ¿de qué estamos hablando?
Vr. beneficios totales del programa
Vr. costos totales del programa
Vr. beneficios netos programa
Vr. costos totales programa
X 100
Las fórmulas anteriores nos indican
que…
• Debemos ser capaces de manejar
elementos básicos de costeo.
• Requerimos un sistema sencillo para
que todas las personas en nuestra área
puedan ingresar datos pertinentes.
• Debemos adoptar una actitud de
gestión activa y propositiva en nuestra
área, en vez de la tradicional postura
reactiva a necesidades.
EFICACIA
EFICIENCIA
MEDICIÓN
EFICIENCIA
• Encontrar y revelar costos escondidos.
• Reducir costos agresivamente.
• Construir y mantener sistemas y
procesos confiables.
• Operar como un costo variable, no
como un gasto fijo.
• Ser flexible y oportuno.
Van Adelsberg & Trolley, op. cit. p. 20.
EFICACIA
• Se relaciona con el valor percibido y la
ganancia tangible.
• Hay que segmentar sus clientes –
participantes, supervisores, directivos porque tienen sus propias prioridades.
• Se relaciona con la estrategia organizacional,
• Trata cada intervención como una transacción
de negocios.
Ibid., pp. 37-44
EFICIENCIA
EFICACIA
Estrategia
(plan estructurado)
Gestión
(costos, procesos)
MEDICIÓN
Mida lo importante
¿MEDICIÓN SUBJETIVA U OBJETIVA?
• Objetivo = real, verdadero, sin sesgo,
impersonal, alejado de sentimientos y
percepciones personales.
• Subjetivo = afectado por las opiniones,
limitaciones o sesgos de las personas que
interpretan los hechos.
Aún cuando existan hechos, las
explicaciones son subjetivas. LOS
NEGOCIOS EMPLEAN MUCHAS MEDICIONES
SUBJETIVAS.
Scott B. Parry, Evaluating the Impact of Training, ASTD, Alexandria VA, 1997, p. 82.
¿COMPROBACIÓN O CORRELACIÓN?
• “Comprobación” tiene tintes jurídicos, e
implica la posibilidad de encontrar una
relación causa-efecto.
• “Correlación” tiene un sentido
estadístico e implica causas multivariables.
Estamos trabajando con gente.
¿Qué nos sirve? ¿Qué es posible?
¿MEDICIÓN O CONFIANZA?
“[Cuando los directivos piden pruebas] creemos
que realmente buscan confianza. Después de
todo, si se sintieran seguros que la
capacitación satisfaciera las necesidades
importantes y estratégicamente significativas
del negocio, ¿pegarían la mesa y exigirían
valor precisamente medido? Creemos que
no.”
Van Adelsberg & Trolley, op. cit.., p. 17.
VALIDEZ Y CONFIABILIDAD
• La objetividad de los datos puede
establecerse al revisar su VALIDEZ (si es
verídico) y su CONFIABILIDAD (replicabilidad)
• Un resultado puede ser CONFIABLE (aparece
repetidas veces), sin ser VÁLIDO (verídico).
¡Ojo con las conclusiones alegres!
“echar números” no garantiza las
respuestas.
Parry, op.cit.
¿QUÉ CONCLUIMOS DE TODO ESTO?
• La medición y la evaluación resultante son
herramientas valiosas de gestión. Otorgan
credibilidad a nuestras actividades.
• El hecho de tener una respuesta numérica no
significa que ésta sea “verdadera” ni “mejor”.
• En nuestro campo, la medición subjetiva es
útil y la correlación es más común que la
comprobación.
• La medición toma tiempo y cuesta dinero.
Midamos lo que vale la pena, con
profesionalidad. Si no sabe, ¡infórmese!
TERCER CAPÍTULO
Una introducción a las herramientas
Primero, no todas las fallas no son
remediables mediante la capacitación
HUMAN PERFORMANCE IMPROVEMENT
MEJORA DEL RENDIMIENTO HUMANO
MEJORA DEL RENDIMIENTO HUMANO:
LOS PRINCIPIOS BÁSICOS
• Emplea un enfoque sistémico y basado
en resultados.
• Enfoca logros en vez de
comportamientos.
• Considera a la organización como un
sistema.
Ethan Sanders, “What is HPI?” en George M. Pisurich, ed., HPI Essentials.
ASTD, Alexandria VA 2002, pp. 2-7.
Análisis
del
negocio
Análisis
del
desempeño
Brecha
Estado real
desempeño
Análisis de causa
• Conocimiento
• Motivos
• Recursos físicos
• Estructura/procesos
• Información
• Bienestar
Evaluación
del resultado
HPI in the Workplace, ASTD, Alexandria, VA, 2000, II-5
Selección de
intervención
Implementación
de
intervención
Segundo, tenemos que entender cómo se
evalúa los resultados de la formación.
Los cuatro niveles de Donald Kirkpatrick
1. Reacción
2. Aprendizaje
3. Comportamiento
4. Resultado
Donald L. Kirkpatrick, Evaluating Traing Programs: The Four Levels, Berrett-Koehler,
San Francisco, CA, 1996, p. 23.
Reacción: “¿Cómo le pareció?”
• Ventajas
– Fácil de desarrollar y
aplicar
– Respuesta inmediata
– Permite tomar
acciones inmediatas
• Peligros
– Complacencia
inapropiada
– Inferir lo que no se
preguntó
– “Calificar al cirujano”
Aprendizaje: “¿Qué aprendió?”
• Identifica conocimientos, habilidades
y/o actitudes desarrolladas o
mejoradas.
• Ventajas similares al nivel 1.
• Requiere pruebas pre/pos siempre; se
aconseja grupos de control cuando sea
práctico.
Comportamiento: “¿Lo puede hacer
solo en el puesto de trabajo?”
• Problemas
– Resistencia
organizacional
– Imposibilidad de
predicción individual
– Continuidad o
reversión
• Consideraciones
– Cuándo evaluar
– Con qué periodicidad
evaluar
– Cómo evaluar
Resultados: “¿Se logró algún cambio
en la organización?”
•
•
•
•
Resultados concretos y claros
Beneficio- costo
Evidencia o comprobación
Documentación
La “gran pelea” - ¿4 niveles ó 5?
• Kirkpatrick dice que
ROI es parte del
nivel 4: resultado
• Phillips dice que el
ROI es el nivel 5, y
que nivel 4 es
cualitativo.
No importa mucho, mientras seamos
Consistentes al reportar en la empresa.
Tendencias de evaluación por nivel
•
•
•
•
•
Nivel
Nivel
Nivel
Nivel
ROI
1
2
3
4
100% programas
50%
30%
20%
10%
Jack J Phillips, ed., Measuring Return on Investment, vol 1, ASTD, Alexandria VA.
1998, p. 3
Tercero, independiente del número
de niveles, necesitamos un proceso
para llevar a cabo la medición y la
evaluación resultante.
Modelo para el proceso de valoración
Propósito
evaluación
Tabular
costo del
programa
Instrumentos
evaluación
Recolectar
datos
Momento de
evaluación
Aíslar los
efectos de
capacitación
Niveles de
evaluación
Convertir
datos a valor
monetario
Calcular ROI
Identificar
beneficios
intangibles
Jack J. Phillips, Return on Investment, Gulf Publishing Co., Houston TX, 1997, p. 25
CUARTO CAPÍTULO
¡La medición es el medio, no el fin!
Prepare el camino
• ¿La organización ya expresó
interés en el tema?
• ¿Existe una infraestructura formal de
medición en su organización? ¿Está
familiarizado con él?
• ¿Cuenta con una “padrino”
organizacional para esta actividad?
• ¿Cuáles son sus propios conocimientos
y habilidades en este campo? ¿Necesita
prepararse más?
Este es un proyecto, y
necesita un equipo
• Definición y capacitación del equipo de
trabajo
• Definición de políticas
• Definición de metas y cronograma
• Desarrollo de herramientas de apoyo
• Implementación de piloto
• Capacitación personal ARH y gerentes
• Implementación gradual
• Monitoreo y comunicación de resultados
Revise la calidad de sus insumos
• Análisis de necesidades – las
actividades innecesarias o irrelevantes
no agregan valor.
• Diseño instruccional – objetivos claros
• Implementación de buena calidad.
Entra basura…
…sale basura
Puede reportar sus datos de muchas
maneras…
• Informes “corrientes”
• Cuadro de mando integral (balanced
scorecard) y variantes (information
dashboard, HR scorecard, etc.)
NO SE DEJE CONFUNDIR EN EL PROCESO DE
MEDICIÓN Y EVALUACIÓN DE LA
FORMACIÓN POR ESToS elementos DE
GESTIÓN. Son la forma, no el fondo.
Gerente: Kirkpatrick
No.
Estrat.
Categoría
Resultados mensuales
A
Medidas financieras/ de producción
1
Utilidad por acción
1,62
1,72
-
2
Retención de clientes
88%
94%
-
3
Lealtad de clientes (dispuesto a referir)
72%
85%
igual
4
Retención de empleados
92%
92%
+
5
Lealtad de empleados (intención quedarse)
95%
95%
+
6
Costo capacitación/empleado
7
Gastos del departamento
B
Medidas de clientes
1
Tasa de ventas cruzadas
6a1
4a1
-
2
Calidad del perfil del cliente
65%
90%
nuevo
3
Seguimiento del jefe a capacitación
90%
95%
-
4
Entrevistas de inducción realizadas
40
42
+
5
Notas evaluación nivel 3
6
Solicitudes de consultoría interna
C
Medidas de sistemas internos
1
Observaciones sesiones de coaching
16
14
+
2
Sesiones de apoyo de coaching con gerentes
16
15
igual
Facsímil incompleto
Real
$
Meta
230
320k
Real
$
Estado
200
-
300k
Meta
Cambio
igual
Estado
Cambio
para determinar
14
Real
12
Meta
igual
Estado
Cambio
Para informarse…
• American Society for Training and
Development www.astd.org
• International Society for Performance
Improvement www.ispi.org
¿Estamos preparados?
Debra McKinney Gehman
[email protected]
Tel. ofc. 571-243-4166, 571-243-6888
Descargar

Introducción a la medición de los resultados de la