Herramientas prácticas de
La calidad:
Valor Sigma para
validación de métodos,
selección y diseño del CC, y
evaluación externa de la calidad
James O. Westgard, PhD
Westgard QC, Inc.
Madison, WI
Seis Sigma
July 2003 Clin Lab News
¿ Qué es Seis Sigma?


Estadío superior de la Gestión Total de la Calidad
Incluye como mejoras más importantes:

Cuantificación del objetivo de la prestación de un
proceso


Medida universal de la prestación de un proceso


Alcanzar la prestación “seis sigma”
Mide “defectos por millón” (DPM)
Enfatiza la definición de los límites de tolerancia de
los procesos o los requisitos de la calidad de los
productos
¿Qué significa Seis Sigma?
-Especificación
de tolerancia
-6 DSs
debería
cumplir
espec.
V. Diana
+ Especificaicón
de tolerancia
+6 DSs
debería
cumplir
espec.
-6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s
¿Cuál es el razonamiento?
Obtener pocos DPM con una
desviación de 1.5s
1.5s
desviación
-
Pocos
defectos
con
desviación
de 1.5s
6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s
¿Cómo medir la calidad en la
escala Sigma?
Medir el Resultado Medir la Variación
Metodología
MOTOROLLA
Sigma
“Corto-plazo”
Usar columna
pond / desviación
1.5s
Inspeccionar Resultados
y contar Defectos
Medir Variación
de Procesos
Calcular Defectos
por Millón (DPM)
Calcular DS y
Valor Sigma
Convertir DPM
en Valor Sigma
Resultado del
Control del Proceso
Sigma
“Largo-plazo”
¿ Qué es un defecto?

Un producto que no alcanza las especificaciones



Hay que definir los “límites de tolerancia”
Y comparar el producto con estas especificaciones
Un resultado de una determinación erróneo


Se puede usar el criterio de la prueba de aptitud
CLIA como especificación o límite de tolerancia
Se comparan los errores observados con los límites
tolerables de error: si son superiores, se trata de
un resultado defectuoso
¿Cómo se pueden calcular DPM?

Un ejemplo: Fabricante de
neumáticos para Ford





6,000,000 neumáticos
2000 accidentes
100 fallecimientos
¿Qué es la prestación de un proceso?
DPM = accidentes/millón neumáticos

2000/6,000,000 o 333 DPM
¿Cómo convertir DPM en Sigma?
Usar la tabla “Sigma/DPM”
Aprox
4.9-5.0
333 DPM
¿ Cuáles son algunas
“mejores marcas”








Aceptación Mundial de la Calidad: 3.4 DPM o 6 sigma
Manejo de maletas en Líneas Aéreas:
4000 DPM o un proceso 4.15 sigma
Seguridad de Líneas Aéreas (accidentes de pasajeros):
0.43 DPM, mejor que el proceso 6 sigma
Proceso de negocio normal: 4 sigma
Proceso mínimamente aceptable: 3 sigma
Producción de neumáticos en Firestone: 5 sigma
Evaluación de la calidad de los
procesos pre- y post-analíticos
Nevelainen et al. Evaluating laboratory performance with
the six sigma scale. Arch Pathol Lab Med 2000;124:516-9.
Evaluación de la calidad de los
procedimientos de medida


¿Conoces el Valor Sigma de cada uno
de los procedimientos analíticos?
Depende del



Límite de tolerancia o especificación de
la calidad de cada procedimiento (ETd)
Error sistemático del procedimiento (ES)
Imprecisión del procedimiento (DS o CV)
Capacidad del proceso
V Diana
-ETd
Desviación
1.5s
V Diana
+ETd
Sigma = (ETd-ES)/s
Sigma =(6s-1.5s)/s
Sigma = 4.5
-
6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s
Capacidad del proceso
en unidades Sigma

Valor Sigma = (ETd - ES)/CV
ETd=12%, ES=0%, CV=2%

Valor Sigma es (12-0)/2 o 6 sigma
ETd=12%, ES=0%, CV=4

Valor Sigma es (12-0)/4 o 3 sigma
ETd = 12%, ES = 3%, CV=2%

Valor Sigma es (12-3)/2 o 4.5 sigma
¿Cuál es el Valor Sigma para el
Colesterol basado en el CLIA y las
recomendaciones del NCEP?


ETd = 10% criterio CLIA
ES = 3%, CV=3% especificaciones NCEP
Valor Sigma es (10-3)/3 o 2.33 sigma
 No es un proceso satisfactorios según
las guías de producción industrial !!!
Validación de Métodos:
la confusión!
Resultados método en estudio
Correlación no es igual a concordancia!
Coeficiente correlación
de 0.999:
Puntos cercanos a la línea
O
O O
O
OO O
O
O O
O O
O
O O
OO
O O
Intercepción de 15 mg/dL:
O
O
Método en estudio
O
con valores sistemáticamente
O
superiores
Resultados método de comparación
Valor Sigma: la solución
Elimina la confusión!

Nueva herramienta: la gráfica de decisión


Emplea un requisito de la calidad predefinido
para el método (límite de tolerancia)
Muestra la precisión y veracidad del método
Caracteriza el Valor Sigma de forma
gráfica

Facilita la inspección visual y evalúa la
aceptabilidad de un método
Secretos de la
Validación de Métodos
1er secreto: Enfocar los errores



Se trata de VERIFICACIÓN DEL ERROR
¿Cuál es la magnitudes de los errores
observados en un nuevo método?
¿Son tan pequeños como para ser aceptables,
o tan grandes como para dificultar la
interpretación de los resultados del método?
Resultados del método en estudio
Tipos de errores a evaluar
Error
aleatorio
Error
sistemático
constante
o
o o
o
oo
o ooo
No error
o
o
o
o
oo
Error
sistemático
proporcional
Resultados del método de comparación
2o secreto: Evaluación
experimental de
distintos tipos de errores
Tipo de
Error
Analítico
Preliminar
Final
Error
Aleatorio
Replicados
Intra- serie
Replicados
Inter - serie
Error
Constante
Interferencias
Error
Proporcional
Recuperación
Comparación
entre
Métodos
Experimento
3er secreto: la estadística es
una herramienta para
estimar los errores
media
DS, CV
Distribución Histograma
Dato datos
lineales
a, b
sy/x ,r
Regresión
Cálculo para
Decisión
Cálculo de DS
Bias
SDdiff, t
Prueba
Gráfica de
Comparación t-student
Gráfica de
Diferencias
Cálculo de Pares de Datos
Herramientas básicas para Validación de Métodos
4º secreto: Distintas estadísticas
son sensibles a distintos errores
Sensibilidad de la estadística
EA
CE
PE
No
No
Sí
No
Sí
No
Sí
No
No
No
Sí
No
No
Sí?
Sí?
Sí?
No?
Regresión
Pendiente, b
Intercepción en – Y
DS sobre eje Y, sY/X
Prueba t- Student
Error sistemático (sesgo)
DS diferencias
Coeficiente de correlación
No?
5o Secreto: Significación estadística
es distinto que significación clínica


Significación Estadística: tener datos
suficientes para saber que existe una
diferencia – ¿Se trata de un error real?
Significación Clínica: saber si la diferencia
observada es lo suficientemente grande para
influir en el diagnóstico y tratamiento del
paciente – ¿ Se trata de un error
importante?
6o secreto: Evaluar la aceptabilidad
usando el Valor Sigma en la
“Gráfica de Decisión de Método ”
10.0
Error sistemático observado, % ES
9.0
8.0
7.0
6.0
Zona de
Prestación
Inaceptable
5.0
4.0
3.0
2.0
1.0
0.0
0.0
Marca
Mundial
Calidad
1.0
2.0
3.0
4.0
Imprecisión observada, % CV,
5.0
Gráfica de Decisión de Método (1)
Ejemplo: Colesterol


El ETd es 10%
Construir la Gráfica de Decisión de Método

Escala del eje Y: 0 a 10%


Escala del eje X: 0 a 5%


“Error sistemático observado, %ESs”
“Imprecisión observada, %CV”
Dibujar las líneas para 2s, 3s, 4s, 6s veces el
valor de Error Total
Gráfica de Decisión de Método (2)
Ejemplo: Colesterol

ES + 3s = ETd



Intercep-Y de 10 y intercep-X de 3.3
ES + 4s = ETd

línea 3 sigma
línea 4 sigma
Intercep-Y de 10 y intercep-X de 2.5
ES + 5s = ETd
línea 5 sigma
Intercep-Y de 10 y intercep-X de 2.0

ES + 6s = ETd
línea 6 sigma
Intercep-Y de 10 y intercep-X de 1.7
Gráfica de Decisión de Método
Error Sistemático observado, % ES
10.0
9.0
8.0
7.0
6.0
Zona de
Prestación
Inaceptable
5.0
4.0
3.0
2.0
1.0
0.0
0.0
Marca
Mundial
Calidad
1.0
2.0
3.0
4.0
Imprecisión observada, %CV
5.0
Selección/Diseño del CC
Desviación crítica
Límite de
riesgo
de mal
resultado
del 5%
1.65s
-7s -6s -5s -4s -3s -2s -1s 0s 1s 2s 3s 4s 5s 6s 7s

Riesgo de 5% significa que el requisito de la calidad corta la
distribución del error a 1.65s de la media
Relación entre
Seis Sigma y el CC

Error Sistemático Crítico (DEScrit)


Índice usado para describir la magnitud del error que
debe ser detectado por el procedimiento de CC
DEScrit = [(ETd – ES)/CV] – 1.65
Sigma

¿Se puede relacionar el DES con la capacidad de
rechazo de la regla operativa de CC y el nº de
determinaciones control, usando las curvas de
potencia conocidas?
Relación entre Calidad y CC
Escala Sigma 3s
Probabilidad de rechazo (P)
1.65
1.0
2.65
4s
3.65
5s
4.65
6s
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.03
0.03
13s /22s /R4s
2
1
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
Detección
de Eerror
deseable
0.6
0.5
Falso
Rechazo
deseable
0.4
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático (ES, múltiplos de s)
4.0
¿Qué CC se necesita?
“Reglas prácticas”




Proceso 6 sigma – regla CC simple con límites
3.0s y N=2
Proceso 5 sigma - regla CC simple con límites
2.5s y Ns de 2-3
Proceso 4-sigma – regla CC simple con límites
2.5s límites o multiregla CC y Ns de 4-6
Proceso 3-sigma – necesita Ns de 6-8 o más,
no es práctico para la mayoría de laboratorios

No se debe procesar un nº grande de controles para
detectar errores clínicamente importantes!
¿Cómo seleccionar/diseñar un CC adecuado?
Programa QC EZ Rules3 de Westgard
Nº
materiales
control
Calidad
Requerida
Precisión
Observada
ES
Observado
Programa asesor
Bio-Rad Westgard
Verificación del Valor Sigma
usando datos EQA/PT

“Touchstone Test Methodology”
www.westgard.com/essay72.htm

Identifica ejemplos que representan aplicaciones
clínicas y diagnósticas importantes



Requisitos de la calidad definido por el “criterio de
aceptabilidad” CLIA en Evaluación Externa (EQA)
Magnitudes reguladas para las que los laboratorios deben
participar en EQA y mostrar los informes EQA a la
Administración
Disponibilidad de datos de distintos programas EQA, para
una gran variedad de determinaciones del laboratorio
Estimaciones de la Calidad

National Test Quality (NTQ)


National Method Quality (NMQ)


Sigma = ETdCLIA/CVgrupo
Sigma =
Media ponderada
[(ETdCLIA – ESsubgrupo)/CVsubgrupo]
Local Method Quality (LMQ)

Sigma –
Media ponderada
(ETdCLIA)/CVsubgrupo
Calidad para Colesterol en un EQA
EQA/
PT
AAFP
MLE
AAB
API
CAP
Media
ponderada
NY
Labs
Media NTQ
NMQ
LMQ
296
577
1498
2647
4240
9258
201.0
224.4
223.0
221.3
198.7
210.8
2.01s
2.27
2.37
2.28
3.57
2.88s
2.01s
2.38
2.68
2.37
3.71
3.02s
2.54s
2.99
3.51
3.19
4.19
3.67s
371
208.1
4.09
4.48
4.83
Calidad para Colesterol (NTQ)
MLE
AAFP
Probabilidad de rechazo (P)
1.65
1.0
API
AAB
2.65
CAP
3.65
NY
Escala Sigma
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.5
0.03
0.03
13s /22s /R4s
2
1
0.4
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
0.6
0.3
0.0
0.0
1.0
2.0
3.0
Erro Sistemático (ES, múltiplos de s)
4.0
Calidad para Colesterol, hoy
NTQ
NMQ
LMQ
Escala Sigma
Probabilidad de rechazo (P)
1.65
1.0
2.65
3.65
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.5
0.03
0.03
13s /22s /R4s
2
1
0.4
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
0.6
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático (ES, múltiplos de s)
4.0
Glucosa
30 Abril 2003 Teleconferencia
Recomendaciones de ADA
para el cribado
Calidad para Glucosa, hoy
ETd CLIA =10%
NTQ
Escala Sigma
Probabildad de rechazo (P)
1.65
1.0
2.65
NMQ
3.65
LMQ
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.07
0.07 6
13s /22s /R4s /41s
0.03
0.03 4
1
2.5s
0.04
0.04 4
12.5s
1
2
1
2
1
2
1
0.2
0.03
0.03
13s /22s /R4s
0.01
0.01
1
3s
0.00
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.8
0.7
0.6
0.5
0.4
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático (ES, múltiplos de s)
4.0
1
1
Calcio
Clin Lab News, Agosto 2004
Calidad para Calcio, hoy
ETd CLIA =1.0 mg/dL (~10%)
NTQ
NMQ
LMQ
Sigma Scale
Probabilidad de rechazo (P)
1.65
1.0
2.65
3.65
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.5
0.03
0.03
13s /22s /R4s
2
1
0.4
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
0.6
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático (ES, múltiplos de s)
4.0
January 2005, Clin Lab News
Calidad Tiempo Protrombina, hoy
ETd CLIA =15%, Programa CAP 800 labs, pro 10 Muestras
NMQ
LMQ
Escala Sigma
Probabilidad de rechazo (P)
1.65
1.0
2.65
3.65
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.5
0.03
0.03
13s /22s /R4s
2
1
0.4
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
0.6
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático(ES, múltiplos de s)
4.0
Calidad para INR, hoy
ETd CAP =20%, Programa CAP 800 labs, Pro 10 Samples
NMQ
Probabilidad de rechazo (P)
1.65
1.0
LMQ
Escala Sigma
2.65
3.65
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.5
0.03
0.03
13s /22s /R4s
2
1
0.4
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
0.6
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático (ES, múltiplos de s)
4.0
Glicohemoglobina
Clin Lab News March 2002
Glicohemoglobina (GHb)

Recomendaciones de NACB






Clin Chem 2002;48:436-472.
Nivel deseable GHb es 7.0% or inferior
Re-evaluar tratamiento a 8.0%
CV Método de 3.0% a 5.0%
Analizar 2 materiales control en la serie
Las guías para interpretación de la prueba
(criterio de resultados) implican un cierto
nivel de calidad


El intervalo de decisión es 1.0 %Hb o 14.3%
La variación biológica intraindividual es 4.1%
(Fraser)
Calidad para Glicohemoglobina, hoy
ETd=10%
NTQ
NMQ
LMQ
Sigma Scale
Probabilidad de rechazo (P)
1.65
1.0
2.65
3.65
4.65
5.65 P
fr
P
ed
N
R
13s /2of3 2s /R4s /31s /6x
0.9
0.8
0.07
0.07 6
13s /22s /R4s /41s
1
0.03
1
2.5s
0.04
12.5s
0.03
4
1
0.04
4
1
0.5
0.03
0.03
13s /22s /R4s
2
1
0.4
0.01
2
1
0.00
2
1
0.2
0.01
1
3s
0.00
13.5s
0.00
2
1
0.1
0.00
13s
0.00
0.00
1
1
0.7
0.6
0.3
0.0
0.0
1.0
2.0
3.0
Error Sistemático (ES, múltiplos de s)
4.0
¡Qué necesitamos!
CV=2.0%, ES=0% y CC con N=2 y límites control 2.5s
Calidad Glicohemoglobina, hoy
Qué
necesitamos
Qué
obtenemos
Calidad
10 %
NTQ
NMQ
LMQ
1.93s
1.93s
2.57s
1.0 %Hb
15 %
20 %
2.0 %Hb
25 %
2.5 %Hb
2.12
2.89
3.86
4.24
4.82
5.30
2.20
3.21
4.50
5.04
5.79
6.47
2.85
3.84
5.15
5.69
6.44
7.11
Conclusiones
Mitos vs Medidas

Mito – la prestación analítica es mejor que la
necesaria para fines médicos!


Mito- No es necesario mejorar la prestación
analítica


Defina la calidad necesaria de sus procedimientos!
Determine el valor sigma de sus procedimientos!
Mito – Cumplir las recomendaciones de CC
actuales es suficiente!

Determine el valor sigma de su CC
Descargar

No Slide Title