Taller de la UIT sobre “Supervisión y referenciación
de la calidad de servicio (QoS) y la calidad percibida (QoE)
de los servicios multimedios en las redes móviles”
(Buenos Aires, Argentina, 24-25 de julio de 2014)
Marco de la QoS móvil: Contadores, KPI, KQI
Joachim Pomy
[email protected]
OPTICOM, Alemania
Version : 11 December 2008
[Contenido]
ITRs: Setting the stage for
a connected world
 Marco de la QoS Móvil: Contadores, KPI, KQI
 Nuevo trabajo del UIT-T sobre QoS móvil
 Enfoque segmentado – Selección de los parámetros de QoS móvil
percibidos por el usuario
 Escenarios de prueba y Puntos de activación
 Evaluación de la calidad de voz – Conducción de las pruebas
 Estadísticas – Presentación de los resultados
 Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
2
Trabajo del UIT-T sobre la QoS móvil (1)
 KPIs móviles
 centrados en el equipo/la infraestructura
 agregación de contadores de redes propietarias
 no estandarizados
 Nuevo trabajo del UIT-T sobre QoS móvil
 Borrador de la nueva Recomendación E.MQoS
 Aspectos de la QoS para los servicios populares en las redes móviles
 Borrador de un nuevo Documento Complementario de la serie de
Recomendaciones E.800
 Lineamientos sobre los aspectos regulatorios de la QoS
 Otras Recomendaciones del UIT-T sobre QoS abarcan:
 Aspectos de los requisitos de los terminales
 Aspectos de la calidad extremo a extremo
 Aspectos de las percepciones de los usuarios
Buenos Aires - Argentina - 24 - 25 de julio de 2014
3
[Contenido]
ITRs: Setting the stage for
a connected world
 Marco de la QoS Móvil: Contadores, KPI, KQI
 Nuevo trabajo del UIT-T sobre QoS móvil
 Enfoque segmentado – Selección de los parámetros de QoS móvil
percibidos por el usuario
 Escenarios de prueba y Puntos de activación
 Evaluación de la calidad de voz – Conducción de las pruebas
 Estadísticas – Presentación de los resultados
 Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
4
Segmentos de la QoS móvil
 El modelo de QoS para el servicio móvil tiene cuatro
segmentos.
 El primer segmento es la Disponibilidad de la Red
 Define la QoS más bien desde el punto de vista del proveedor de
servicios que desde el usuario del servicio
 El segundo segmento es el Acceso a la Red
 Desde el punto de vista del usuario es el requerimiento básico para
todos los demás aspectos y parámetros de la QoS
 El tercer segmento contiene otros aspectos de la QoS
 Acceso al Servicio, Integridad del Servicio y Capacidad de Retención
del Servicio
 En el cuarto segmento se ubican diferentes servicios
 Su resultado son los parámetros de QoS según los perciben los
usuarios
Buenos Aires - Argentina - 24 - 25 de julio de 2014
5
Aspectos de la QoS del Servicio Móvil
Network
Availability
Layer 1
Network
Accessibility
Layer 2
circuit
switched
Service
Accessibility
packet
switched
Service
Integrity
Service
Retainability
E-Mail
File
Transfer
MMS
Mobile
Broadcast
Ping
PoC
SMS
Streaming
Telephony
Video
Telephony
Layer 3
Layer 4
Web
Browsing
Buenos Aires - Argentina - 24 - 25 de julio de 2014
6
La QoS móvil en segmentos (1)
 Si seguimos un enfoque segmentado
centrándonos en los eventos que puede
percibir el usuario
centrándonos en los principales servicios del
mercado
 Telefonía
 SMS
 MMS
Buenos Aires - Argentina - 24 - 25 de julio de 2014
 Video Telefonía
 Video Streaming
 Navegación por
Internet
7
La QoS móvil en segmentos (2)




Segmento 1
Indisponibilidad de la red radioeléctrica [%]
Segmento 2
Relación de fallas en el Registro y la Selección
de la Red [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
8
La QoS móvil en segmentos(3)
 Segmento Telefonía 3
Inaccesibilidad al servicio de telefonía[%]
 Segmento Telefonía 4
Tiempo[s] de establecimiento de telefonía
Relación de corte de llamadas de telefonía[%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
9
La QoS móvil en segmentos (4)
 Segmento SMS 3
Inaccesibilidad al Servicio de SMS [%]
 Segmento SMS 4
Tiempo[s] de entrega extremo a extremo de SMS
Relación de fallas de SMS completados [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
10
La QoS móvil en segmentos (5)
 Segmento MMS 3
Relación de fallas en el envío de MMS [%]
 Segmento MMS 4
Tiempo[s] de entrega extremo a extremo
Relación de fallas extremo a extremo de MMS [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
11
La QoS móvil en segmentos (6)
 Segmento Video Telefonía 3
Inaccesibilidad del Servicio VT [%]
 Segmento Video Telefonía 4
Tiempo[s]de establecimiento de Audio/Video VT
Relación de corte de llamadas VT [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
12
La QoS móvil en segmentos(7)
 Segmento Streaming de Video 3
Inaccesibilidad del Servicio de Streaming [%]
 Segmento 4:
Tiempo[s]de Acceso al Servicio de Streaming
Relación de corte de la Reproducción de Streaming
[%]
Buenos Aires - Argentina - 24 – 25 de julio de 2014
13
La QoS móvil en segmentos (8)
 Segmento de navegación por Internet (HTTP) 3
Inaccesibilidad del servicio HTTP [%]
 Segmento de navegación por Internet (HTTP) 4
Tiempo[s] de establecimiento HTTP
Relación fallas de Sesión HTTP [%]
Relación corte de transferencia de datos HTTP [%]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
14
La QoS móvil en segmentos (9)
 Este enfoque nos haría terminar con > 20
parámetros QoS
Todos se relacionan con eventos de percepción de
los usuarios
Pero esto es sólo parámetros de extremo a extremo
Hay muchos más parámetros definidos para los
eventos relacionados con los segmentos de red,
traspaso, etc.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
15
[Contenido]
ITRs: Setting the stage for
a connected world
 Marco de la QoS Móvil: Contadores, KPI, KQI
 Nuevo trabajo del UIT-T sobre QoS móvil
 Enfoque segmentado – Selección de los parámetros de QoS móvil
percibidos por el usuario
 Escenarios de prueba y Puntos de activación
 Evaluación de la calidad de voz – Conducción de las pruebas
 Estadísticas – Presentación de los resultados
 Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
16
Escenarios de prueba
 Escenarios de prueba necesarios para distinguir
los siguientes casos principales de usuarios
Servicios usuario-usuario (generalmente telefonía)
Servicios de guardado y reenvío (por ej., SMS)
Servicios de información (por ej., acceder a Internet
o bajar FTP)
Servicios Push (transferencia iniciada por el
remitente)
Buenos Aires - Argentina - 24 - 25 de julio de 2014
17
Consideraciones sobre los puntos de activación
 Podemos suponer que
 cualquier equipo de prueba viable contendrá algún tipo de terminal de
comunicación (UE) que puede ser un tipo especial (por ejemplo, un
teléfono de seguimiento)
 o un UE estándar
 También, se puede suponer que cada uno de tales dispositivos
proporcionará información de diferentes segmentos de la
comunicación
 desde el Segmento de la Aplicación (cercana a la interfaz del usuario)
 hacia los segmentos más bajos, por ej., eventos del sistema operativo,
segmento TCP/IP, o Segmento 3 información de señalización, que es
utilizada como punto de activación para procesar los PARÁMETROS de la
QOS
 En general los comandos AT pueden utilizarse en la mayoría de los casos
 La acción es en general disparada por
 una acción del usuario emulada
 causar alguna acción en la interfaz de aire
Buenos Aires - Argentina - 24 - 25 de julio de 2014
18
Consideraciones sobre los puntos de activación
 El proceso de propagación de eventos es determinante
 permite una especie de mapeo entre segmentos
 está asociado con la demora y el procesamiento de las comunicaciones en cada etapa.
 Elección del segmento para el punto de activación de la recuperación de información
 determina el punto de vista expresado en un PARÁMETRO de QoS
 Elegir eventos de los niveles inferiores (Segmento 3) brinda un punto de vista más centrado
en la red
 los eventos de los niveles superiores brindan puntos de vista más relacionados con los
usuarios
 para los mismos PARÁMETROS de QoS, el segmento de origen para los eventos utilizados
como puntos de activación debería ser el mismo
 En referenciación, para todas las redes abarcadas por la prueba
 usar el mismo tipo de UE y de PARÁMETROS de QoS
 usar puntos de activación desde el mismo segmento.
 Al cambiar el segmento de origen para un determinado punto de activación
 se deberían esperar cambios en los PARÁMETROS de QoS
 se requieren medidas de calibración
 para evaluar la influencia sobre los PARÁMETROS de QoS tanto cuantitativa como
cualitativamente.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
19
[Contenido]
ITRs: Setting the stage for
a connected world
 Marco de la QoS Móvil: Contadores, KPI, KQI
 Nuevo trabajo del UIT-T sobre QoS móvil
 Enfoque segmentado – Selección de los parámetros de QoS móvil
percibidos por el usuario
 Escenarios de prueba y Puntos de activación
 Evaluación de la calidad de voz – Conducción de las pruebas
 Estadísticas – Presentación de los resultados
 Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
20
Mediciones de telefonía en la red (1)
 Definición de transacción y tipos de transacción
 La transacción básica para las pruebas de telefonía es equivalente a una
sola llamada a la extensión de una contraparte. Se supone que la
contraparte a la que se llama es en general una extensión de tipo red-fija
para evitar incertidumbres relacionadas con una segunda conexión
móvil.
 El tipo puede ser Originada en la red móvil (MO) o Terminada en la red
móvil (MT).
 Se supone que una vez establecida la conexión, para efectuar otras
mediciones no tiene importancia que lado activó la llamada. Por lo tanto,
el parámetro del flujo de datos de audio no estará lógicamente
relacionado con el tipo de llamada.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
21
Mediciones de telefonía en la red (2)
 Calidad de los contenidos
 Los datos de la evaluación de la calidad del contenido se
generan en el extremo receptor
 Para el enlace descendente el almacenamiento de los datos
del contenido es directo
 Para el contenido del enlace ascendente, los resultados
deben integrarse en algún punto del tiempo
 Para evaluar la calidad del contenido de una muestra
completa de transmisión de voz, son posibles al menos los
siguientes métodos:
Buenos Aires - Argentina - 24 - 25 de julio de 2014
22
Mediciones de telefonía en la red (3)
 Calidad de los contenidos (cont.)
Evaluación en tiempo real
 modo streaming
 el algoritmo de evaluación de la calidad de voz determina
el tiempo real de MOS-LQO
Evaluación Offline
 el contenido es previamente grabado
 para ser procesado más tarde
El procesamiento de los datos debe garantizar que
sólo se procesan los datos de calidad de los
contenidos válidos
 dentro de la ventana de tiempo "conexión activa”
Buenos Aires - Argentina - 24 - 25 de julio de 2014
23
Mediciones de telefonía en la red (4)
 Verificación de conexiones bidireccionales
utilizables
 Sólo las llamadas con una conexión de datos
bidireccional extremo a extremo válidas serán
consideradas en la evaluación de la calidad del
contenido (llamadas válidas).
 Las llamadas no válidas serán tratadas como
llamadas perdidas
con un indicador para este caso en particular
Buenos Aires - Argentina - 24 - 25 de julio de 2014
24
Tema candente:
POLQA™ - Rec. P.863 (1)
Buenos Aires - Argentina - 24 - 25 de julio de 2014
25
POLQA™ - Rec. P.863 (2)
 Nuevo estándar POLQA ganador de una rigurosa
competencia técnica
 Llevada a cabo por el UIT-T para definir la actualización
tecnológica del PESQ/P.862
 PESQ era el estándar de punta en la mayoría de los
servicios de telecomunicaciones a nivel mundial
 POLQA - “Perceptual Objective Listening Quality
Assessment” (Evaluación de la calidad de la escucha
percibida objetiva)- ofrece un nuevo nivel de capacidad
de referenciación
 para determinar la calidad de voz de los servicios de la red móvil
Buenos Aires - Argentina - 24 - 25 de julio de 2014
26
POLQA™ - Rec. P.863 (5)
 Limitaciones de los estándares existentes que son ahora abordados por
el POLQA
 CDMA
 3G TD-SCDMA chino
 POLQA también ofrecerá un fuerte apoyo inmediato para probar las
nuevas redes de banda ancha 4G/LTE que proveen servicios de voz de
alta calidad (HD)
 Las pruebas llevadas a cabo durante la evaluación del POLQA incluyeron
tecnologías futuras, tales como




Comunicaciones unificadas
Redes de próxima generación
4G/LTE
Voz HD, por ej., “wide-band” (banda amplia) y "super-wide-band” (banda
super amplia)
 Ver POLQA: The Next Generation in Voice Quality Testing
http://www.polqa.info
Buenos Aires - Argentina - 24 - 25 de julio de 2014
27
Evolución de las Recomendaciones del UIT-T para las Pruebas de Calidad
de Voz (P.86x – Referencia completa MOS-LQO)
Buenos Aires - Argentina - 24 - 25 de julio de 2014
28
Validación del comportamiento
•
•
La UIT ha validado el POLQA en:
•
47000 pares de archivos
•
64 experimentos subjetivos
Idiomas incluidos en la validación del POLQA :
•
Inglés americano e Inglés británico
•
Alemán
•
Chino (Mandarín),
•
Alemán suizo
•
Checo,
•
Italiano,
•
Holandés,
•
Japonés,
•
Francés,
•
Sueco
Buenos Aires - Argentina - 24 - 25 de julio de 2014
29
POLQA Introduction - (c) OPTICOM GmbH 2010
29
[Contenido]
ITRs: Setting the stage for
a connected world
 Marco de la QoS Móvil: Contadores, KPI, KQI
 Nuevo trabajo del UIT-T sobre QoS móvil
 Enfoque segmentado – Selección de los parámetros de QoS móvil
percibidos por el usuario
 Escenarios de prueba y Puntos de activación
 Evaluación de la calidad de voz – Conducción de las pruebas
 Estadísticas – Presentación de los resultados
 Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
30
Intervalos de confianza para diferentes tamaños de muestras (1)
 Efectos de los diferentes tamaños de muestras en una campaña
de medición
 basados en las fórmulas de Pearson-Clopper para calcular los intervalos
de confianza
 válidos de forma genérica e incluso para muestras de pequeño tamaño
 para muestras de cantidades mayores, se puede aplicar el cálculo de los
intervalos de confianza en base a la aproximación de una distribución
normal
 se muestran tres gráficos diferentes: Los tamaños de las muestras
dentro del rango de:
 entre 100 y 1 100 muestras;
 entre 1 100 y 2 100 muestras; y
 entre 1 000 y 11 000 muestras.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
31
Intervalos de confianza para diferentes tamaños de muestras (2)
30
Width of confidence interval for fixed sample size (Pearson-Clopper)
10
15
20
100 Samples
300 Samples
500 Samples
700 Samples
900 Samples
1100 Samples
0
x xx
x xx
x xxx xx
x xxx xxx xxx
xxx
xx
xx
xx
+
+++
+
++
++
+
+
+
+
xx
+
+
+
+
+
+
+
+
x
x
+ + + o o o o o oo o o o oo o o o o o + + + + +
+
x
+
x
o
o
x + + + o o o o o ox x x x x x x x x x x x x x x x x x x x ox o o o o o + + + x
x
+++
x
++
++
+
o
x
+
+
+
+
x
o
+
+
+
x + o o x x x + +++ +
+ +++ + x x x o o + x
++ ++ x x o + x
x ++ ++
x+
x + + o ox x +
x xo +
++ +
o
+
x
x ox o + x
++
x ++
x + ox +
++
xo
o
+
x
x+
+
+
ox +
ox
+
+x
x
+
+
o
o
x
x
+
+
xx
5
Width of confidence interval in percent
25
o
x
+
o
x
+
0
xx
20
40
60
80
100
Estimated rate in percent
Buenos Aires - Argentina - 24 - 25 de julio de 2014
32
Intervalos de confianza para diferentes tamaños de muestras (3)
2
3
4
5
xx xxx xxx x
xx x
xx
xx
x
+ +++ +++ + x x x
+
x
+
+
++ + x x
x x + ++
x + + o o o o o o ooo o o o o o o + + x
+
x
o
o + x
xxx
x ++o o o x x x x x x x + x x x x x x x o o o ++ x
+
+
+
+
+
+
x + o x x ++ +
+ +++ x x o + x
++ x x o o + x
x ++o o x x +++ +
+ + x o+ x
x
+
o
x+ x +
++ x o +
x + o ox x + +
+ x xo + x
+
+ xo
x +o x +
+ +x
x
+
+ xo+
o
x+
+ xo x
x+
o
+
+x+
+x
o
1100
Samples
xo +
+ ox x
x
++
x 1300 Samples
++
o
ox
xx
1500 Samples
x
+
++
++
ox
o 1700 Samples
ox
+x
x 1900 Samples
x+
+
+
ox
ox
2100 Samples
+
+
+
0
1
Width of confidence interval in percent
6
7
Width of confidence interval for fixed sample size (Pearson-Clopper)
x
+
o
x
+
0
x
+
o
x
+
20
40
60
80
100
Estimated rate in percent
Buenos Aires - Argentina - 24 - 25 de julio de 2014
33
Intervalos de confianza para diferentes tamaños de muestras (4)
10
Width of confidence interval for fixed sample size (Pearson-Clopper)
4
6
1000 Samples
3000 Samples
5000 Samples
7000 Samples
9000 Samples
11000 Samples
xxx x
xx xxx xxx xxx xxx xx
x xx
xx
xx
++
+++
++
+
+
+
+++ ++
+
+
xx
+
+
+ ++
x
++ +
+
+
x
000
00
00
+
0
0
0
0
+
0
0
x +++ 0 0 0 0 0 0 x x x x x x x x x x x 0 0 0 0 0 0 +++ x x
x x x x x x x0 00 + x
x +
x xx
0 0x x x x x +
x x x 0 0 0 ++ x
x + + 0 0 0x 0x x +
+ + + ++ ++ + +++ + ++ ++ + + + + +
++
x x x0 + x
x +++ ++
+++
x + + 0 0x +
x+
+ ++
x 0x 0 +
x+
x+
x 0x + x
0x 0
++
x+
+
0
+
+ 0x +
x
++
+ 0x
0
x
+
+
2
x
xx
0
Width of confidence interval in percent
8
o
x
+
o
x
+
xx
xx
x
0x
+
0
x
0x
+
20
40
60
80
100
Estimated rate in percent
Buenos Aires - Argentina - 24 - 25 de julio de 2014
34
Informe de los resultados (1)
 Qué tipo de información se debe dar al lector
cuando se genera un informe de la prueba?
Cuando se utilizan valores cuantiles, se debería tener
en mente que el cómputo de cuantiles separa un
bajo porcentaje de datos atípicos de los datos
restantes. Esto significa:
 Si los valores más bajos representan un resultado mejor
desde la perspectiva del cliente, un pequeño porcentaje
que contenga los valores más altos podría ser separado
calculando un cuantil al 95 % o un cuantil al 90 %. Este es
el caso por ejemplo para los valores de duración.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
35
Informe de los resultados (2)
 Si los valores más altos representan un mejor resultado
desde la perspectiva del cliente, un porcentaje pequeño
que contenga los valores más bajos podría ser separado
calculando un cuantil al 5% o un cuantil al 10%. Este es el
caso por ejemplo para valores de producción.
 Con relación a la calidad del contenido, el cálculo del
cuantil apropiado se orienta en la escala de los resultados
de las pruebas determinadas. En la práctica, algunos
algoritmos definen un valor de 0 en una escala de 0 a 5
como la mejor calidad, mientras que otros definen el valor
5 como la mejor calidad posible.
Buenos Aires - Argentina - 24 - 25 de julio de 2014
36
[Contenido]
ITRs: Setting the stage for
a connected world
 Marco de la QoS Móvil: Contadores, KPI, KQI
 Nuevo trabajo del UIT-T sobre QoS móvil
 Enfoque segmentado – Selección de los parámetros de QoS móvil
percibidos por el usuario
 Escenarios de prueba y Puntos de activación
 Evaluación de la calidad de voz – Conducción de las pruebas
 Estadísticas – Presentación de los resultados
 Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
37
KPIs (Indicadores Claves de Desempeño) basados en los
Contadores de las Redes
 Específicos de un distribuidor = KPIs internos de la red
 diferentes estrategias
 cómo contar los eventos de la red
 qué eventos están incluidos en qué contador(es)
 Requieren conocimiento de un sistema específico
 especialistas con conocimiento detallado del sistema
 probar los contadores
 la documentación puede ser incorrecta
 el enfoque con respecto al contador cambia con la actualización del
sistema
 Los operadores móviles luchan con esto
 la mayoría de los operadores está en un entorno de múltiples
distribuidores
 los contadores de diferentes distribuidores no se pueden comparar en
forma directa
 requiere una estrategia y una atención continua
Buenos Aires - Argentina - 24 - 25 de julio de 2014
38
KPIs desde la perspectiva de los usuarios = KQIs
 Indicadores Claves de Calidad(KQIs) =
indicadores externos
se pueden evaluar en el campo
 Para monitoreo, regulación, etc..
se puede seleccionar una subserie
 aplicable a todos los distribuidores y operadores
 no limitada al servicio móvil, sino buena también para la
banda ancha
Buenos Aires - Argentina - 24 - 25 de julio de 2014
39
KPIs versus KQIs
 A veces se los confunde
 KPIs = indicadores internos





son parte del desempeño de la red
se basan en los contadores de las redes
son esenciales para la operación, el mantenimiento, el modelo comercial
se pueden informar, auditar, etc.
sin embargo, no tienen ningún sentido cuando están fuera de contexto
 KQIs = indicadores externos






sirven de base para evaluar la QoS según la percibe el usuario
independientes de los distribuidores
Independientes de los operadores
ideales para comparar diferentes operadores sobre una base estadística
no pueden ser informados desde el propio sistema
requieren algún tipo de prueba en el campo, conduciendo, caminando, etc..
Buenos Aires - Argentina - 24 - 25 de julio de 2014
40
¿Alguna pregunta?
Contacto:
[email protected]
Buenos Aires - Argentina - 24 - 25 de julio de 2014
41
Descargar

Marco de la QoS Móvil