Impacto del ancho de banda en la planificación
dinámica de tareas en Grids computacionales
Jornadas Técnicas 2003
Antonio Fuentes
Eduardo Huedo
Rubén Santiago Montero
Ignacio Martín Llorente
Grupo de Sistemas
Centro Comunicaciones CSIC
Distribuidos y Seguridad
RedIRIS.
Dpto. de Arquitectura de
Spanish NREN
Computadores UCM
Lab. Computación Avanzada
Centro de Astrobiología
CSIC – INTA
Contenido
• Pasos de Planificación
• Características de un Grid
• GridWay
• Selección de Recursos
• Ejecución de Trabajos
• Ejecución Adaptativa
• Asignación de Rango
• Resultados
• Conlcusiones y Trabajo Futuro
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
Pasos de Planificación
Globus Toolkit
• Permite el envío seguro de aplicaciones entre múltiples dominios con sus
propias políticas y gestores de recursos.
• Gestión de Recursos (GRAM)
• Gestión de Datos (GridFTP & Replica Catalog)
• Infraestructura de Seguridad (GSI)
• Servicios de Información (MDS)
Pasos de Planificación
•¿Dónde ejecuto mi trabajo? Resource selection
•¿Qué necesito?
Resource preparation
•¿Cómo envío mi trabajo?
•¿Cómo va la ejecución?
•¿Existe un recurso mejor?
•¿Cómo recupero la salida?
Job submission
Job monitoring
Job migration
Job termination
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
Características de un Grid
Precio Dinámico de Recursos
• Hora del día (horas laborables/
no laborables)
• Carga del recurso
Alta Tasa de Fallos
• Red
• Recurso
Disponibilidad
Dinámica de Recursos
•Cancelación de trabajos
•Adición y exclusión de
recursos
Grid
Carga Dinámica de
Recursos y Red
•Recursos compartidos
•Recursos ociosos pueden
saturarse
Un trabajo debe migrar entre los recursos de un Grid para
obtener un nivel suficiente de rendimiento y tolerancia a
fallos.
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
GridWay Framework
Objetivo: Ejecución fácil y eficiente en Grids heterogénos y dinámicos
(submit & forget)
GridWay
Grid
Directrices de Diseño
• Fácilmente Adaptable (diseño modular)
• Fácilmente Escalable (arquitectura descentralizada)
• Fácilmente Desplegable (usuario, servicios estándar)
• Fácilmente Aplicable (conjunto amplio de aplicaciones)
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
GridWay: Selección de Recursos
Requisitos
S.O.
Arquitectura
Modificables por la aplicación en
ejecución  Auto-Adaptación
Expresión
de Rango
…
•Modelo de Rendimiento
•Ancho de Banda de la Red
•Métricas Específicas de la
aplicación
Descubrimiento
Monitorización
Búsqueda LDAP
GRIS
Consultas LDAP
GRIS
GIIS
Asignació
n de
Rango
Lista Ordenada
de Recursos
Perfil de
Rendimiento
I/O
Tiempo/iter.
…
PLANIFICADOR
GRIS
Monitoring and Discovery Service
Jornadas Técnicas de RedIris
Aplicación capaz de adaptarse:
• Preferencias
• Disponibilidad, Rendimiento y
Características de los recursos
GRAM
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
GridWay: Ejecución de Trabajos
• Ejecución en tres pasos: Prolog, Wrapper, Epilog.
• Estrategias de Transferencia
• Transferencias Directas 
• Uso de GASS-cache (PSA´s) 
• Compresión de Datos 
• Gestión de Replicas y transferencias entre 3os
• Ventajas frente a la ejecución en una tarea
• Sistemas cerrados
• Mejor Ajuste de los Parámetros RSL (maxtime)
• Planificación separada de transferencias y ejecuciones
• Fácil Implementación de migración de una tarea
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
GridWay: Ejecución Adaptativa
Re-Planificación Dinámica de Trabajos cuando…
•
Periódicamente para descubrir mejores recursos (Migración Oportunista)
•
Se produce un fallo de red o del recurso
•
Se cancela un trabajo
•
Un trabajo permanece suspendido demasiado tiempo
•
Se detecta una degradación del rendimiento
•
La aplicación cambia su perfil de requisitos (auto-migración)
Grid
2 Prolog
Aplicación
Nuevo
4 Wrapper
Cliente
3 Epilog
1 cancelación
Jornadas Técnicas de RedIris
Antiguo
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
GridWay: Asignación de Rango
Rango equivale al tiempo de ejecución (wall-time)
Rango = Texe(hn,tn) = Tcpu(hn,tn) + Txfr(hn,tn)
Tiempo de CPU estimado:
•
Trabajo realizado por la aplicación hasta el momento
•
Trabajo pendiente de realizar
•
Rendimiento dinámico del recurso
Tiempo de Transferencia estimado:
• Tiempo de transferencia realizado
•
Tiempo de transferencia restante con el cliente, servidor de ficheros y el recurso
actual de ejecución
•
Ancho de banda dinámico de la red
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
Resultados
Host
Modelo
Velocidad
Pentium III
1.4Ghz
platon
Pentium III
1.4Ghz
heraclito
Celeron
700Mhz
NS
GIIS
IRISGrid
Memoria
Linux 2.4
aristoteles
SO
1G
1G
256M
S
host
S
host
2Gbit/s
Spanish NREN
RedIRIS
10Mbit/s
NS NWS NameServer
1Gbit/s
S
UCM
100Mbit/s
S
host
Jornadas Técnicas de RedIris
S
host
Host
Modelo
Velocidad
aquila
Pentim III
700Mhz
cygnus
Pentium IV
2.5Ghz
cepheus
Pentium III
600Mhz
hydrus
Pentium IV
2.5Ghz
SO
Linux 2.4
S
GIIS
DACYA-UCM
NWS Sensor
Mem.
128M
512M
256M
512M
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
Resultados
•
Carga de Trabajo Artificial con Tasa de Transferencia/Computo 0.01
•
Planificación de 4 tareas
•
Mejora de hasta el 50% (107 segundos, 49 segundos)
•
Tiempos incluyen la sobrecarga de Globus
110
50
Rank = Tcpu
Rank = Tcpu + Txfer
Txfer
Tcpu
50
0
Jornadas Técnicas de RedIris
25
0
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
Resultados
Rendimiento
500
Proximidad
•
columba (más cercano ) es mejor que aristoteles (más rápido)
•
La migración no es rentable
Tiempo de Ejecución
450
400
350
300
Columba
250
Aristoteles
Aquila
La migración a Aristoteles (el más
rápido) es rentable hasta la 4ª iteración
200
0
Jornadas Técnicas de RedIris
2
4
6
8
10
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
Conclusiones y Trabajo Futuro
Importancia de la proximidad de recursos en la planificación para
reducir la transferencia de ficheros.
● Selección de Recursos
● Migración Oportunista
●
●
Desarrollo de un selector de replicas (Globus Replica
Catalog)
Incorporar las consideraciones de proximidad a las replicas
en la planificación.
Jornadas Técnicas de RedIris
A. Fuentes, E. Huedo, R.S. Montero y I. M. Llorente
MUCHAS GRACIAS POR
SU ATENCIÓN
Descargar

Jornadas Técnicas de RedIris A. Fuentes, E. Huedo, RS Montero y