2012
Inicio Presentación
Contexto General
Arquitectura
Descripción
Archivos Input
Etapas Carga Diaria
Componentes Datastage
Shell Script
Rutas de fuentes/ejecutables
Archivos Input
2
• Módulos del Sistema – Carga Diaria
3
• Componentes del Sistema
 DataStage: Sequences, Jobs, rutinas y parámetros globales.
 Unix: basada en Shells, Querys SQL gatilladas por SQL Plus y archivos de
configuración.
 Base de datos: basada en tablas, procedures.
4
- Proceso principal de carga de archivos diarios.
- Extrae, transforma y carga los datos a modelo base y modelo original.
5
-
Se parcializa la ejecución mediante etapas.
-
Mejor control y monitoreo.
-
Mejor mantenimiento.
-
Permite recuperación de las mismas.
6
Existencia
Estructura
Inyección
Homologación
Despegue
Integridad
Transformación modelo Base
Carga Modelo Base
Extracción Modelo Base
Transformación modelo Original
Carga modelo Original
7
Existencia: Se valida la existencia de todos los archivos
(enviados por SABRE) que son necesarios para realizar el proceso
de carga u algún otro proceso.
Estructura: Se realiza una validación de estructura a los
archivos, esta validación consiste principalmente en validar el
largo, tipo y nulo por cada una de las columna de cada línea del
archivo, que están definidas como llave, donde serán cargados
finalmente
Inyección: Se inyectan al flujo normal de carga, aquellos
registros que fueron marcados como inconsistentes en una carga
anterior.
8
Homologación: Homologa los números de vuelos, para realizar
la validación con la información almacenada en la tabla de
despegue.
Despegue: Se realiza una validación, cruzando los registros
con la tabla despegue para validar su existencia en ella.
Integridad: Permite validar las reglas de negocios que fueron
establecidas para un correcto proceso de carga, como por ejemplo,
que las cateogory name, pax existan en Pseudo PFS.
Transformación modelo Base: Se realizan transformaciones de
los datos para adecuarlos al nuevo modelo.
9
Carga Modelo Base : Se almacenan los registros transformados
en la base de datos del nuevo modelo.
Extracción Modelo Base : Se realizan las extracciones de los
registros para disponibilizarlos en su adecuación para la base de
datos del modelo original.
Transformación modelo Original : Se realizan las
transformaciones necesarias para adecuar los registros al modelo
de negocio original.
Carga modelo Original : Se cargan los registros transformados
en el modelo original.
10
11
12
• Job Sequence del tipo SEQ_00_
13
• Job Sequence del tipo SEQ
14
• Módulos del Sistema – Carga Diaria
15
• Shell script:
Valida ambiente de ejecución.
Administra la ejecución de Carga Diaria. (Jobs Etapas)
Envía e-mails informativos.
Administra la recuperación.
Retorna 0 (exitoso) y 1 (no exitoso) a Control–M
16
• Composición Shell script:
SHELL_PROC_PPFS_CD.sh: Realiza el llamado a la shell principal
de administración enviando el identificador de “CD”
SHELL_PROC_PPFS.sh: Shell de administración principal, en
donde se validan ambientes antes de orquestar los procesos.
dsConfigLocal_CD.sh: Archivo de configuración que contiene
variables y etapas asociadas a carga diaria.
dsConfigLocal.sh: Archivo de configuración que contiene
variables globales utilizadas en todas los procesos.
17
• Sql Gatilladas por Shell Script:
SQL_ETAPAS_EXITOSAS.sql Determina las etapas exitosas del proceso.
SQL_INFORME_PROCESO.sql Genera un informe final del proceso.
SQL_INSERT_PROC.sql Inserta registro de inicio en la tabla de control "Procesos"
SQL_ULTIMA_ETAPA.sql Retorna la ultima etapa ejecutada del proceso
SQL_ULTIMO_PROC.sql Retorna el Id del ultimo proceso ejecutado.
SQL_UPDATE_PROC.sql Actualiza información del proceso actual.
SQL_VALIDA_BD.sql Usada para validar conexión a la base de datos
SQL_VALIDA_BD_CORP.sql Usada para validar conexión a la base de datos
Corp
SQL_VALIDA_BD_DSPG.sql
Despegue
Usada para validar conexión a la base de datos
SQL_VALIDA_BD_WORK.sql
Work
Usada para validar conexión a la base de datos
18
• Informes por pantalla de las SHELL
19
• Rutas
/dsapp/DSPPFS/CNF/dsConfigLocal.sh
/dsapp/DSPPFS/CNF/dsConfigLocal_CD.sh
/dsapp/DSPPFS/CNF/SHELL_PROC_PPFS.sh
/dsapp/DSPPFS/SHL/SHELL_PROC_PPFS_CD.sh
/dsapp/DSPPFS/SQL/SQL_ETAPAS_EXITOSAS.sql
/dsapp/DSPPFS/SQL/SQL_INFORME_PROCESO.sql
/dsapp/DSPPFS/SQL/SQL_INSERT_PROC.sql
/dsapp/DSPPFS/SQL/SQL_ULTIMA_ETAPA.sql
/dsapp/DSPPFS/SQL/SQL_ULTIMO_PROC.sql
/dsapp/DSPPFS/SQL/SQL_UPDATE_PROC.sql
/dsapp/DSPPFS/SQL/SQL_VALIDA_BD.sql
/dsapp/DSPPFS/SQL/SQL_VALIDA_BD_CORP.sql
/dsapp/DSPPFS/SQL/SQL_VALIDA_BD_DSPG.sql
/dsapp/DSPPFS/SQL/SQL_VALIDA_BD_WORK.sql
20
-
3 archivos input desde SABRE
Category_PFS_Sabre_CERT_YYYMMDD_0100.csv
Category_Passanger_Sabre_CERT_ YYYMMDD _0100.csv
Category_Name_Sabre_CERT_ YYYMMDD _0100.csv
-
Disponibilizados en servidor UNIX /dsdata/DSPPFS/DAT/CDD_CD
21
22
Descargar

Etapas Carga Diaria