Aplicaciones de las
Redes Neuronales Artificilaes
Dr. Héctor Allende
Areas de Aplicación
• Areas donde se aplican ANN:
–
–
–
–
–
–
–
–
Ingeniería ( Control, Robótica, Visión )
Ciencias de la computación.
Neurofisiología.
Física.
Matemáticas
Ciencia del Conocimiento.
Economía y finanzas
Estadísticas.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
2
Aplicaciones.
• Algunas aplicaciones:
–
–
–
–
–
–
–
–
–
–
Reconocimiento de patrones.
Predicción.
Regresión.
Compresión.
Procesamiento de Señales
Data Mining.
Series de Tiempo.
Finanzas.
Reconocimiento de voz, caras, caracteres .
Restauración de imagenes.etc.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
3
Ejemplo
Modelos de Regresión
Redes FeedForward
Modelos de Regresión
• Tipo de Redes:
– Feedforward , Feedforward Recurrentes
• Característica:
– Las redes Feedforward son aproximadores universales.
– Pueden modelar funciones altamente no-lineales, donde
modelos lineales tradicionales, no se comportan bien.
– No necesitan conocomiento del fenómeno, sólo un
conjunto de datos.
– Aprendizaje es supervizado.
– Corrección del Error
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
5
Formulación del problema
• Se desea modelar la siguiente función
 x i 1  f s ( x i )  e i

 f s ( x i )  10 (1  exp(  0 . 5 x i ))
donde
e i ~ N ( 0 ,  I 10 )
Profesor: Dr. Héctor Allende
2
con
i  1,..., 20

2
Redes Neuronales Artificiales
 1/ 3
6
Tipo de ANN utilizada
• La entrada a la red fue normalizada entre
[-1,1].
• Tiene 1 neurona de entrada y 1 de salida.
• La red tiene 1 capa escondida y 3 neuronas
escondidas.
• La red es del tipo FeedForward con
algoritmo de aprendizaje Back-Propagation.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
7
Proceso de Aprendizaje.
Desempeño del BackPropagation
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
8
Datos experimentales
y salida de la ANN
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
9
Ejemplo
Series de Tiempo y Predicción
Redes FeedForward
Formulación del problema
• Tipo de Redes:
– FeedForward.
• Modelar los datos de la “Línea Aerea
Internacional”
modelo (ARIMA), de orden (0,1,1)x(0,1,1)12
(1  B )(1  B ) x t  (1   0 B )(1   B ) a t
12
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
12
11
ANN
de los datos de la Aerolínea
IN P U T L A Y E R
H ID D E N L A Y E R
x t-1
O UTPUT LAYER
-1 .1 3 3 9
-3 .1 0 2 2
-1 .5 0 5 8
x t-1 2
xt
1 .2 4 3 3
x t-1 3
-0 .0 8 8 3
1
Profesor: Dr. Héctor Allende
1 .5 1 8 2
1
Redes Neuronales Artificiales
12
Datos de la Aerolínea
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
13
Ejemplo
Clasificación de Patrones
LVQ (Learning vector quantizacion)
Clasificación de Patrones
• Tipo de Redes:
– LVQ (Learning vector quantizacion).
• Característica:
– Consiste en clasificar un conjunto de elementos
en un conjunto de clases.
– Se debe utilizar redes con aprendizaje
supervisado.
– Las ANN son ampliamente usada en problemas
de clasificación.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
15
Formulación del Problema
• Patrones:
- 3 - 2 - 2 0 0 0 0 2 2 3
P 

0
1
1
2
1
1
2
1
1
0


C [ 1
1
1 2 2
2
2 1 1 1]
– P son los patrones de entrada (p1 , p2)
– C es la clase a la cual pertenece cada patrón.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
16
Gráfico de la ubicación de los
Patrones.
Rojo
: Clase 1
Celeste : Clase 2
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
17
Parámetros de la ANN
• Neuronas escondidas: 4
• Razón de aprendizaje: 0.1
• Por ciento de cada clase: Clase 1: 60%,
Clase 2: 40%
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
18
Resultado de la Red neuronal.
+ Vectores de
entrada.
O Pesos de las
neuronas
Rojo: patrones
clasificados como
clase 1
Celeste: patrones
clasificados como
clase 2.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
19
Clasificación de caracteres
Counterpropagation Network
Redes CPN
Clasificación de Caracteres
• Tipo de Redes:
– CPN.
• Característica:
– Consiste en un problema de clasificación de patrones.
– Se debe utilizar redes con aprendizaje supervisado.
– Las ANN son ampliamente usada en estos problemas de
clasificación.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
21
Formulación del Problema
• Se tiene un conjunto de letras como una
imagen binaria de 5x6 pixeles, “1”cuando el
pixel esta encendido y “0” cuando el pixel
esta apagado
• La red tiene que asociar correctamente el
código ASCII a la imagen.
x
T
rep
( A)  (0 0 1 0 0 0 1 0 1 0 1 0 0 0 111
1 1 1 1 0 0 0 1 1 0 0 0 1)
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
22
Ejemplo de Imágenes de Letras
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
23
Representación de las letras
T
rep
x
0

0

1

1
1


1
y
T
( A) 
0 1 0 0 

1 0 1 0

0 0 0 1 
 Código
1 1 1 1 
0 0 0 1 

0 0 0 1 

ASCII de A  65
( A )  (0 1 0 0 0 0 0 1) Código
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
binario
24
Letras de Testeo
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
25
Ejemplo
Problemas de Heurística:
Traveling Salesperson Problem
(TSP)
Redes de Hopfield
Problemas de Heurística:
“Problema del Vendedor Viajero”
• Tipo de Redes:
– Hopfield bidimensional con memoria continua.
• Característica:
– Problema del tipo NP (no-polinomial).
– Consiste en un problema de Optimización.
– Se debe utilizar redes con aprendizaje no supervisado.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
27
Formulación del Problema
• Condiciones:
• Un vendedor viajero debe visitar un número de
ciudades, visitándolas todas, solo una vez.
• Moverse de una ciudad a otra tiene un costo
asociado ( dependiendo de la distancia) .
• El vendedor viajero debe volver al punto de partida.
• Se debe encontrar la secuencia correcta que
minimiza el costo.
• (n!): 2n = número de recorridos distintos
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
28
Análisis del Problema
• Sea C1, C2, .., CK las ciudades involucradas.
• A cada ciudad se le asocia un número que
representa el orden en el que fue visitada.
–
–
–
–
La representación es binaria.
Ej: 1era ciudad = (1 0 0... 0)
Ej: 2da ciudad = (0 1 0 ... 0)
Etc...
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
29
Matriz que define el Problema
1 .... j1 .... j 2 .... K
1 .... 0 ..... 0 ..... 0
C1
.......... .......... .....
0 .... 1 ..... 0 ..... 0
C k1
.......... .......... ......
0 .... 0 ..... 1 ..... 0
C k2
.......... .......... ......
0 .... 0 ..... 0 ..... 1
Profesor: Dr. Héctor Allende
CK
Redes Neuronales Artificiales
30
Análisis del Problema
• La idea es construir una memoria de
Hopfied Bidimensional, tal que la salida es
la matriz Y que tiene la forma anterior, y
será la solución.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
31
Restricciones para Y
1. Cada ciudad no puede ser visitada más de 1 vez.
 Cada fila tiene no más de un 1.
2. 2 ciudades no pueden ser visitadas al mismo
tiempo  Cada columna no puede contener más
que un 1.
3. Todas las ciudades deben ser visitadas  Cada
fila o columna debe tener al menos un 1.
4. El costo o distancia total debe ser minimizado.
Sea dk1 k2 el costo entre las ciudades Ck1 y Ck2.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
32
Pesos asociados a las Neuronas.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
33
Construcción de los pesos.
1. Cada ciudad debe aparecer 1 vez en el
tour:
•
Una neurona en una fila debe inhibir todas las
otras de la misma fila.
w k 2 j 2 k 1 j1   A  k 1 k 2 (1  
(1 )
Profesor: Dr. Héctor Allende
),
j1 j 2
Redes Neuronales Artificiales
AR

34
Construcción de los pesos.
2. No debe haber con el mismo número de
orden en un tour.
•
Una neurona en una columna debe inhibir
todas las otras de la misma columna.
w k 2 j 2 k 1 j1   B 
(2)
Profesor: Dr. Héctor Allende
(1   k 1 k 2 ),
j1 j 2
Redes Neuronales Artificiales
BR

35
Construcción de los pesos.
3. La mayoría de las neuronas deben tener
valor cero entonces se debe usar
inhibición global
w k 2 j 2 k 1 j1   C
(3)
Profesor: Dr. Héctor Allende
CR
Redes Neuronales Artificiales

36
Construcción de los pesos.
4. Distancia total debe ser minimizada,
entonces las neuronas reciben entrada
inhibitoria proporcinal a la distancia.
w k 2 j 2 k 1 j1   Dd
(4)
(
k1 k 2
j1 j 2 '  1

),
j1 j 2 ´´  1
DR

donde
 0 si j1  1 y j 2  K
j2 '  
 j 2 e.t.o.c.
 K  1 si j1  K y j 2  1
j2 ' '  
 j 2 e.t.o.c.
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
37
Función de Energía
• Función de energía de la memoria discreta de
Hopfield:
E  
1
y Wy  y ( x  t )
T
T
2
• Formula de actualización:


y ( t  1)  y ( t )  Wy ( t )  C 1ˆ  y ( t )  [1ˆ  y ( t )]
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
38
Inicio del Algoritmo.
TSP 50 ciudades
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
39
Solución Encontrada.
TSP 50 ciudades
Profesor: Dr. Héctor Allende
Redes Neuronales Artificiales
40
Descargar

Capítulo 6