Redes Neuronales
Adaline y Madaline
Isadora Antoniano Villalobos
Saúl Murillo Alemán
Julio Alvarez Monroy
Arturo Garmendia Corona
Eduardo Martínez Moreno
Ulises Juárez Miranda
Introducción
Historia







1943 McCulloch y Pitts modelan red neuronal con
circuitos eléctricos
1949 Hebb escribe Organizational Behavior
1950’s IBM hace posible simular una red neuronal
1959 Widrow y Hoff desarrollan los modelos
ADALINE y MADALINE
1965 Dartmouth Summer Research Project on AI
Decepción – 20 años desperdiciados 1982
Hopefield demuestra matemáticamente la
viabilidad de las redes neuronales
Adaline
ADAptive LINear Element
Proceso de Aprendizaje
1.
2.
3.
Inicializar pesos (w1, ..., wn) y
threshold (w0)
Presentar vector de entrada (x1,...,xn)
y la salida deseada d(t)
Calcular la salida
 n

y ( t )  Fh   w i ( t ) * x i ( t ) 
 i0

donde Fh(a) = 1 si a>0 y
= -1 si a<=0
Proceso de Aprendizaje
4. Adaptar los pesos
n


w i ( t  1)  w i ( t )  h *  d ( t )   w k ( t ) * x k ( t )  * x i ( t )
k 0


donde 0 < i < n y h es la tasa de aprendizaje
5. Repetir los pasos 2 a 4 hasta que las salidas
reales y las deseadas sean iguales para
todos los vectores del conjunto de
entrenamiento
Least Mean Square
El error cuadrático para un conjunto de
entrenamiento particular es:

E   d (t ) 


 W i (t ) X i (t ) 
i 1

n
2
El error puede reducirse ajustando el
peso wi en la dirección del gradiente
E

negativo  W
i
Least Mean Square


2
E  d (t )  2 d (t )  W i (t ) X i (t )    W k (t ) X k (t ) 
i 1
 k 1

n
n
2
E
n


  2  d (t )   W k (t ) X k (t )  X i (t )
W i
k 1


El error local será reducido más rápidamente
si se ajustan los pesos de acuerdo a la regla
delta:
n

 W 1 ( t  1)  h  d ( t ) 


 W k (t ) X k (t )  X i (t )
k 1

Madaline
Many ADALINEs (Multiple ADAptive
LINear Element)
Proceso de Aprendizaje
2.
Inicializar pesos (w1, ..., wn) y threshold (w0)
Presentar vector de entrada (x1,...,xn) y la salida
deseada dk(t)
3.
Calcular la salida
1.
 n

y k ( t )  Fh   w ki ( t ) * x i ( t ) 
 i0

donde Fh(a) = 1 si a>0 y
= -1 si a<=0
yk(t) es la salida del Adaline k
4. Determinar la salida del Madaline
M(t)=Fmayoría(yk(t))
Proceso de Aprendizaje
5. Determinar el error y actualizar los pesos
Si M(t) = salida deseada no se actualizan
de otro modo, los elementos Adaline compiten y se
actualiza el ganador
n


w ci ( t  1)  w ci ( t )  h *  d ( t )   w cl ( t ) * x l ( t )  * x i ( t )
l0


donde 0 < i < n y h es la tasa de aprendizaje. c representa al Adaline ganador
6. Repetir los pasos 2 a 5 hasta que las salidas reales y
las deseadas sean iguales para todos los vectores
del conjunto de entrenamiento
Aplicaciones
Cancelación de Ruido
Cancelación de Ruido (Cont.)
Cancelación de la interferencia de 60hz en un ECG
Cancelación de la interferencia de 60hz en un ECG
Cancelación del ECG Materno durante un ECG Fetal
Cancelación del ECG Materno durante un ECG Fetal
Cancelación del ECG Materno durante un ECG Fetal
Descargar

Adaline y Madaline