Aprendizaje (Machine Learning)



Pregunta interesante: Podemos hacer que
las computadoras aprendan?
Aprender: mejorar automáticamente con
la experiencia.
Gran impacto en tipo de aplicaciones de la
computación
Aplicaciones
Reconocimiento de voz: Aplicaciones mas
exitosas utilizan algoritmos de ML Redes
Neurales, modelos de Markov, etc.
Vehículos autónomos: entrenamiento de
vehículos controlados por computadora.
ALVIN (1989), maneja sin asistencia a 112
Km/h por 150 Kms en autopistas públicas
entre otros carros.
Aplicaciones (Continuación)
Reconocimiento de nuevas estructuras astronómicas:
Grandes bases de datos obtener regularidades en los
datos. Ejemplo, la NASA ha aplicado árboles de decisión
para aprender a clasificar objetos astronomicos. 3
Terabytes de datos de Imágenes, obtenidos por el
observatorio Palomar.
Juegos de mesa como el Backgammon: Basados en
algoritmos de ML, ejemplo TD-Gammon aprendió
estregegias de juego a partir de jugar mas de un millon
de juegos de práctica consigo mismo. Ahora tiene un
nivel competitivo con los campeones mundiales.
Resultados Teóricos



Caracterización de la relación fundamental entre
el número de ejemplos de entrenamiento
observados, el número de hipotesis bajo
consideración y el error esperado en las
hipotesis aprendidas
Modelos de aprendizaje animal y humano, y su
relación con los algoritmos de aprendizaje
(Ver Slides de Mitchell -> Importancia de ML y
aplicaciones)
Problema Bien Formulado


Aprendizaje: cualquier programa computacional
que mejore su desempeño en alguna tarea a
traves de la experiencia
Definición: Se dice que un programa aprende de
la experiencia E con respecto a alguna clase de
tareas T y medida de desempeño P, si su
desempeño en las tareas en T, medido con P,
mejoran con la experiencia E.
Problema de reconocimiento de escritura a mano:
• Tarea T : reconocimiento y clasificación de palabras escritas
en una imagen
• Medida de desempeño P : Porcentaje de palabras
correctamente clasificadas
• Experiencia de Entrenamiento E : Base de datos de palabras
escritas a mano con su clasificación correcta.
Problema de navegación en robots:
• Tarea T : manejar en una autpista pública de 4 canales
utilizando sensores de visión
• Medida de desempeño P : distancia promedio transcurrida
sin errores (ha ser juzgados por un observador humano)
• Experiencia de Entrenamiento E: Secuencia de imágenes y
comandos al volante grabados al observar un conductor
humano.
Experiencia de Entrenamiento


Impacto en el éxito o fracaso del aprendizaje
Atributos



Evidencia (feedback) directa o indirecta (problema de
asignación de crédito)
Grado en que el aprendiz elije los ejemplos de
entrenamieto
Distribución de ejemplos de entrenamiento en
relación con situación final de prueba
Escogencia de la Función Objetivo
Qué tipo de conocimiento será aprendido?
1.
Programa para jugar damas capaz de generar jugadas
legales a partir de cualquier estado del tablero
2.
Escoger la mejor entre las jugadas legales
Formalmente: Choose Move: B -> M
B: Estados del tablero, M: Jugadas legales
Problema: Muy difcil de aprender dada la experiencia
indirecta.

Alternativa: Función numérica que asigna un valor a
cada estado del tablero: V: B -> R
Si se aprende V, el sistema puede jugar:









Generando estados sucesores al estado actual (movidas
legales)
Escogiendo el mejor sucesor
Definición de V (ver slides de Mitchell)
V no es operacional, no puede computarse
eficientemente. Es el ideal, necesitamos una
aproximación V* que pueda calcularse
Como representar V* ?
Queremos una representación expresiva, pero
mientras mas expresiva, mas datos de entrenamiento
requeriría
Reducción problema de aprendizaje: Determinar
valores de 6 coeficientes en la función objetivo
Algoritmo para estimar V*


Estimar valores de entrenamiento: Conjunto de pares
<b,Vtrain(b)>, Ej: <(3,0,1,0,0,0),+100> a partir de la
experiencia indirecta (ver slides Mitchell)
Ajuste de los pesos: Encontrar pesos que mejor ajusten
ejemplos de entrenamiento




Como definir mejor auste? Minimización del Error cuadrático
E = (Vtrain(b) – V*(b)2
Buscar pesos que minimicen E para todos los ejemplos de
entrenamiento
Algoritmo de Mínimos Cuadrados LMS (Ver slides Mitchell)
Diseño Final
Nuevo problema
Generador
Experimentos
Sistema de
Desempeño
Traza de solución
(historia de juego)
Hipótesis V*
Generalizador
(LMS)
Crítico
Vtr(b) = V*(Suc(b))
Ejemplos de
Entrenamiento
Descargar

Clase1-Introd