3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)
-
Upload
biblioteca-computacion -
Category
Documents
-
view
218 -
download
2
description
Transcript of 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)
![Page 1: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/1.jpg)
Aprendiendo con valores no booleanos
El hombre bueno, del buen tesoro del corazón saca buenas cosas; y el hombre malo, del mal tesoro saca malas cosas
JesucristoMt.12.35
![Page 2: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/2.jpg)
Espacio de atributos Los atributos pueden ser mucho mas
complejos Opciones frente a un conjunto discreto
grande Si el conjunto no es ordenado (por ejemplo
4 diferencias que tienen los carros), use atributos binarios para codificar los valores(1000, 0100, 0010, 0001)
Si el conjunto es ordenado, trátelo como valores reales
![Page 3: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/3.jpg)
Espacio de atributos Los atributos pueden ser mucho mas
complejos Opciones frente a un conjunto discreto
grande Si el conjunto no es ordenado (por ejemplo
4 diferencias que tienen los carros), use atributos binarios para codificar los valores(1000, 0100, 0010, 0001)
Si el conjunto es ordenado, trátelo como valores reales
Valores reales: trate que las entradas cuyos atributos tiene valores “cercanos” vayan a tener salidas “cercanas”
![Page 4: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/4.jpg)
Prediciendo la bancarrotaL R B3 0.2 No1 0.3 No4 0.5 No2 0.7 No0 1.0 No1 1.2 No1 1.7 No6 0.2 Si7 0.3 Si6 0.7 Si3 1.1 Si2 1.5 Si4 1.7 Si2 1.9 Si
0 0.5 1 1.5 2 R
8765
L 43210
Si No
L: # de pagos tardíos / añoR: gastos / ingresos
![Page 5: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/5.jpg)
El querido vecino cercano Recuerde todos sus datos Cuando alguien hace una consulta
• Encuentre el viejo punto de datos mas cercano
• Retorne la respuesta asociada con el
?
![Page 6: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/6.jpg)
Qué significa el “más cercano”? Se necesita una función de la distancia en
las entradas Típicamente usamos distancia Euclidiana
(longitud de una línea recta entre dos puntos)
• D(xi, xk) = √Σ(xij,- xk
j) j
![Page 7: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/7.jpg)
Qué significa el “más cercano”?
Se necesita una función de la distancia en las entradas
Típicamente usamos distancias Euclidianas (longitud de una línea recta entre dos puntos)
• D(xi, xk) = √Σ(xij, xk
j)• j
La distancia entre cadenas de caracteres podría ser el número de ediciones requeridas para cambiar el uno en otro (Ej. Cadenas de DNA).
![Page 8: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/8.jpg)
Escalamiento Que pasa si tratamos de predecir el
kilometraje de combustible de un carro?• F1 = peso en libras• F2 = número de cilindros
![Page 9: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/9.jpg)
Escalamiento Que pasa si tratamos de predecir
el consumo de combustible de un carro?
• F1 = peso en libras (cientos)• F2 = numero de cilindros(4 y 8)
Cualquier efecto de F2 estará completamente perdido debido a la escala relativa.
![Page 10: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/10.jpg)
Escalamiento Que pasa si tratamos de predecir el
consumo de combustible de un carro?• F1 = peso en libras• F2 = numero de cilindros
cualquier efecto de F2 estará completamente perdido debido a la escala relativa
Por tanto re- escalamos las entradas
![Page 11: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/11.jpg)
Escalamiento Que pasa si tratamos de predecir el
consumo de combustible de un carro?• F1 = peso en libras• F2 = numero de cilindros
Cualquier efecto de f2 estará completamente perdido debido a la escala relativa
Por tanto re- escalamos las entradas X’= (X – X) / σX
PROMEDIO
DESVIACIÓN ESTANDARD
√varianza
![Page 12: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/12.jpg)
Prediciendo la bancarrota
0 0.5 1 1.5 2 R
8765
L 43210
Si No
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 13: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/13.jpg)
Prediciendo la bancarrota
0 0.5 1 1.5 2 R
8765
L 43210
Si No
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
R=0.3L=2Y?
![Page 14: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/14.jpg)
Prediciendo la bancarrota
0 0.5 1 1.5 2 R
8765
L 43210
Si No
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 15: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/15.jpg)
Prediciendo la bancarrota
0 0.5 1 1.5 2 R
8765
L 43210
Si No
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 16: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/16.jpg)
Prediciendo la bancarrota
0 0.5 1 1.5 2 R
8765
L 43210
Si No
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 17: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/17.jpg)
Prediciendo la bancarrota
0 0.5 1 1.5 2 R
8765
L 43210
Si No
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 18: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/18.jpg)
Prediciendo la bancarrota8765
L 43210
Si No
D(xi, xk) = √Σ(Li, Lk)2 + (5Ri - 5Rk) 2
j
0 0.5 1 1.5 2 R
la hipótesis? Es diferente porque no se esta construyendo
![Page 19: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/19.jpg)
HipótesisSi No
0 0.5 1 1.5 2 R
8765
L 43210
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 20: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/20.jpg)
HipótesisSi No
0 0.5 1 1.5 2 R
8765
L 43210
D(xi, xk) = √Σ(Li - Lk)2 + (5Ri - 5Rk) 2
j
![Page 21: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/21.jpg)
Tiempo y espacio El aprendizaje es rápido
Solo hay que recordar
![Page 22: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/22.jpg)
Tiempo y espacio Aprendizaje es rápido Buscar toma cerca de m*n cálculos
• M= cantidad de puntos en el conj de entrenamiento• N= cantidad de atributos
Almacenar datos en un ingenioso estructura de datos(árbol KD ) reduce esto en promedio a log(m)*n
![Page 23: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/23.jpg)
Tiempo y espacio Aprendizaje es rápido Buscar toma cerca de m*n cálculos
Almacenar datos en un ingenioso estructura de datos(árbol KD ) reduce esto en promedio a log(m)*n
Memoria pude saturarse con todos los datos
![Page 24: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/24.jpg)
Tiempo y espacio Aprendizaje es rápido Buscar toma cerca de m*n cálculos
Almacenar datos en un ingenioso estructura de datos(árbol KD ) reduce esto en promedio a log(m)*n
Memoria pude saturarse con todos los datos Borre los puntos que están lejos de las fronteras
![Page 25: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/25.jpg)
Ruido
0 0.5 1 1.5 2 R
8765
L 43210
Al menos dos formas de tratar con esta situación
Si No
![Page 26: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/26.jpg)
Ruido
0 0.5 1 1.5 2 R
8765
L 43210
consulta
Si No
![Page 27: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/27.jpg)
Ruido
0 0.5 1 1.5 2 R
8765
L 43210
consulta
Si No
![Page 28: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/28.jpg)
Ruido
0 0.5 1 1.5 2 R
8765
L 43210
Cambiando el algoritmo a k vecinos más cercanos. Encontrando los k puntos mas cercanos
Si No
![Page 29: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/29.jpg)
Ruido
0 0.5 1 1.5 2 R
8765
L 43210
Encontrando los k puntos mas cercanosPrediciendo la salida de acuerdo a la mayoría
Si No
![Page 30: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/30.jpg)
Ruido
0 0.5 1 1.5 2 R
8765
L 43210
Encontrando los k puntos mas cercanosPrediciendo la salida de acuerdo a la mayoríaEscoja k con validación cruzada
Si No
![Page 31: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/31.jpg)
Curso de dimensionalidad El vecino más cercano trabaja bien con
dimensiones bajas (cerca de 6) Cuando n se incrementa, las cosas se ponen
raras:
![Page 32: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/32.jpg)
Curso de dimensionalidad El vecino mas cercano trabaja bien en
dimensiones bajas (cerca de 6) y espacios con valores reales.
Cuando n se incrementa, las cosas se ponen raras: En la alta dimensión, casi todos los puntos están
lejos uno de otro. Ellos casi siempre están cerca de la frontera.
![Page 33: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/33.jpg)
Curso de dimensionalidad El vecino mas cercano es mayor en dimensiones
bajas (cerca de 6) Cuando n se incrementa, las cosas se ponen raras:
En la alta dimensión, casi todos los puntos están lejos uno de otro.
Ellos casi siempre están cerca de la frontera.
Imagine los puntos datos dispersos uniformemente en un cubo de 10 dimensiones
Para capturar 10% de los puntos, necesitará un cubo con lados .63!
Remedio: seleccione los atributos o los modelos más globales.
![Page 34: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/34.jpg)
Evaluación del domino Enfermedades cardíacas: predecir si una
persona tiene una limitación significativa en las arterias, basada en los exámenes 26 atributos 297 puntos datos
![Page 35: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/35.jpg)
Evaluación del domino Enfermedades cardíacas: predecir si una
persona tiene una limitación significativa en las arterias, basada en los exámenes 26 atributos 297 puntos dato
Carro MPG: predecir si un auto hace mas de 22 millas por galón, basado en atributos del carro 12 atributos 385 puntos dato
![Page 36: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/36.jpg)
Enfermedad cardiaca Relativamente insensible a k
10.8
0.6
0.40.20
0 20 40 K
Exactitud de la validación cruzada del vecino mas cercano sobre datos de enfermedades cardiacas.
Exactitud de clasificación
![Page 37: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/37.jpg)
Afectación del corazón Relativamente insensible a k Importancia de la normalización
Normalizada10.8
0.6
0.40.20
0 20 40 k
![Page 38: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/38.jpg)
Carro MPG Relativamente insensible a k Normalización no importa mucho
10.8
0.6
0.40.20
0 20 40 k
![Page 39: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/39.jpg)
Carro MPG Ahora la normalización importa mucho Observe la escala de sus grafos
Normalizada
0.950.93
0.91
0.890.870.85
0 20 40 K
![Page 40: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/40.jpg)
Tomado del Instituto Tecnológico de Massachusetts www.owc.mit.edu6.034 Artificial Intelligence 2004
Archivo: ch6-mach2.pdf
![Page 41: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/41.jpg)
Ejercicios1.- Este problema trata con datos de entrada que tienen un solo atributo “x”. La salida es de dos clases, dada por los valores “y”. Se presenta la siguiente tabla de valores.
Responda: Cuál sería la salida cuando x=9?
a. Con el K-Vecino más cercano (K-VC), cuando k=1?
b. Y Cuándo K-VC=5?
x y1 02 13 14 06 17 110 011 1
![Page 42: 3.4 Aprendizaje No Bool - Vecino + Cercano 2011 (42)](https://reader030.fdocument.pub/reader030/viewer/2022020309/568c356f1a28ab0235943df7/html5/thumbnails/42.jpg)
2.- Represente los siguientes datos en un plano cartesiano:Negativos: (-1, 0), (2, 1), (2, -2) Positivos(0, 0), (1, 0)a) Dibuje la línea divisoria para 1- Vecino más Cercano.b) Cómo se predeciría con 1-VC este nuevo punto: (1, -1.01). Explique por qué?