Tema 7: Regresión Simple
y Múltiple
EJEMPLO:
Nos dicen que la fórmula
N º prestamos
 25  0 '3 Días
Aproxima bien el número de préstamos que efectúa una biblioteca a
lo largo de su primer año de vida.
Si damos valores a la variable Días (nº días transcurridos desde
la apertura de la biblioteca…
N º prestamos
 25  0 '3 Días
N ºp re sta m o s
120
100
80
60
40
20
0
0
100
200
Días
300
400
Si dos variables X e Y está relacionadas mediante una expresión
del tipo Y=a+bX, la gráfica que relaciona los valores de X e Y es
una línea recta, y se dice que Y=a+bX es la ecuación de dicha
recta; el recíproco es cierto, es decir, si la gráfica que
relaciona X e Y es una recta, entre ambas existe una relación del
tipo Y=a+bX. En ese caso, decimos que entre X e Y hay una
relación de tipo lineal.
En la realidad, no nos encontramos fórmulas tan “redondas”, pero
sí nos encontramos fenómenos que pueden aproximarse por ellas.
EJEMPLO: Supongamos que una biblioteca
proporcionó los siguientes datos, a lo largo
de su primer año de vida
Días
Nº
prestamos
5
25
20
32
35
40
50
39
65
47
80
51
95
56
110
54
135
69
150
72
165
76
180
77
195
86
210
90
235
98
250
102
265
105
280
110
295
113
310
120
N º p re sta m o s
120
100
80
60
40
20
0
0
100
200
Días
300
400
APROXIMADAMENTE,
Nº prestamos = 24,5529 + 0,301579*Días
En este caso, diríamos que las variables Nº préstamos y Días están
linealmente correlacionadas, y que lo de arriba es la ecuación de
la recta de regresión de Nº préstamos sobre Días.
¿Para qué nos sirve? (1) para conocer leyes
empíricas; (2) para predecir el valor de una cierta
variable
PROBLEMAS: Dadas dos variables X e Y, continuas
1.- [Correlación] ¿Existe una cierta relación entre ellas, o por el contrario son
independientes? En el primer caso, hablamos de que entre X e Y
hay correlación; en el segundo, decimos que son incorreladas
2.- [Correlación lineal] Suponiendo que entre X e Y hay correlación, ¿están
linealmente correlacionadas, es decir, funciona suficientemente bien un
modelo del tipo Y = a+bX para predecir Y a partir de X? ¿Cuáles son los
“óptimos” valores para a y b, es decir, los que producen “mejores” estimaciones?
3.- [Otros tipos de correlación] ¿Hay algún modelo mejor que el lineal
que permita estimar Y a partir de X? Por ejemplo,
Cuadrático: Y=a+bX+bX2
Exponencial: Y=a bx
…
Otro ejemplo (Leyes bibliométricas)
Curva logística del crecimiento
de la información
1. Distribuciones bidimensionales. Correlación.
Cuando en una población registramos simultáneamente los valores
de dos variables X e Y, decimos que estamos ante una distribución
BIDIMENSIONAL (PIZARRA: distribuciones marginales)
Los datos relativos a una distribución bidimensional se pueden
representar gráficamente mediante una NUBE DE PUNTOS, o
DIAGRAMA DE DISPERSION (PIZARRA)
Si la nube de puntos se ajusta aproximadamente a una curva, diremos
que las variables están correlacionadas, es decir, que existe una cierta
relación entre ellas (y buscaremos cuál es la expresión, la “fórmula” que
mejor aproxima una de ellas partir de la otra); en caso contrario, decimos
que las variables son incorreladas, es decir, que no tienen relación.
120
100
80
Hay correlación
60
40
20
0
0
100
200
300
400
15
12
Incorreladas
9
6
3
0
0
100
200
300
400
Además de la “inspección” de la nube de puntos,
hay métodos más exactos para evaluar la existencia
o no de correlación.
Si la nube de puntos parece ajustarse en torno a alguna curva (es
decir, si hay correlación), la forma de dicha curva nos indica el tipo
de correlación. Si la nube de puntos parece agruparse en torno a
una recta, diremos que hay correlación lineal, o que las variables
están linealmente correlacionadas.
120
100
80
60
40
20
0
0
100
200
300
400
Si las variables están linealmente correlacionadas, entonces tiene
sentido buscar la recta que “mejor se ajusta” a la nube de puntos,
es decir, la recta que globalmente está más cerca del conjunto de
puntos. Si nuestra intención al hacer eso es la de estimar Y a partir
de X, entonces encontrar dicha recta es equivalente a encontrar la
mejor aproximación
Y=a+bX
(RECTA DE REGRESION DE Y SOBRE X)
¿Cómo tomar a, b para que la aproximación sea
“óptima”?
2. Regresión lineal sobre un conjunto de puntos.
PROBLEMA 1: Dada una distribución bidimensional (X,Y), determinar
si las variables X e Y están o no linealmente correlacionadas, y la
fuerza de dicha correlación lineal.
PROBLEMA 2: Suponiendo que X e Y están linealmente correlacionadas,
determinar la recta de regresión de Y sobre X, es decir, a y b de modo
que, aproximadamente, Y=a + bX.
PROBLEMA 1: Dada una distribución bidimensional (X,Y), determinar
si las variables X e Y están o no linealmente correlacionadas, y la
fuerza de dicha correlación lineal.
- Nube de puntos.
- Coeficiente de correlación lineal de Pearson. (PIZARRA)
- Coeficiente de correlación lineal de Spearman.
- Coeficiente de determinación ó R-cuadrado ó % de variabilidad
explicada.
PROBLEMA 2: Suponiendo que X e Y están linealmente correlacionadas,
determinar la recta de regresión de Y sobre X, es decir, a y b de modo
que, aproximadamente, Y=a + bX.
Y  a  bX
(Ecuación recta de regresión de Y sobre X)
Conocida la recta de regresión, podemos estimar los valores de Y
correspondientes a distintos valores de X.
yˆ i  a  bx i
Valor predicho, o estimado
120
100
80
60
y i :valor real
40
20
0
0
100
200
300
400
120
100
80
60
yˆ i
40
20
0
0
100
Valor predicho:
200
300
yˆ i  a  bx i
400
120
100
Residuo: diferencia
entre el valor real
y el valor predicho
80
60
yˆ i
40
20
0
0
100
Valor predicho:
200
300
yˆ i  a  bx i
400
R-cuadrado ó Coeficiente de Determinación ó % de variabilidad
explicada… (PIZARRA)
Statgraphics
3. El modelo de regresión lineal.
Sabemos decidir si, aproximadamente, un conjunto (xi,yi) de puntos
(datos) se ajusta o no a Y=a+bX. Pero, teniendo en cuenta que esos
datos son una MUESTRA de una población…
¿SIGUE SIENDO “APROXIMADAMENTE”
VALIDO Y=a+bX cuando tomamos
NO una muestra (xi,yi), sino cuando consideramos
TODA LA POBLACION? ¿Qué queremos
decir por “aproximadamente”?
Modelo de regresión lineal:
1.
Decimos que dos variables (poblacionales!)
están linealmente correlacionadas, si:
y i  a  bx i   i
residuo
Y: variable explicada
X: regresor
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
2+ 4+ 5= Residuos siguen una normal N(0,σ)
Gráfico del Modelo Ajustado
56
P re sta m o s
51
46
41
36
31
26
8
12
16
20
24
28
32
Semanas
“La varianza de los residuos no depende de xi (homocedasticidad)”
Modelo de regresión lineal:
1.
Hipótesis básicas:
y i  a  bx i   i
residuo
Y: variable explicada
X: regresor
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
2, 4 y 5 pueden contrastarte guardando los residuos, y procediendo
como en otras ocasiones.
Modelo de regresión lineal:
1.
Hipótesis básicas:
y i  a  bx i   i
residuo
Y: variable explicada
X: regresor
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
3 lo contrastaremos con los gráficos de residuos,
y comprobando que no haya residuos atípicos.
Gráfico del Modelo Ajustado
56
P re sta m o s
51
46
41
36
Homocedasticidad
“aceptable”
31
26
8
12
16
20
Semanas
24
28
32
Modelo de regresión lineal:
1.
Hipótesis básicas:
y i  a  bx i   i
residuo
Y: variable explicada
X: regresor
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
¿Cómo CONTRASTAR?
¿Cómo CONTRASTAR?
a.- Inspección del diagrama de dispersión, valores de los coeficientes
de correlación de Pearson y Spearman (si el ajuste no funciona bien
para la muestra, difícilmente lo hará para la población).
b.- Contraste tipo ANOVA sobre la existencia o no de correlación lineal.
COEFICIENTE DE DETERMINACION. = Contraste sobre la pendiente
de la recta de regresión.
c.- ¿Cómo podemos estar seguros de que, en la población, los coeficientes de Pearson y Spearman no serían 0 (en cuyo caso, no habría
correlación lineal)? Contraste de hipótesis.
(Explicación: PIZARRA)
- Eliminación de parámetros (simplificación del modelo):
y i  a  bx i   i
Si aceptamos el contraste H0: a=0, entonces la recta de regresión
que obtenemos es y = bx (una fórmula más sencilla): se dice entonces
que hemos simplificado nuestro modelo.
¿Qué hacer si falla alguna hipótesis? (algunas ideas sobre esto…)
(APUNTES)
1.
y i  a  bx i   i
residuo
Y: variable explicada
X: regresor
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
Statgraphics
4. El modelo de regresión múltiple.
PROBLEMA: Hemos recogido datos sobre usuarios de mediana edad
de una biblioteca en la que además se realizan actividades tanto para
niños como para adolescentes y adultos, y estamos interesados en
analizar cuáles son las variables que determinan el nivel de satisfacción
de sus usuarios; las variables recogidas son: afición a la lectura, al cine,
a la música, número de hijos, renta… y, por supuesto, nivel de satisfacción.
Aficion_lectura
4
3
5
2
4
3
5
3
3
1
4
5
5
5
2
4
3
1
2
1
5
2
4
4
5
Num_hijos
0
0
1
2
1
1
3
0
1
3
0
0
2
2
1
2
3
1
1
0
1
2
1
1
2
Aficion_cine Aficion_musica renta_mens Nivel_estudios
3
5
1200
4
3
4
1500
5
4
1
1800
3
1
3
1000
2
5
3
1300
3
3
4
1900
1
4
5
1300
4
2
3
1200
4
4
1
1600
2
2
1
1400
2
5
4
1700
3
5
5
2500
4
4
4
1100
5
5
3
1400
3
1
4
1800
4
5
4
2000
4
2
4
1500
4
2
3
1000
2
2
2
1300
3
2
5
1600
4
4
4
1800
3
3
3
1200
4
5
5
1700
2
4
3
1500
5
4
5
1100
5
Aficion_TV Satisfaccion
4
4
4
3
5
5
2
3
4
4
4
3
5
5
4
3
5
4
1
2
4
4
5
5
3
5
4
5
3
3
5
5
3
3
2
2
3
3
4
2
4
4
4
4
5
4
4
4
5
5
El modelo de regresión simple es, a priori, poco realista (parece poco
probable que el nivel de satisfacción dependa de una única variable,
más bien lo natural es que en él intervengan varias variables). En consecuencia, ensayamos no con
Y=a+bX
sino con
Y=a+b1X1+ … +bnXn
regresores
Variable respuesta
(en nuestro caso,
“nivel de satisfacción”)
Por ejemplo, en el problema anterior, la fórmula a la que llegaremos
es:
Satisfaccion = 0,686829 + 0,134472*Aficion_cine +
0,436889*Aficion_lectura - 0,0904825*Aficion_musica +
0,234494*Aficion_TV + 0,113699*Nivel_estudios + 0,206893*Num_hijos 0,0000595998*renta_mens
Aquí, Y=Satisfacción, X1=Afición_cine, X2=Aficion_lectura, etc.
Sirve para:
- predecir.
- detectar influencias (qué variables tienen más “poder” sobre la
variable que nos interesa, etc.)
Modelo de regresión múltiple:
1.
y i  a  b1 x 1      b n x n   i
residuo
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
6. Las variables x1, x2, etc. no están linealmente correlacionadas
entre sí.
Modelo de regresión múltiple:
1.
y i  a  b1 x 1      b n x n   i
residuo
2. Los residuos tienen media 0.
3. La varianza de los residuos no depende de xi (homocedasticidad)
4. Los residuos son normales.
5. Los residuos son aleatorios.
6. Las variables x1, x2, etc. no están linealmente correlacionadas
entre sí.
2+ 4+ 5= Residuos siguen una normal N(0,σ)
Descargar

Regresión.