Análisis de Regresión Lineal
Curso de Verano ENCUP:
Introducción al análisis cuantitativo en ciencias sociales
Javier Aparicio
División de Estudios Políticos, CIDE
[email protected]
http://publiceconomics.wordpress.com/verano2009
Julio 2009
Análisis de regresión lineal
1. Ajustar una regresión lineal:
Yi  a  bX i
2. Estimar los parámetros: aˆ y bˆ
3. Interpretación del intercepto a
y la pendiente b
4. Bondad de ajuste
5. Pruebas de hipótesis
Scatterplot
Modelo lineal E(Y|X)
Modelo de probabilidad conjunta
¿PIBMercosur  PIBUruguay?
23.4
23
23.2
22.8
gdpuy
23.6
23.8
Relation between GDP in Mercosur and GDP in Uruguay
26.8
27
27.2
27.4
gdpmerco
27.6
27.8
1. Ajustando una regresión lineal
 Modelo probabilístico



Modelo poblacional:
Modelo muestral:
Modelo estimado:
Yi     X i   i
Y i  a  bX
i
 ui
ˆ
Yˆi  aˆ  b X i
 La diferencia ente Y y Yˆ es el error estimado:
n
2
ˆ
SSE   [Y i Y i ] 
i 1
n
2
ˆ
ˆ
 [Y i  a  b X i ]
i 1
 La línea de mejor ajuste minimiza la SSE:
queremos que el modelo explique la mayor
proporción de la varianza de Y.
2. Estimación por Mínimos Cuadrados
Ordinarios (OLS) – min(SSE)
Estimando el intercepto a:
n
SSE 
2
ˆ
ˆ
[
Y

a

b
X
]
 i
i
i 1
 SSE
 aˆ
n
ˆ
  2  [Y i  aˆ  b X i ]  0
i 1
ˆ
  2  Y i  2 n aˆ  2 b  X i  0  aˆ n 
ˆ
 aˆ  Y  b X
ˆ
Y

b
 i X
2. Estimación por Mínimos Cuadrados
Ordinarios (OLS) – min(SSE)
 Estimando la pendiente b:
n
SSE 

2
ˆ
ˆ
[Y i  a  b X i ]
i 1
n
 SSE
  2  [Y i  aˆ  bˆ X i ]  X i  0
 bˆ
i 1
... y al despejar
 bˆ 
 [X
i
bˆ resulta
 X ][ Y i  Y ]
i
 [X
I
en :
i
 X]
2
2. Estimación de a y b: ejemplo
 Supongamos que queremos verificar la predicción de Mundell-Fleming sobre el
efecto del PIB del resto del mundo en una economía pequeña como Uruguay.
Year
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
Sum
Mean
bˆ 
 [X
i
i
GDPmerco (X)
27.126
27.162
27.248
27.422
27.602
27.686
27.736
27.722
27.433
27.519
27.388
302.04
27.459
GDPuy (Y)
23.139
23.278
23.430
23.582
23.683
23.744
23.801
23.831
23.764
23.723
23.644
259.62
23.602
(Xi-Xbar)
-0.333
-0.296
-0.210
-0.036
0.143
0.228
0.277
0.264
-0.025
0.060
-0.071
0.00
(Yi-Ybar) [Xi-Xbar][Yi-Ybar] (Yi-Ybar)2
-0.463
-0.324
-0.172
-0.020
0.081
0.143
0.199
0.229
0.162
0.121
0.043
0.00
 X ][ Y i  Y ]
 [X
i
 X ]
2

0 . 447
 0 . 947
0 . 472
I
aˆ  Y  bˆ X  23 . 602  ( 0 . 947 )  27 . 459   2 . 391
0.154
0.096
0.036
0.001
0.012
0.032
0.055
0.060
-0.004
0.007
-0.003
0.45
0.214
0.105
0.030
0.000
0.007
0.020
0.040
0.053
0.026
0.015
0.002
0.51
(Xi-Xbar)2
0.111
0.088
0.044
0.001
0.021
0.052
0.077
0.069
0.001
0.004
0.005
0.47
Y i  a  bX i
 GDP UY i   2 . 391  0 . 947 GDP Merco
i
2. Estimación de a y b:
 Supongamos que queremos verificar la predicción de Mundell-Fleming sobre el
efecto del PIB del resto del mundo en una economía pequeña como Uruguay.
bˆ 
[X
i
 X ][ Y i  Y ]
i
[X
i
 X ]
2

0 . 447
 0 . 947
0 . 472
I
aˆ  Y  bˆ X  23 . 602  ( 0 . 947 )  27 . 459   2 . 391
Yi  a  bX
i
 GDP UY i   2 . 391  0 . 947 GDP Merco i
23
23.5
24
Relation between GDP in Mercosur and GDP in Uruguay
Merco i
22.5
GDP UY i   2 . 391  0 . 947 GDP
26.8
27
27.2
27.4
gdpmerco
gdpuy
Linear prediction
27.6
27.8
3. Interpretando los coeficientes
aˆ : es el intercepto
ˆ : es la pendiente
b
 GDP UY
i
  2 . 391  0 . 947 GDP
Merco i
Interpretación:
•-2.391: nivel esperado del GDP de Uruguay
independientemente del GDP de Mercosur, en logarítmo (no
muy importante aquí).
• 0.947: efecto marginal de una unidad adicional de GDP en
Mercosur en el GDP de Uruguay

Relación positiva, como lo predice la teoría de
Mundell-Fleming.
4. Bondad de ajuste
Mientras mayor es la
proporción de la
varianza de Y
explicada por el
modelo, mayor será la
bondad de ajuste del
modelo (R2)
24
Relation between GDP in Mercosur and GDP in Uruguay
ˆ  Y ]2
 [Y i
23.5
SSR 
 [Y i
Y]
2
23
SST 
 [Y
i
2
 Yˆ ]
22.5
SSE 
26.8
27
27.2
27.4
27.6
27.8
gdpmerco
gdpuy
Linear prediction
SST : Sum of Squares Total
SSR : Sum of Squres explained by Regression
SSE : Sum of Squares Error
R
2

SSR
SST
 1
SSE
SST
4. Bondad de ajuste: ejemplo
Year
1991
1992
1993
1994
1995
1996
1997
1998
1999
2000
2001
Sum
Mean
GDPmerco (X)
27.126
27.162
27.248
27.422
27.602
27.686
27.736
27.722
27.433
27.519
27.388
302.04
27.459
GDPuy (Y)
23.139
23.278
23.430
23.582
23.683
23.744
23.801
23.831
23.764
23.723
23.644
259.62
23.602
(Xi-Xbar)
-0.333
-0.296
-0.210
-0.036
0.143
0.228
0.277
0.264
-0.025
0.060
-0.071
0.00
SST
(Yi-Ybar) [Xi-Xbar][Yi-Ybar] (Yi-Ybar)2
-0.463
-0.324
-0.172
-0.020
0.081
0.143
0.199
0.229
0.162
0.121
0.043
0.00
Interpretación:
•82.8% de la variación del GDP en
Uruguay se puede “explicar” por la
variación en el GDP de Mercosur
(excluyendo Uruguay)
0.154
0.096
0.036
0.001
0.012
0.032
0.055
0.060
-0.004
0.007
-0.003
0.447
0.214
0.105
0.030
0.000
0.007
0.020
0.040
0.053
0.026
0.015
0.002
0.51

  [Y
SST 
SSE
2

SSE
(Yi-Yhat)2
0.111
0.088
0.044
0.001
0.021
0.052
0.077
0.069
0.001
0.004
0.005
0.472
0.022
0.002
0.001
0.000
0.003
0.005
0.004
0.000
0.034
0.004
0.012
0.088
2
[Y i  Y ]  0 . 51
SSR 
R
(Xi-Xbar)2
i
2
 Yˆ ]  0 . 088
ˆ  Y ]2
 [Y i
SSR
SST
 1
SSE
SST
 1
0 . 088
0 . 51
 0 . 828
5. Pruebas de hipótesis /
significancia de los coeficientes
 ¿Cómo hacer inferencias sobre la relación “poblacional”
entre X y Y?  Pruebas de hipótesis.
H 0:   0
H A:   0
 Estadístico t de Student:
ˆ
b  
t 
s
ˆ
b
 Si t > t* (valor estímado > valor crítico), rechazamos la H0 y
concluimos que  es signficativamente diferente de cero.
 Para calcular t, necesitamos el error estándar de :
SSE
sˆ 
b
sˆ
 [X
i

 X]
2
n2
 [X
i
 X]

2
MSE
5. Significancia estadística:
ejemplo
H 0:   0
H A:   0
sˆ
sˆ 
 [X
b
t 
bˆ  
s
*
t
SSE
bˆ
/ 2,n  2

i
n2

 X]
 [X
2
0 . 947  0
0 . 144
*
 t 0 . 025 , 9
0 . 088
i
 X]

2
9
0 . 472

0 . 099
 0 . 144
0 . 687
Dado que t>t*, rechazamos la
hipótesis nula y concluimos que
 es significativamente distinta
 2 . 685 de 0: el GDP en Mercosur afecta
el GDP en Uruguay.
 6 . 58
Descargar

Regresion Lineal - Investigadores CIDE