DERIVADO DE LOS COEFICIENTES DE REGRESIÓN LINEAL
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Y
6
Y3
Y2
5
4
3
Y1
2
1
0
0
1
2
3
X
Esta sequencia muestra cómo los coeficientes de regresión para un modelo de regresión
lineal simple son derivados, al utilizar el criterio de mínimos cuadrados (least squares
criterion OLS, for ordinary least squares).
1
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Y
6
Y3
Y2
5
4
3
Y1
2
1
0
0
1
2
3
X
Comenzaremos con un ejemplo númerico con sólo tres obervaciones: (1,3), (2,5), y (3,6).
2
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆ3  b1  3 b 2
Y
6
Y3
Y2
5
4
Yˆ2  b1  2 b 2
Yˆ1  b1  b 2
3
Y1
b2
2
b1
1
0
0
1
2
3
X
^
Al escribir la regresión ajustada comoY = b1 + b2X, determinaremos los valores de b1 y b2
que minimizan el RSS, es decir, la sumatoria del cuadrado de los residuales.
3
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆ3  b1  3 b 2
Y
6
Y3
Y2
5
4
Yˆ2  b1  2 b 2
Yˆ1  b1  b 2
3
e 1  Y 1  Yˆ1  3  b1  b 2
Y1
e 2  Y 2  Yˆ2  5  b1  2 b 2
b2
2
b1
e 3  Y 3  Yˆ3  6  b1  3 b 2
1
0
0
1
2
3
X
Dada la elección de b1 y b2, los residuales son los siguientes.
4
ANÁLISIS DE REGRESIÓN SIMPLE
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

9
2
2
b1 
2
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
e 1  Y 1  Yˆ1  3  b1  b 2
e 2  Y 2  Yˆ2  5  b1  2 b 2
e 3  Y 3  Yˆ3  6  b1  3 b 2
La sumatoria del cuadrado de los residuales es, por lo tanto, la que se muestra arriba.
5
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

9
2
2
b1 
2
2
b2 
2
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
6 b1  6 b 2  2 b1 b 2
 25 
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
Los cuadráticos han sido desarrollados.
6
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

9
2
2
b1 
2
2
b2 
2
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
6 b1  6 b 2  2 b1 b 2
 25 
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
La ecuación ha sido simplicada al juntar los términos similares.
7
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

9
2
2
b1 
2
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
 RSS
 b1
 RSS
 b2
0

6 b1  12 b 2  28  0
0

12 b1  28 b 2  62  0
Para un mínimo, las derivada parciales de RSS respecto a b1 y b2 deben ser cero. (También
debemos checar las condiciones de segundo orden).
8
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

9
2
2
b1 
2
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
 RSS
 b1
 RSS
 b2
0

6 b1  12 b 2  28  0
0

12 b1  28 b 2  62  0
Las condiciones de primer orden nos dan dos ecuaciones con dos incognitas.
9
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

9
2
2
b1 
2
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
 RSS
 b1
 RSS
 b2
0

6 b1  12 b 2  28  0
0

12 b1  28 b 2  62  0
 b1  1 . 67 ,
b 2  1 . 50
Al resolver el sistema de ecuaciones, encontramos que RSS es minimizado cuando b1 y b2
son iguales a 1.67 y 1.50, respectivamente.
10
DERIVIDO DE COEFICIENTES DE REGRESIÓN LINEAL
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆ3  b1  3 b 2
Y
6
Y3
Y2
5
4
Yˆ2  b1  2 b 2
Yˆ1  b1  b 2
3
Y1
b2
2
b1
1
0
0
1
2
3
X
Arriba encontraremos, nuevamente, el diagrama de dispersión.
11
True model : Y   1   2 X  u
Fitted line : Yˆ  1 . 67  1 . 50 X
Y
Yˆ3  6 . 17
6
Y3
Y2
5
4
Yˆ2  4 . 67
Yˆ1  3 . 17
3
Y1
2
1.67
1
1.50
0
0
1
2
3
X
La línea de ajuste y los valores ajustados de Y son los que se muestran en la gráfica.
12
Y
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yn
Y1
X1
Xn X
Ahora aplicaremos el mismo método para un caso general con n observaciones.
13
Y
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆn  b1  b 2 X n
Yn
Y1
b1
b2
Yˆ1  b1  b 2 X 1
X1
Xn X
Dada nuestra elección de b1 y b2, obtendremos una línea de ajuste como se muestra en el
diagrama.
14
Y
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆn  b1  b 2 X n
Yn
Y1
e1
b1
b2
Yˆ1  b1  b 2 X 1
X1
e 1  Y 1  Yˆ1  Y 1  b1  b 2 X 1
.....
e n  Y n  Yˆn  Y n  b1  b 2 X n
Xn X
Se define el residual de la primera obervación.
15
Y
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
en
Yˆn  b1  b 2 X n
Yn
Y1
e1
b1
b2
Yˆ1  b1  b 2 X 1
X1
e 1  Y 1  Yˆ1  Y 1  b1  b 2 X 1
.....
e n  Y n  Yˆn  Y n  b1  b 2 X n
Xn X
De la misma manera, definimos los residuales de las obervaciones restantes.
16
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

2
9
2
b1 
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
RSS  e 1  ...  e n  (Y 1  b1  b 2 X 1 )  ...  (Y n  b1  b 2 X n )
2

2
Y1 
2
2
2
b1 
b2 X 1 
2 b 1Y 1 
2 b 2 X 1Y 1 
2 b1 b 2 X 1
Yn 
b1 
b2 X n 
2 b 1Y n 
2 b 2 X nY n 
2 b1 b 2 X n
2
2
2
 ...


2
2
2
2
 Y i  nb 1  b 2  X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
2
2
2
La RSS,la sumatoria del cuadrado de los residuales, es definida para el caso general. Los
datos de ejemplo númerico se muestran para una comparación .
17
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

2
9
2
b1 
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
RSS  e 1  ...  e n  (Y 1  b1  b 2 X 1 )  ...  (Y n  b1  b 2 X n )
2

2
Y1 
2
2
2
b1 
b2 X 1 
2 b 1Y 1 
2 b 2 X 1Y 1 
2 b1 b 2 X 1
Yn 
b1 
b2 X n 
2 b 1Y n 
2 b 2 X nY n 
2 b1 b 2 X n
2
2
2
 ...


2
2
2
2
 Y i  nb 1  b 2  X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
2
2
2
Los cuadráticos son desarrollados.
18
RSS  e 1  e 2  e 3  ( 3  b1  b 2 )  ( 5  b1  2 b 2 )  ( 6  b1  3 b 2 )
2

2
9
2
b1 
2
b2 
2
2
6 b1  6 b 2  2 b1 b 2
2
 25 
b1  4 b 2  10 b1  20 b 2  4 b1 b 2
 36 
b1  9 b 2  12 b1  36 b 2  6 b1 b 2
2
2
2
2
2
 70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
2
RSS  e 1  ...  e n  (Y 1  b1  b 2 X 1 )  ...  (Y n  b1  b 2 X n )
2

2
Y1 
2
2
2
b1 
b2 X 1 
2 b 1Y 1 
2 b 2 X 1Y 1 
2 b1 b 2 X 1
Yn 
b1 
b2 X n 
2 b 1Y n 
2 b 2 X nY n 
2 b1 b 2 X n
2
2
2
 ...


2
2
2
2
 Y i  nb 1  b 2  X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
2
2
2
Se juntan los términos similares.
19
RSS  70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
 RSS
 b1
 RSS
 b2
RSS 
0

2
6 b1  12 b 2  28  0
 b1  1 . 67 ,
0

12 b1  28 b 2  62  0
 Y i  nb 1  b 2
2
b 2  1 . 50
2
2

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
Notese que en esta ecuación las observaciones de X y Y son sólo datos que determinan
los coeficientes en la ecuación de la RSS.
20
RSS  70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
 RSS
 b1
 RSS
 b2
RSS 
0

2
6 b1  12 b 2  28  0
 b1  1 . 67 ,
0

12 b1  28 b 2  62  0
 Y i  nb 1  b 2
2
b 2  1 . 50
2
2

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
La elección de variables en la ecuación son b1 y b2. Esto puede parecer un poco extraño
porque en los cursos introductorios de cálculo b1 y b2 son usualmente constantes y X y Y
son variables.
21
RSS  70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
 RSS
 b1
 RSS
 b2
RSS 
0

2
6 b1  12 b 2  28  0
 b1  1 . 67 ,
0

12 b1  28 b 2  62  0
 Y i  nb 1  b 2
2
b 2  1 . 50
2
2

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
Sin embargo, si tienes alguna duda, compara lo que estamos haciendo en el caso general
con lo hecho en el ejemplo numérico.
22
RSS  70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
 RSS
 b1
 RSS
 b2
RSS 
0

2
6 b1  12 b 2  28  0
 b1  1 . 67 ,
0

12 b1  28 b 2  62  0
 Y i  nb 1  b 2
2
 RSS
 b1
0
b 2  1 . 50
2

2

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
2 nb 1  2  Y i  2 b 2  X i  0
La primera derivada respecto a b1.
23
RSS  70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
 RSS
 b1
 RSS
 b2
RSS 
0

2
6 b1  12 b 2  28  0
 b1  1 . 67 ,
0

12 b1  28 b 2  62  0
 Y i  nb 1  b 2
2
 RSS
 b1
0
b 2  1 . 50
2

2

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i
2
2 nb 1  2  Y i  2 b 2  X i  0
nb 1 
Y
i
b 2  X i
b1  Y  b 2 X
Con una simple manipulación, obtenemos una expresión simplicada de b1.
24
RSS  70  3 b1  14 b 2  28 b1  62 b 2  12 b1 b 2
2
 RSS
 b1
 RSS
 b2
RSS 
0

2
6 b1  12 b 2  28  0
 b1  1 . 67 ,
0

12 b1  28 b 2  62  0
 Y i  nb 1  b 2
2
 RSS
 b1
 RSS
 b2
0
2

2

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i

2
2 nb 1  2  Y i  2 b 2  X i  0
nb 1 
0
b 2  1 . 50
Y
i
b 2  X i
b1  Y  b 2 X
2 b 2  X i  2  X i Y i  2 b1  X i  0
2
La primera derivada respecto a b2.
25
ANÁLISIS DE RESGRESIÓN LINEAL
 RSS
0
 b2
2 b 2  X i  2  X i Y i  2 b1  X i  0

2
b2  X i 
2
RSS 
 Y i  nb 1  b 2
2
 RSS
 b1
 RSS
 b2
0
2

2


X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i

2
2 nb 1  2  Y i  2 b 2  X i  0
nb 1 
0
X i Y i  b1  X i  0
Y
i
b 2  X i
b1  Y  b 2 X
2 b 2  X i  2  X i Y i  2 b1  X i  0
2
Dividir sobre 2.
26
 RSS
0
 b2
2 b 2  X i  2  X i Y i  2 b1  X i  0

2
b2  X i 
2
b2  X i 
2
RSS 
 Y i  nb 1  b 2
2
 RSS
 b1
 RSS
 b2
0
2

2


X i Y i  (Y  b 2 X )  X i  0

X i  2 b1  Y i  2 b 2  X i Y i  2 b1 b 2  X i

2
2 nb 1  2  Y i  2 b 2  X i  0
nb 1 
0
X i Y i  b1  X i  0
Y
i
b 2  X i
b1  Y  b 2 X
2 b 2  X i  2  X i Y i  2 b1  X i  0
2
Ahora subtituimos b1 al utilizar la expresión obtenida para ello y como resultado obtenemos
una ecuación que contiene solamente a b2.
27
 RSS
 b2
0
2 b 2  X i  2  X i Y i  2 b1  X i  0

2
b2  X i 
2
b2  X i 
2

b2  X i 
2

X i Y i  b1  X i  0
X i Y i  (Y  b 2 X )  X i  0

X i Y i  (Y  b 2 X ) n X  0
X


Xi
n

X i  nX
La definición de la media muestral ha sido utlizada.
28
 RSS
 b2
0
2 b 2  X i  2  X i Y i  2 b1  X i  0

2
b2  X i 
2
b2  X i 
2


X i Y i  b1  X i  0
X i Y i  (Y  b 2 X )  X i  0
b2  X i 

X i Y i  (Y  b 2 X ) n X  0
b2  X i 

X i Y i  n X Y  nb 2 X
2
2
2
 0
Los últimos dos términos han sido desarrollados.
29
 RSS
 b2
0
2 b 2  X i  2  X i Y i  2 b1  X i  0

2
b2  X i 
2
b2  X i 
2


X i Y i  b1  X i  0
X i Y i  (Y  b 2 X )  X i  0
b2  X i 

X i Y i  (Y  b 2 X ) n X  0
b2  X i 

X i Y i  n X Y  nb 2 X
2
2
b 2  X i  n X
2
2
 
2
 0
X iY i  n X Y
Los términos que no involucran a b2 han sido tranferidos al lado derecho.
30
b 2  X i  n X
2
 
X iY i  n X Y
b 2  X i  n X
2
 
X iY i  n X Y
2
2
Para crear espacio, la ecuación ha sido colocada en la parte superior de la diapositiva.
31
SIMPLE REGRESSION ANALYSIS
b 2  X i  n X
2
b2 
2
 
XY
X
i
2
i
i
X iY i  n X Y
 nXY
 nX
2
Ahora, obtenemos una expresión para b2.
32
b 2  X i  n X
2
b2 
b2 
2
 
XY
X
i
i
2
i
X iY i  n X Y
 nXY
 nX
2
  X  X Y  Y 
 X  X 
i
i
2
i
En la práctica debemos utilizar una expresión alternativa. A continuación, demostraremos
que son equivalentes.
33
b 2  X i  n X
2
b2 
b2 
2
 
XY
X
i
i
2
i
X iY i  n X Y
 nXY
 nX
2
  X  X Y  Y 
 X  X 
i
i
2
i
 X
i
 X
Y i
Y
 

 
 

 X Y   XY   XY
 Y  X  X  Y  nXY
X iY i 
X iY i
i
i
i
i
X iY i  Y  n X   X  n Y   n X Y
X iY i  n X Y
Al expandir el numerador, obtenemos los términos mostrados.
34
b 2  X i  n X
2
b2 
b2 
2
 
XY
X
i
i
2
i
X iY i  n X Y
 nXY
 nX
2
  X  X Y  Y 
 X  X 
i
i
2
i
 X
i
 X
Y i
Y
 

 
 

 X Y   XY   XY
 Y  X  X  Y  nXY
X iY i 
X iY i
i
i
i
i
X iY i  Y  n X   X  n Y   n X Y
X iY i  n X Y
En el segundo término el valor medio de Y (mean value of Y) es un facotr común. En el
tercero, el valor medio de X es un facotr común. El último término es el mismo para todas
las i.
35
b 2  X i  n X
2
X


b2 
Xi
n

b2 
X i  nX
2
 
XY
X
i
i
2
i
X iY i  n X Y
 nXY
 nX
2
  X  X Y  Y 
 X  X 
i
i
2
i
 X
i
 X
Y i
Y
 

 
 

 X Y   XY   XY
 Y  X  X  Y  nXY
X iY i 
X iY i
i
i
i
i
X iY i  Y  n X   X  n Y   n X Y
X iY i  n X Y
Utilizamos la definición de la media muestral para simplificar la expresión.
36
b 2  X i  n X
2
b2 
b2 
2
 
XY
X
i
i
2
i
X iY i  n X Y
 nXY
 nX
2
  X  X Y  Y 
 X  X 
i
i
2
i
 X
i
 X
Y i
Y
 

 
 

 X Y   XY   XY
 Y  X  X  Y  nXY
X iY i 
X iY i
i
i
i
i
X iY i  Y  n X   X  n Y   n X Y
X iY i  n X Y
Por lo tanto, hemos demostrado que los numeradores de ambas expresiones son iguales.
37
b 2  X i  n X
2
b2 
b2 
2
 
XY
X
i
i
2
i
X iY i  n X Y
 nXY
 nX
2
  X  X Y  Y 
 X  X 
i
i
2
i
 X
i
 X
Y i
 X i
Y
 X
2
 


X iY i  n X Y
X i  nX
2
2
El denominador es matematicamente un caso especial del numerador, al remplazar Y por X.
Por lo tanto, las expresiones son equivalentes.
38
DERIVADO DE LOS COEFICIENTES DE REGRESIÓN LINEAL
Y
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆn  b1  b 2 X n
Yn
Y1
b1
b2
Yˆ1  b1  b 2 X 1
X1
Xn X
El diagrama de dispersión se muestra nuevamente. Resumiremos lo que hemos hecho
hasta ahora. Formulamos una hipótesis que indica que el modelo verdadero es similar al
que se muestra en la gráfica, y obtuvimos algunos datos y ajustamos una línea.
39
DERIVADO DE LOS COEFICIENTES DE REGRESIÓN LINEAL
Y
True model : Y   1   2 X  u
Fitted line : Yˆ  b1  b 2 X
Yˆn  b1  b 2 X n
Yn
Y1
b1
b2
Yˆ1  b1  b 2 X 1
b1  Y  b 2 X
b2 
  X  X Y  Y 
 X  X 
i
i
2
i
X1
Xn X
Eleguimos los parametros de la líne de ajuste para lograr minimizar la suma del cuadrado
de los residuales. Como resultado, derivamosla ecuación para b1 y b2.
40
Copyright Christopher Dougherty 1999–2006. This slideshow may be freely copied for
personal use.
17.06.06
Descargar

No Slide Title