MODELO DE REGRESIÓN SIMPLE
Y
Y  b1  b2X
b1
X1
X2
X3
X4
X
Suponemos que una variable Y es una función lineal de otra variable X, con parámetros
desconocidos b1 y b2 que queremos estimar.
1
MODELO DE REGRESIÓN SIMPLE
Y
Y  b1  b2X
b1
X1
X2
X3
X4
X
Suponemos que existe una muestra de 4 observaciones con X valores como se muestra en
la gráfica.
2
MODELO DE REGRESIÓN SIMPLE
Y
Y  b1  b2X
b1
Q1
X1
Q2
X2
Q3
X3
Q4
X4
X
Si la relación fuera exacta, las observaciones deberían de hallarse sobre una línea recta y
no tendríamos problema en obtener los valores de b1 y b2.
3
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y  b1  b2X
P1
b1
Q1
X1
Q2
P2
X2
Q3
Q4
P3
X3
X4
X
En la práctica , la relación entre observaciones no es exacta y el valor de Y es diferente al
correspondiente a una línea recta.
4
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y  b1  b2X
P1
b1
Q1
X1
Q2
P2
X2
Q3
Q4
P3
X3
X4
X
Para permitir esa divergencia, escribiremos el modelo como Y = b1 + b2X + u, donde u es el
término de error.
5
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y  b1  b2X
u1 P1
b1
Q1
Q2
P2
Q3
Q4
P3
b1  b2X 1
X1
X2
X3
X4
X
Por lo tanto, cada valor de Y tiene un componente no aleatorio, b1 + b2X, y un componente
aleatorio, u. La primera observación fue separada en estos dos componentes.
6
MODELO DE REGRESIÓN SIMPLE
P4
Y
P1
P2
X1
X2
P3
X3
X4
X
En la práctica sólo podemos observar los puntos P.
7
MODELO DE REGRESIÓN SIMPLE
P4
Y
Yˆ  b1  b 2 X
P1
P2
b1
X1
X2
P3
X3
X4
X
Obviamente, podemos utilizar los puntos P para dibujar una línea que se aproxime a la línea
^
Y = b1 + b2X. Si escribimos esta línea Y = b1 + b2X, b1 es una estimado de b1 and b2 es un
estimado de b2.
8
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
Yˆ  b1  b 2 X
R3
P1
R1
b1
X1
R2
P2
X2
R4
P3
X3
X4
X
La línea es nombrada como modelo ajustado y los valores de Y predichos por él son
llamados valores ajustados de Y. Estos están determinados por las alturas de los puntos R.
9
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
Y  Yˆ  e
P4
e4
(residual)
R3
e1
R2
P1
R1
b1
X1
e2
P2
X2
Yˆ  b1  b 2 X
R4
e3
P3
X3
X4
X
Las diferencias entre los valores reales y los valores ajustados de Y son conocidas como
residuales.
10
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
Yˆ  b1  b 2 X
R3
P1
b1
R1
b1
X1
R2
P2
X2
R4
Y  b1  b2X
P3
X3
X4
X
Observemos que el valor de los residuales no es el mismo que el valor de los términos de
error (u). El diagrama muestra (en gris) la verdadera (pero desconocida) relación así como
la línea ajustada.
11
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
Yˆ  b1  b 2 X
Y  b1  b2X
P1
b1
Q1
b1
X1
Q2
P2
X2
Q3
Q4
P3
X3
X4
X
El término de error de cada observación explica la divergencia entre el componente
no-aleatorio de la relación “real” y los datos observados.
12
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
Yˆ  b1  b 2 X
R3
P1
b1
R1
b1
X1
R2
P2
X2
R4
Y  b1  b2X
P3
X3
X4
X
Por otro lado, los residuales son la diferencia entre los valores observados y los valores
ajustados o predichos.
13
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
Yˆ  b1  b 2 X
R3
P1
b1
R1
b1
X1
R2
P2
X2
R4
Y  b1  b2X
P3
X3
X4
X
Si el ajuste del modelo es bueno, los residuales y los términos de error serán similares,
pero son conceptos distintos.
14
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
u4
Yˆ  b1  b 2 X
Y  b1  b2X
Q4
b1
b1  b2X 4
b1
X1
X2
X3
X4
X
Ambas líneas en este diagrama serán utilizadas en nuestro análisis. Cada una permite la
descomposición del valor de Y, lo cual será ilustrado al analizar la cuarta observación .
15
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
u4
Yˆ  b1  b 2 X
Y  b1  b2X
Q4
b1
b1  b2X 4
b1
X1
X2
X3
X4
X
Al utilizar la relación teórica, Y puede ser separada en su componente no estocástico
b2X y su componente aleatorio u.
b1 +
16
MODELO DE REGRESIÓN SIMPLE
Y
Y (valor real)
Yˆ (valor ajustado)
P4
u4
Yˆ  b1  b 2 X
Y  b1  b2X
Q4
b1
b1  b2X 4
b1
X1
X2
X3
X4
X
Lo anterior es una separacón teórica debido a que no conocemos los valores de b1 o de b2,
o los valores del término de error. Debemos utilizar este recurso en nuestro análisis de las
propiedades de los coeficientes de regresión.
17
MODELO DE REGRESIÓN SIMPLE
Y (valor real)
Y
P4
Yˆ (valor ajustado)
e4
R4
b1
Yˆ  b1  b 2 X
Y  b1  b2X
b1  b 2 X 4
b1
X1
X2
X3
X4
X
La otra separación necesaria es la de la línea de ajuste. En cada obervación, el valor real es
igual al valor ajustado más el residual. Esto es una separación operacional que utilizaremos
por razones prácticas.
18
MODELO DE REGRESIÓN SIMPLE
Criterio de mínimos cuadrados:
Minimizar RSS (la suma de los residuales al
cuadrado), donde
n
RSS 

e i  e 1  ...  e n
2
2
2
i 1
Para empezar, trazaremos la línea de ajuste de tal forma que minimicemos la suma de los
residuales al cuadrado, RSS. Esto es descrito como el criterio de mínimos cuadrados.
19
MODELO DE REGRESIÓN SIMPLE
Criterio de mínimos cuadrados:
Minimizar RSS (la suma de los residuales al
cuadrado), donde n 2
2
2
RSS 
e
i
 e 1  ...  e n
i 1
¿Por qué no minimizar
n
e
i
 e 1  ...  e n
i 1
¿Por qué el cuadrado de los residuales? ¿Por qué no sólo minimizar la suma de los
residuales?
20
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y
P1
P2
X1
X2
P3
X3
X4
X
La respuesta es que deberíamos obtener, aparentemente, un ajuste perfecto al trazar una
línea horizontal a través del valor medio de Y. La suma de los residuales sería cero.
21
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y
P1
P2
X1
X2
P3
X3
X4
X
Debemos prevenir que los residuales negativos cancelen los positivos, y una forma de
lograrlo es utilizando los cuadrados de los residuales.
22
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y
P1
P2
X1
X2
P3
X3
X4
X
Por supuesto, existen otras maneras de lidiar con este problema. El criterio de mínimos
cuadrados tiene la atracción de que su estimador tiene las características que hacen que
ciertas condiciones básicas se cumplan.
23
MODELO DE REGRESIÓN SIMPLE
P4
Y
Y
P1
P2
X1
X2
P3
X3
X4
X
La siguiente sequencia muestra cómo el criterio de mínimos cuadrados es utilizado para
calcular los coeficientes de la línea de ajuste.
24
Copyright Christopher Dougherty 1999–2006. This slideshow may be freely copied for
personal use.
17.06.06
Descargar

No Slide Title