3. COMPONENTES PRINCIPALES




Introducción
Componentes principales
Componentes principales muestrales
Comportamiento asintótico de
autovalores y autovectores
1
Introducción
 Reducir la dimensión manteniendo la máxima
información posible.
 Interpretación.
 Paso previo al uso de otras técnicas.
COMPONENTES PRINCIPALES
2
Componentes principales
Consiste en construir combinaciones lineales
Y1  a 11 X 1    a 1 p X p  a 1 ' X




Y p  a p 1 X 1    a pp X p  a p ' X
de las variables originales.
 Media: E (Y )  a ' 
 Varianza: V (Y )  a '  a
 Covarianza: cov( Yi , Y j )  a i '  a j
COMPONENTES PRINCIPALES
3
Componentes principales
 Primera componente principal: combinación lineal
de X tal que
max V ( a 1 ' X )  max a 1 '  a 1
a1  
a1
p
1
a1  
a1
p
1
 Segunda componente principal: combinación lineal
de X tal que
max V ( a 2 ' X )  max a 2 '  a 2
a2  
a2
p
a2  
1
a2
p
1
cov( a 1 ' X , a 2 ' X )  0
COMPONENTES PRINCIPALES
4
Componentes principales
 ...
 i-ésima componente principal: combinación lineal
de X tal que
max V ( a i ' X )  max a i '  a i
ai  
ai
p
1
ai  
ai
Cov ( a i ' X , a j ' X )  0
p
1
i, j, j  i
COMPONENTES PRINCIPALES
5
Componentes principales
Teorema
Sea
 X1 


X   


X
 p
con matriz de covarianzas 
y autovalores y autovectores
(  1, e1 ),  , (  p , e p )
con
 1    p .
COMPONENTES PRINCIPALES
6
Componentes principales
Entonces las componentes principales son:
Y1  e1 ' X  e11 X 1    e1 p X p
Y 2  e 2 ' X  e 21 X 1    e 2 p X p





Y p  e p ' X  e p 1 X 1    e pp X p
Además,
V (Y i )   i
y
cov( Yi , Y j )  e i '  e j .
COMPONENTES PRINCIPALES
7
Componentes principales
Teorema
Sea X px 1 con matriz de covarianzas  y
pares de autovalores y autovectores
(  1, e1 ),  , (  p , e p )
con
 1    p  0 .
COMPONENTES PRINCIPALES
8
Componentes principales
Sean las componentes principales: Y1  e1 ' X
Y2  e2 ' X


Yp  ep ' X .
Entonces
p
 V (X
i 1
p
i
)   11    
pp

 V (Y )  
i
1
    p.
i 1
COMPONENTES PRINCIPALES
9
Componentes principales
Consecuencia
La proporción de varianza explicada por la
componente Yi es:

i
 1   
.
p
Proposición
corr (Y i , X j ) 

e ij

i
.
jj
COMPONENTES PRINCIPALES
10
Componentes principales
Teorema
Sean X, , , , y los pares de autovalores
y autovectores de ,
(  1, e1 ),  , (  p , e p )
con
 1    p .
Entonces las componentes principales de
Z = (V1/2)-1 (X – μ) son:
Y i  e i ' Z  e i ' (V
Nota:
No es lo mismo hacer componentes
principales con  que con 
1/ 2
1
) ( X   ).
COMPONENTES PRINCIPALES
11
Componentes principales
Además,
p
 V (Z
p
i
)
i 1
p
 V (Y )   
i
i 1
i
 p
i 1
y se cumple que
cov( Y i , Z j )  e ij
Nota:
No es lo mismo hacer componentes
principales con  que con 
 i.
COMPONENTES PRINCIPALES
12
Componentes principales muestrales
Teorema
Sea la matriz de datos X nxp y los pares de autovalores
y autovectores de Sn
( ˆ 1, eˆ1 ),  , ( ˆ p , eˆ p )
con
ˆ 1    ˆ p  0 .
Entonces la i-ésima componente principal muestral
es: Yˆi  eˆi ' X  eˆi1 X 1    eˆip X p .
 La varianza muestral de Yˆi es ˆ i .
 Varianza total muestral: V (Yˆ1 )    V (Yˆp )  ˆ 1    ˆ p .
 Covarianza muestral de Yˆi e Yˆk es 0.
 Correlación muestral: r (Yˆi , X j )  eˆij ˆ
i
s jj .
COMPONENTES PRINCIPALES
13
Componentes principales muestrales
Teorema
Sea la matriz de datos X nxp y los pares de autovalores
y autovectores de R
( ˆ 1, eˆ1 ),  , ( ˆ p , eˆ p )
con
ˆ 1    ˆ p  0 .
Entonces la i-ésima componente principal muestral
es:
Yˆi  eˆi ' X  eˆi1 X 1    eˆip X p .
COMPONENTES PRINCIPALES
14
Componentes principales muestrales
 Varianza muestral de Yˆi es ˆ
i
 Varianza total muestral: p  ˆ 1    ˆ
p
 Covarianza muestral de Yˆi e Yˆk es 0
 Correlación:
r (Yˆi , Z j )  eˆij ˆ
i
i k
COMPONENTES PRINCIPALES
15
Componentes principales muestrales
Ejemplo
 1

 0 , 577
R   0 , 589

 0 , 387

 0 , 462
0 ,577
0 , 509
0 ,387
1
0 , 599
0 , 389
0 ,599
1
0 , 436
0 ,389
0 , 436
1
0 ,322
0 , 426
0 , 523
0 , 462 

0 ,322 
0 , 426 

0 ,523 

1 
COMPONENTES PRINCIPALES
16
Componentes principales muestrales
Autovalores y autovectores
ˆ1  2 ,857
eˆ1 '  ( 0 , 464
ˆ2  0 ,809
eˆ 2 '  ( 0 , 240
ˆ3  0 ,540
eˆ3 '  (  0 , 612
ˆ4  0 , 452
eˆ 4 '  ( 0 ,387
ˆ5  0 ,343
eˆ 5 '  (  0 , 451
0 , 457
0 ,509
0 , 260
0 ,178
0,2
0 , 470
0 , 335
 0 , 662
0 , 676
 0,4
0 , 421
0 , 421 )
 0 ,526
 0 , 582 )
0 ,541
 0 , 435 )
0 , 472
 0 ,176
 0 ,382 )
0 ,385 )
Calcular componentes principales sobre las variables
tipificadas.
COMPONENTES PRINCIPALES
17
Componentes principales muestrales
Diagrama del precipicio
Sirve para determinar cuántas componentes
principales utilizar.
Incluye el número de posibles componentes principales
y los autovalores ordenados en los ejes x e y,
respectivamente.
Autovalores
p
Nota:
Cuando el gráfico se hace
horizontal, no se utilizan
más componentes principales
Se toman i
componentes principales
1
2

i

n.
1
2 i



n
nº c.p.
COMPONENTES PRINCIPALES
18
Comportamiento asintótico
de autovalores y autovectores
Dada X ~ N p (  ,  ) , sean  1,  ,  p autovalores de 
con λ 1    λ p  0 (no se repiten).
Sean X1, X2,..., Xn i.i.d. y los siguientes autovalores
y autovectores muestrales
ˆ 1  ˆ 2    ˆ
p
y
eˆ1 , eˆ 2 ,  , eˆ p .
COMPONENTES PRINCIPALES
19
Comportamiento asintótico
de autovalores y autovectores
(i)
Comportamiento asintótico de los autovalores
 ˆ 1

  
 ˆ
 p

n
(ii)
1/ 2






y
( ˆ   )
 1

 

 0
d
0 



 p

N (0,2  )
2
Comportamiento asintótico de los autovectores

p
Ei  
i

k 1
k i
(iii) Cada
de eˆi .
k
( k   i)
ˆ
i
2
ek ek '  n
1/ 2
( eˆi  e i )
d
N p (0, E i )
es independiente de los elementos
COMPONENTES PRINCIPALES
20
Comportamiento asintótico
de autovalores y autovectores
Ejemplo
Construir un intervalo con 1- = 0,95 para 1, siendo:
ˆ1  2 ,857
n  100
COMPONENTES PRINCIPALES
21
EJEMPLOS
22
Componentes principales con la matriz de correlaciones
24
EJEMPLOS
25
EJEMPLOS
26
EJEMPLOS
27
EJEMPLOS
29
EJEMPLOS
33
EJEMPLOS
34
EJEMPLOS
35
EJEMPLOS
36
EJEMPLOS
37
EJEMPLOS
38
EJEMPLOS
39
EJEMPLOS
40
EJEMPLOS
41
EJEMPLOS
42
Descargar

Componentes Principales