ANÁLISIS MULTIVARIANTE
INTRODUCCIÓN
1. Álgebra lineal y vectores aleatorios
2. Distribución normal multivariante
ANÁLISIS DE LA MATRIZ DE COVARIANZAS
3. Componentes principales
4. Análisis factorial
5. Correlaciones canónicas
CLASIFICACIÓN
6. Análisis discriminante
7. Análisis de conglomerados
1
1. ÁLGEBRA LINEAL
Y VECTORES ALEATORIOS







Vectores
Ortogonalización de Gram-Schmidt
Matrices ortogonales
Autovalores y autovectores
Formas cuadráticas
Vectores y matrices aleatorias
Matriz de datos
2
EJEMPLOS
3
Vectores
Matriz de datos: p variables observadas en n objetos
Objeto_1
Objeto_n
 x11

 x21
x
 31
 
x
 n1
x12
x13
x22
x32

x23
x33

xn 2
xn 3
Variable_1
 x1 p 

 x2 p 
 x3 p   X nxp

  
 xnp 
en

p
Variable_p
ALGEBRA LINEAL
4
Vectores
Dados
 x1 
 
x  
x 
 p
 y1 
 
y  
y 
 p
se define:
1. Suma
 x1  y1 


x y   
x  y 
p 
 p
ALGEBRA LINEAL
5
Vectores
2. Producto de un escalar por un vector
 c  x1 


cx    
c  x 
p 

3. Producto escalar de dos vectores
p
x  y  x, y  x' y   xi yi  x1 y1    x p y p
i 1
ALGEBRA LINEAL
6
Vectores
Propiedades
x, ay  bz  a x, y  b x, z
x, y  y, x
x, x  0 y
x
x
x, x  0  x  0
4. Norma de un vector
x  x ' x  ( x ' x )1 / 2 
p
2
x
 i
i 1
ALGEBRA LINEAL
7
Vectores
5. Distancia entre dos vectores
y
x y
d ( x, y)  x  y
x
6. Ángulo entre dos vectores
cos 
x, y
x y


x, y  0  cos  0  x  y
ALGEBRA LINEAL
8
Vectores
Desigualdad de Cauchy-Schwarz
x, y  x y
Consecuencia:
 x y  x, y  x y
1 
x, y
x y
1
 1  cos  1
ALGEBRA LINEAL
9
Vectores
7. Ortogonalidad
u1 , u 2 ,, u n  es ortogonal si u i  u j i, j
8. Ortonormalidad
e 1 , e 2 ,, e n  es ortonormal si es ortogonal
y todos los vectores tienen norma 1, es decir, ei  1 i
ALGEBRA LINEAL
10
Vectores
Ejemplo
  1


u   0 
 2 


(i )
( ii )
 1 


v   0 
  3


 u, v 
u
( iii ) u  v ?
( iv ) d ( u , v )
( v ) cos 
ALGEBRA LINEAL
11
Vectores
Un conjunto de vectores u1 , u 2 ,, u n 
es linealmente independiente si
n
c u
i 1
i
i
 0  c1  c 2    c n =0
(la única manera de construir una combinación lineal
igual a 0 es que todos los coeficientes sean 0)
ALGEBRA LINEAL
12
Vectores
Proposición. Todo conjunto ortogonal de vectores
no nulos es linealmente independiente.
u1 , u 2 ,, u n  ortogonal  u1 , u 2 ,, u n 

l.i.
Demostración
c1 u 1    c n u n  0
u j , c1 u 1    c n u n  c j u j , u j  0
u j,u j  0  c j  0
ALGEBRA LINEAL
13
Vectores
Proyección de x sobre y
pry( x) 
x, y
y, y
y
x, y
y
2
y
ALGEBRA LINEAL
14
Vectores
Ejemplo
  1


x 0 
 3 


 2 


y    1
 1 


pr y ( x ) ?
pr x ( y ) ?
ALGEBRA LINEAL
15
Ortogonalización de Gram-Schmidt

V
p
;
V subespacio vectorial de

p
si V es espacio vectorial,
es decir, si  u , v  V y  a , b   ; au  bv  V
 Dado
A=
span
u1 , u 2 ,, u n 
 n
A    ciu i
 i 1

: ci   

Propiedades
( i ) A  span A
( ii ) span ( A ) es un subespacio
ALGEBRA LINEAL
16
Ortogonalización de Gram-Schmidt
v  ui
Proposición

i  1,  , n

v  span u 1 ,  , u n 
Demostración
u  span u 1 ,  , u n 
n
u, v 
v ,  ciu i
i 1
n

c
i
v, ui  0
i 1
ALGEBRA LINEAL
17
Ortogonalización de Gram-Schmidt
Dado un conjunto de vectores l.i., se puede
construir otro conjunto ortogonal que genere el
mismo espacio.
Sean x1 , x 2 ,  , x n  linealmente independientes
u 1  x1
u 2  x2 
u 3  x3 
x 2 , u1
u1 , u1
x 3 , u1
u1 , u1
u1
u1 
x3 , u 2
u2 ,u2
u2

u n  xn 
x n , u1
u1 , u1
u1   
x n , u n 1
u n 1 , u n 1
u n 1
ALGEBRA LINEAL
18
Ortogonalización de Gram-Schmidt
Entonces:
(i )
( ii )
x1 ,  , x n   span u 1 ,  , u n 
u 1 ,  , u n  es ortogonal
span
ALGEBRA LINEAL
19
Matrices ortogonales
A mxn
 a 11

 
a
 m1
a 12



am2

a1 n 

 
a mn 
Matrices ortogonales

Anxn; inversa A-1: A A-1 = A-1A = I.

A’ transpuesta de A.

Qnxn es ortogonal si Q’Q = QQ’ = I.
(las columnas de una matriz ortogonal son vectores ortonormales)
ALGEBRA LINEAL
20
Matrices ortogonales
Propiedades
x, y 
p
; Q matriz
ortogonal
(i )
Qx , Qy  x , y
( ii )
x  y  Qx  Qy
( iii ) Qx  x
y
Qy
Qx
x
ALGEBRA LINEAL
21
Autovalores y autovectores
Anxn;  autovalor de A
  x  0 tal que Ax   x
x es autovector asociado a 
 x  0 , Ax   x  0
x
 x  0 , Ax   Ix  0
 x  0, ( A   I ) x  0



A I 0
Polinomio
característico
Ecuación
característica
ALGEBRA LINEAL
22
Autovalores y autovectores
Ejemplo
Autovalores y autovectores de
 1
A  
5
 5

1 
ALGEBRA LINEAL
23
Autovalores y autovectores
Propiedades
(i )
( ii )
 1   2     n  trA
1   2 , x1 con autovalor
x 2 con autovalor
1 
  x1 y x 2 son l .i .
2 
Diagonalización de matrices
Anxn simétrica
A nxn
 A  A '  a ij  a ji
 a 11

 a 12



a
 1n
a 12





a1 n 

 
 

a nn 
ALGEBRA LINEAL
24
Autovalores y autovectores:
diagonalización
Si A simétrica entonces existen autovalores reales
 1,  ,  n con autovectores asociados e1 ,  , e n
ortonormales tales que
A nxn


 e1




e2

  1

en 


 0


2

0 




 n  
P
D
A=PDP’, siendo D diagonal y P ortogonal







e1 '
e2 '

en '
P’
(Toda matriz simétrica es diagonalizable)
ALGEBRA LINEAL
25
Autovalores y autovectores:
diagonalización
Ejemplo
Diagonalizar
 3
A
 2


2


2 
ALGEBRA LINEAL
26
Autovalores y autovectores:
representación espectral
Sea A nxn
 a 11

 a 12



a
 1n
a 12





a1 n 

 
.



a nn 
Si A es simétrica entonces existen autovalores reales
 1,  ,  n con autovectores ortonormales e1 ,  , e n
tales que A   1 e1 e1'   2 e 2 e 2'     n e n e n' .
ALGEBRA LINEAL
27
Autovalores y autovectores:
representación espectral
Ejemplo
Descomposición espectral de
 9
A  
 2
 2

6 
ALGEBRA LINEAL
28
Formas cuadráticas
 x1 
 
n
Anxn simétrica;
x  
x ,
x 
f(x)=x’ A x es una forma cuadrática
 n

f ( x )   x1
x2

 a 11

 a 21
x n 


a
 n1
a 12





a 1 n   x1 
 
  x 2 






 
a nn   x n 
 a 11 x1    a nn x n  a 12 x1 x 2    a ij x i x j    a n 1 n x n 1 x n 
n

2
2
n
n
a
i 1
j 1
ij
xi x j 
a
i 1
n
ij
x  2
2
i
i 1
i j
n
a
ij
xi x j
j 1
ALGEBRA LINEAL
29
Formas cuadráticas
Ejemplo
Expresar matricialmente la forma cuadrática
f ( x1 , x 2 , x 3 )  5 x1  2 x 2  3 x 3  6 x1 x 2  4 x 1 x 3  5 x 2 x 3
2
2
2
Escribir en forma cuadrática
f ( x1 , x 2 )   x1
1
x 2 
2
2   x1 
  
 2  x 2 
ALGEBRA LINEAL
30
Formas cuadráticas
Como Anxn es simétrica, es diagonalizable,
se puede escribir A = PDP’ y, por tanto,
queda: f(x) = x’PDP’x.
Haciendo y = P’x:
 1

y n 

 0

f ( y )  y ' Dy   y1 
se tiene
0   y1 
 
   
 n   y n 
n
  i yi ,
2
i 1
n
f ( y) 
  i y i   1 y1     n y n .
2
2
2
i 1
ALGEBRA LINEAL
31
Formas cuadráticas
x’Ax=c2 representa geométricamente una elipse
en  2 ; los autovalores son  1   2 y los autovectores
normalizados son e1 y e2.
x ' Ax  c
2
2
2
2
x ' PDP ' x  c   1 y1   2 y 2  c
2
y1
y2
c
c
λ
x1
e1 e2
1
λ
2
x2
ALGEBRA LINEAL
32
Formas cuadráticas
Ejemplo
Representar, hallar los ejes y obtener la expresión
reducida de
 x1
 13
x 2 
5
 5   x1 
    9
13   x 2 
ALGEBRA LINEAL
33
Formas cuadráticas
Clasificación de formas cuadráticas
Sea f(x) = x’ A x



f es definida positiva si  x  0 , f ( x )  0
f es semidefinida positiva si  x  n , f ( x )  0

f es semidefinida negativa si  x  n , f ( x )  0
f es definida negativa si  x  0 , f ( x )  0

f es indefinida si
 x1 
n
y x2 
n
tal que
f ( x1 )  0 y f ( x 2 )  0
ALGEBRA LINEAL
34
Formas cuadráticas
Sean  1,  ,  n los autovalores de A


f es definida positiva   1  0 ,  ,  n  0
f es semidefinida positiva   1 0 ,  ,  n  0
f es semidefinida negativa   1 0 ,  ,  n  0

f es definida negativa   1 0 ,  ,  n  0

f es indefinida    i  0 ,   j  0

ALGEBRA LINEAL
35
Raíz cuadrada de una matriz
Raíz cuadrada de una matriz:
A semidefinida positiva;
B es raíz de A si A=BB;
B=A1/2 ; A=A1/2 A1/2
Si A es simétrica y A=PDP’ con
descomposición espectral
entonces:
A
n

e e'
i i
i 1
ALGEBRA LINEAL
36
Formas cuadráticas
Raíz cuadrada de una matriz:
0 
 1


Sea A  P 

 P'
 0


n

 A
Nota:
0
1 /  1

1
A  P

 0
1/ 


n

1
 P '   ei ei '
i 1  i

n
1/ 2
 1

P


0

0 

 P'

n

n
   i ei ei '
i 1
ALGEBRA LINEAL
37
Descomposición singular de una matriz
Dada la matriz Amxn, AA’ es cuadrada y
simétrica; por tanto, diagonalizable.
 i es un valor singular de A, si 
2
i
es autovalor de AA’.
Descomposición singular
Sea A una matriz mxn;  1,  ,  k valores singulares de A.
Entonces existen matrices ortogonales U y V tales que:
 1



A U 
0


0

0

k


0
V

0 
ALGEBRA LINEAL
38
Vectores y matrices aleatorias
X i variable
aleatoria
 i E ( X i )
 ii   i  V ( X i )  E [ X i  E ( X i )]
2
 X1 


X   


X
 p
Vector
aleatorio
;
 X 11

 
X
 m1
2
X 12



X m2

X 1n 

 
X mn 
Matriz
aleatoria
31
Vectores y matrices aleatorias
Se llama vector de medias a:
1

EX     

 p
  E ( X 1) 
 




 

E
(
X
)
p 
 
y covarianza entre dos variables a
 ij  Cov ( X i , X j )  E [( X i  EX i )( X j  EX j )].
Se define la matriz de covarianzas de X como:
VX     X
  11

 

  p1



 1p 

 

 pp 
40
Vectores y matrices aleatorias
 X1 
 c1 


 
X     , c     constantes ; EX   , VX   . Entonces


 
X
 p
cp 
(i ) E ( c ' X )  c ' 
( ii ) V ( c ' X )  c '  c
C mxp matriz de constantes
( i ) E ( CX )  CEX .
( ii ) V ( CX )  C  C '.
. Entonces
:
:
Vectores y matrices aleatorias
Ejemplo
 X1 

X  
X2
  1
   
 0 
 Y1  2 X 2  X 1

 Y2  X 1  X 2
Y  X  2 X
2
1
 3
 6
  
 2
 2

4 
ALGEBRA LINEAL
42
Vectores y matrices aleatorias
Propiedades
Sea Xmxn y sean Akxm y Bnxr matrices de constantes.
Entonces:
 E ( X 11 ) 

( i ) E ( AX )  AE ( X )  A 


 E(X ) 
m1

( ii ) E ( AXB )  AE ( X ) B
( iii ) Y mxn  E ( X  Y )  E ( X )  E (Y )
E ( X 1n ) 



E ( X mn ) 
43
Vectores y matrices aleatorias
Matriz de correlaciones
 1

 r21
 


r
 p1
r12

1



rp 2

r1 p 

r2 p 
,



1 
en forma matricial:   V
rij 
donde
1 / 2
V
1 / 2
 ij
 ii

;
jj
,
donde V es la matriz de varianzas:
  11

V  

 0

2
0   1
 
  
 
 pp   0

0 



 p2 
44
Vectores y matrices aleatorias




X  




(1 ) 
Partición de un vector aleatorio
Sea
 X1

X   

X p
 Vector de medias:





;

   ( 2 )





  11
  
  21
 Matriz de covarianzas:
 11  V ( X
 22  V ( X
 12  
'
21
(1 )
)
(2)
)
 Cov ( X
(1 )
X1 

 
Xr 
 X
  
X
X r 1 




X p 
,X
(2)
(1 )
(2)




 12 
 , donde
 22 
)  Cov ( X i
(1 )
,X
(2)
j
)
45
Matriz de datos
Objeto_1
Objeto_n
 x11

 x21
x
 31
 
x
 n1
x12
x13
x22
x32

x23
x33

xn 2
xn 3
n
i 1
n
en

p
n
Variable_1
 x i1
x1 
 x1 p 

 x2 p 
 x3 p   X nxp

  
 xnp 
Variable_p
 x ip

xp 
i 1
n
46
Matriz de datos
 Vector de medias:
 x1

x  

 xp





 Matriz de varianzas y covarianzas: S
n
donde
s ij 
 (x
ki
 x i ) ( x kj  x j ) / n
k 1
n
 s11

 

 s p1



s1 p 

 

s pp 
 Matriz de correlaciones: R  V n  1 / 2 S n V n  1 / 2 , donde
Vn
 s11

 

 0

0 



s pp 
47
EJEMPLOS
48
EJEMPLOS
49
EJEMPLOS
50
EJEMPLOS
51
EJEMPLOS
52
EJEMPLOS
53
EJEMPLOS
54
Matriz de datos
Proposición
Dado
 X1

X   

X p





; X 1 , X 2 , , X
i .i .d . ;
n
X 
(i )
n

X
i
i 1
n
E(X )  
( ii ) V ( X )   / n
( iii ) E ( S n ) 
n 1
n

55
Matriz de datos
La matriz de datos se puede representar como:
 Diagrama de dispersión, n puntos en el espacio
p=2
p=3
x2
x1

p
x3
x2
x1
Como para p>3 no es posible representarlo, se utilizan
diagramas de dispersión múltiple con pares de
variables.
56
Matriz de datos
 Considerando las columnas en vez de la filas de la
matriz de datos, es decir, p puntos en
Objeto_1
 x11 x12 x13  x1 p 
Objeto_n

 x21
x
 31
 
x
 n1
x22
x32

x23
x33




xn 2
xn 3


x2 p 
x3 p   X nxp

 
xnp 
Y1 Y2 Y3
Yp
Para cuatro variables:
Variable_1
Variable_p
 x11

X   x 21
x
 31
x 22
x 23
x 32
x 33
x14 

x 24 
x 34 

Y1
Y2
Y3
Y4
x12
x13
Y1
n
en
p
Y
4
Y
3
Y
2
57
Matriz de datos
Vector de unos:
Propiedades

1

n
1
nx 1
1
 
    n unos
1
 
y forma el mismo ángulo con todos
los ejes.

1/
n
es el vector unitario que forma el mismo
ángulo en todas las direcciones.
58
Matriz de datos
 Proyección de un vector sobre el vector
1:
n
pr1 ( y i ) 
y i ,1
1,1

1
x ij
j 1
n
 xi 
 
1  xi1    
x 
 i
yi
1
xi1
59
Matriz de datos
Vector de desviaciones a la media:
 x1 i  x i   x1 i 
1

 

 
di  

      xi   
x  x  x 
1
i 
 ni
 ni 
 
60
Matriz de datos
Entonces:

di 
( x1 i  x i )  ...  ( x ni  x i )
2
2
 di
2
 ns ii
n

di, d
j

 (x
ki
 x i ) ( x kj  x j )  ns ij
k 1

cos( d i , d j ) 
di, d
j
di d
j

ns ij
ns ii

ns
jj
s ij
s ii
s jj
 rij
61
Matriz de datos
Varianza generalizada y varianza total:
 X1 
 1 
  11   1 p 
 
 


X     ;   E(X )     ;       
 
 


Xp
p 
  p 1   pp 
62
Matriz de datos
 Varianza generalizada de X:   det(  )
 Varianza total de X: traza (  )   11    
pp
 Varianza generalizada muestral: S n  det( S n )
 Varianza total muestral: traza ( S n )  s11    s pp
63
Matriz de datos
Interpretación geométrica
 Área =
 d 1 d 2 sen  
ns 11
ns 22
1  cos   n s11 s 22 (1  r12 )  n | S n |
2
 Varianza generalizada en
Sn 
p
Volumen
n
2
2
p
64
EJEMPLOS
65
EJEMPLOS
66
EJEMPLOS
67
Matriz de datos
Combinaciones lineales de las componentes de
una variable
 X1 


X    ;


X
 p
 x1 
 
x    ;
 
 xp 
 s11

Sn   

 s p1



y las combinaciones lineales:
s1 p 

 ;

s pp 
 c1 
 
c    ;
 
cp 
 b1 
 
b  
 
bp 
c ' X  c1 X 1    c p X p
b ' X  b1 X 1    b p X p
 Media muestral de c’X: c ' x
 Varianza muestral de c’X: c ' S n c
 Covarianza muestral de c’X y b’X: c ' S n b
68
Matriz de datos
Ejemplo
2

3
X 
2

4

0
1
1
1
1

0
0

0 
 X1 


X X2
X 
 3
c' X  2 X 1  3 X 2
b' X  X 1  2 X 3
ALGEBRA LINEAL
69
EJEMPLOS
70
EJEMPLOS
71
EJEMPLOS
72
EJEMPLOS
73
EJEMPLOS
74
EJEMPLOS
75
EJEMPLOS
76
Descargar

Algebra Lineal y Vectores Aleatorios