용어 정리
- multiplicity - 중근
- Symmetric - 대칭의
- Symmetric Matrix - 대칭 행렬
- Orthogonally Diagonalization - 직교 대각화
- Spectral Theorem - 스펙트럼 정리
- Spectral Decomposition - 스펙트럼 분해
- Symmetrix Matrix 의 Orthogonally Diagonalization 은 선형대수학의 꽃인 SVD 를 유도하기 위해 필수적인 부분이다.
Symmetrix Matrix - 대칭 행렬
- Symmetric Matrix 는 행렬 $A$ 가 Square Matrix (정사각 행렬) 이고, $A^T = A$ 를 만족하는 행렬이다.
- $\quad A$ is Square Matrix
- $\quad A^T = A$
- 위 두 가지 조건을 만족하면 Symmetric Matrix 이다.
- Symmetric Matrix 의 예시
- Symmetrix Matrix 아닌 경우
Diagonalization - 대각화 복습
- Symmetric Matrix 의 Diagonalization 을 살펴보기 전에 이전에 배웠던 Diagonalization 을 복습해보자.
- 만약 $A$ 가 diagonal matrix 와 similar 하면 $A$ 를 Diagonalizable 하다고 한다.
- 즉, $A = PDP^{-1}$ 이면, $A$ 는 Diagonalizable 이다.
Diagonalization Example
\[A = \begin{bmatrix} \phantom{-}6 & -2 & -1 \\\ -2 & \phantom{-}6 & -1 \\\ -1 & -1 & \phantom{-}5 \end{bmatrix}\]
- 행렬 $A$ 는 Symmetric 행렬이다.
- 대각화(혹은 Eigendecomposition) 을 하기 위해 특성 방정식(Characteristic Equation) 으로 eigenvalue 와 eigenvector 를 구하자.
문제 풀이
- 위 식을 이용하여 $A$ 의 eigenvalue 를 찾아보자. Determinant 의 경우 Cofactor 전개를 사용하여 풀어보자.
- 여기서 $a_{31}, a_{32}, a{33}$ 을 기준으로 determinant 를 풀었다. Cofactor 전개의 부호를 주의하자.. 이거 때문에 계산 실수를 해서 몇번을 다시 풀었다..
- 최종적으로 다음 식이 나오고 인수분해를 하면
- 따라서, eigenvalue 는 다음과 같다 $\lambda = 3, 6, 8$
$A - \lambda I = 0$ 삭애 도출한 eigenvalue 값들을 넣어 3개의 eigenvector 를 구해보자.
(1) $\quad \lambda = 3$ 인 경우
- augmented matrix 로 만들고 row reduction 을 해보면
- $x_3$ 는 free varialbe 이고 $x_1 = x_3$ , $x_2 = x_3$ 이므로 다음과 같이 general solution 을 도출 할 수 있다.
- (2) $\quad \lambda = 6$ 인 경우
- $x_3$ 는 free varialbe 이고 $x_2 = - 1/2 x_3$ , $x_1 = x_2 = - 1/2 x_3 $ 이므로 다음과 같이 general solution 을 도출 할 수 있다. 분수가 있어 2를 scale 해주었다.
- (3) $\quad \lambda = 8$ 인 경우
- 여기서 $x_2$ 는 free variable 이고 $x_3 = 0$ , $x_1 = -x_2$ 이므로 다음과 같이 general solution 을 도출 할 수 있다.
- 최종적으로 eigenvector 는 다음과 같다.
- 위 3개의 eigenvector 를 서로서로 내적해보면 0이 되므로 orthgonal 하고 linearly independent 하므로 normalize 하여 orthonormal vector 로 표현이 가능하다.
- $P$ 는 eigenvector 로 이루어진 행렬이고, $D$ 는 eigenvalue 의 diagonal 행렬이다.
- 여기서 $P$ 의 column 들이 orthonormal vector 로 이루어져 있기 때문에, $P^T = P^{-1}$ 라는 성질을 만족한다.
- 따라서 $A$ 행렬을 대각화하면 $A = PDP^{-1} = PDP^T$ 로 나타낼 수 있다.
Theorem1.
If $A$ is symmetric, then any two eigenvectors from different eigenspaces are orthogonal.
$A$ 행렬이 symmetric 이면 서로 다른 eigenspace 에 있는 두 eigenvector 는 orthogonal 하다.
- 증명
$\mathbf{v}_1, \mathbf{v}_2$ 가 서로 다른 eigenvalue $\lambda _1, \lambda _2$ 에 해당하는 eigenvector 일 때 $\mathbf{v}_1 \cdot \mathbf{v}_2 = 0$ 임을 증명해보자.
- eigenvector 의 성질 에서 $A\mathbf{x} = \lambda \mathbf{x}$ 임을 확인할 수 있다. 여기서 $\lambda$ 는 스칼라값.
- $A$ 행렬은 symmetric 이므로 $A^T = T$ 이다.
- 위 내용을 정리하자면
- 여기서 $\lambda _1 - \lambda _2 \ne 0$ 혹은 $\lambda _1 \ne \lambda _2$ 가 되는데
- 두 eigenvalue 가 서로 다른 eigenspace 애 존재하기 때문에 서로 다른 값이어야 한다. (multiplicity 가 될 수 없다.)
따라서 eigenvector 의 내적인 $\mathbf{v}_1 \cdot \mathbf{v}_2 = 0$ 이 될 수밖에 없다.
- 이러한 symmetric matrix 의 성질 때문에 symmetric matrix 의 diagonalization 을 orthogonally diagonalizable 하다고 한다.
Orthogonally Diagonalizable - 직교 대각화
A matrix $A$ is said to be orthogonally diagonalizable if there an orthogonal matrix $P$ with $P^{-1} = P^T$ and a diagonal matrix $D$ such that
\[A = PDP^T = PDP^{-1}\]
- symmetric matrix 가 orthogonally diagonalizable 하다는 것은 매우 중요한 성질이다.
- symmetric matrix 는 $A^T = A$ 를 만족한다. 실제로 만족하는지 증명해보자.
- 증명
- 따라서 $A$ 는 symmetric 이다.
Theorem2.
An $n \times n$ matrix $A$ is orthogonally diagonalizable if and only if $A$ is a symmetric matrix.
- 행렬 $A$ 에 대해 orthogonally diagonalizable 과 symmetric matrix 는 서로 동치이다.
Example 1
Orthogonally diagonalize the matrix $A = \begin{bmatrix} 3 & -2 & 4 \\ -2 & 6 & 2 \\ 4 & 2 & 3 \end{bmatrix} $
- Characteristic Equation (특성 방정식)으로 eigenvalue 를 구한다.
- $\lambda = 7$ with multiplicity = 2 , $\lambda = -2$ with multiplicity = 1 가 도출되었다.
- $\lambda = 7$ 인 경우
- $\lambda = -2$ 인 경우
- 여기서 $\mathbf{v}_1 , \mathbf{v}_2$ 는 같은 eigenspace 에 있기 때문에 서로 orthogonal 하지 않다. 그리고 eigenspace 의 dimension 은 2 이므로 $\mathbf{v}_1 , \mathbf{v}_2$ 는 eigenspace 를 span 하는 basis 이므로 linearly independent 하다. 따라서 Gram-Schmidt 과정으로 두 eigenvector 를 orthogonal 하도록 만들어주자.
- 각각의 eigenvector 들을 normalize 시켜서 orthonormal basis 로 변환해보자.
- orthonormal vector 들로 $P$ 를 만들어준다.
- 다음은 Orthogonally Diagonalizataion 을 단계화 해서 살펴보자.
Steps : Orthogonally Diagonalizataion
Check if $A^T = A$
Calculate eigenspaces for distinct eigenvalues
Find orthogonal basis for each eigenspace by the Gram-Schmidt process
Obtain orthonormal basis by normalization
Construct $P$ and $D$
- $A^T = A$ 인 symmetric matrix 인지 확인하고
- characteristic equation 을 사용하여 eigenvalue 들을 구한 뒤 $A - \lambda I = 0 $ 을 통해 각 eigenspace 에 해당하는 eigenvector 들을 구하고
- Gram-Schmidt process 를 통해 각 eigenspace 내부 벡터들 간의 orthogonal basis 를 구하고
- orthogonal basis 들을 orthonormal basis 로 normalize 한 뒤
- $P$ 와 $D$ 행렬을 구성하면 된다.
Spectral Theorem - 스펙트럼 정리
Theorem3. The Spectral Theorem for Symmetric Matrices
An $n \times n$ symmetric matrix $A$ has the following properties:
a. $A$ has $n$ real eigenvalues, counting multiplicities.
b. The dimension of the eigenspace for each eigenvalue $\lambda$ equals the multiplicity of $\lambda$ as a root of the characterisitic equation.
c. The eigenspaces are mutually orthogonal, in the sense that eigenvectors corresponding to different eigenvalues are orthogonal.
d. $A$ is orthogonally diagonalizable.
행렬 $A$ 의 eigenvalue set 을 $A$ 의 spectrum 이라고 부른다. 그리고 $A$ 가 symmetric matrix 일 때, 다음 성질을 따른다.
- a. $A$ 가 $n$ 개의 eigenvalue 를 갖고 있으면 multiplicity 를 계산한다.
- b. 각 eigenvalue 에 해당하는 eigenspace 의 dimension 은 eigenvalue 의 multiplicity 와 동일하다.
- c. eigenspace 는 서로 orthogonal 하다. 서로 다른 eigenvalue 에 해당하는 eigenvector 역시 orthogonal 하다.
- d. $A$ 는 orthogonally diagonalizable 하다.
Example True or False
An $n \times n$ matrix that is orthogonally diagonalizable must be symmetric.
정답 : true
풀이 : symmetric matrix 와 orthogonally diagonalizable 은 서로 동치관계 이기 때문에 참이다.If $A^T = A$ and if vectors $\mathbf{u}$ and $\mathbf{v}$ satisfy $A\mathbf{u} = 3\mathbf{u}$ and $A\mathbf{v} = 4\mathbf{v}$ , then $\mathbf{u} \cdot \mathbf{v} = 0$ .
정답 : true
풀이 : $A^T = A$ 는 행렬 $A$ 가 symmetric 하다는 뜻이고 symmetric matrix 는 orthogonally diagonalizable 하다라는 뜻이고 $\mathbf{u}$ and $\mathbf{v}$ 두 벡터는 $A$ 의 eigenvector 를 의미하므로 두 eigenvector 는 orthogonal 하기 때문에 참이다.An $n \times n$ symmetric matrix has $n$ distinct real eigenvalues.
정답 : false
풀이 : symmetric matrix 의 eigenvalue 가 꼭 distinct 일 필요는 없다. eigenvalue 가 같으면 multiplicity 로 계산할 수 있고 동일한 eigenspace 에 linearly independent 한 eigenvector 로 존재하게 된다. 이를 orthogonally diagonalizable 하려면 Gram-Schmidt process 를 사용하여 직교하게 만들 수 있기 때문이다. 따라서 거짓Every symmetric matrix is orthogonally diagonalizable.
정답 : true
풀이 : 1번과 비슷한 내용, 동치 관계에 있기 때문에 참이다.If $B = PDP^T$ , where $P^T = P^{-1}$ and $D$ is diagonal matrix, then $B$ is a symmetric matrix.
정답 : true
풀이 : $P^T = P^{-1}$ 라는 말은 symmetric matrix의 orthogonally diagonalizable 의 성질이므로 $B = PDP^T = PDP^{-1}$ 이므로 $B$ 는 symmetric matrix 이다.An orthogonal matrix is orthogonally diagonalizable.
정답 : false
풀이 : orthogonal matrix가 symmetric 한 경우는 있겠지만, 모든 orthogonal matrix 가 symmetric 하지 않다.The dimension of an eigenspace of a symmetric matrix equals the multiplicity of the corresponding eigenvalue.
정답 : true
풀이 : 동일한 eigenvalue 는 multiplicity 로 계산하고 이는 symmetric matrix 의 eigenspace 의 dimesnion 을 결정하므로 참이다.
Spectral Decomposition - 스펙트럼 분해
Spectral Decomposition 은 행렬 $A$ 를 eigenvalue(spectrum) 으로 표현되는 조각들로 분해 하는 것이다.
행렬 $A$ 가 orthogonally diagonalizable 하다고 가정하고 다음과 같이 표현할 수 있다.
- 여기서 $D$ 는 diagonal matrix 이므로 $PD$ 를 계산해보면 다음과 같다.
- 위 수식을 matrix multiplication 의 scalar ($\lambda$) 성질에 의해 다음과 같이 표현할 수 있다.
\[A = \lambda _1 \mathbf{u}_1 \mathbf{u}_1^T + \lambda _2 \mathbf{u}_2 \mathbf{u}_2^T + \dots + \lambda _n \mathbf{u}_n \mathbf{u}_n^T\]
- 위와 같이 표현한 것을 $A 의 spectral decomposition 이라고 부른다.ㄴ
- 여기서 $mathbf{u}_1 \mathbf{u}_1^T$ 는 행렬임을 주의하자. 그렇다면 각 요소 $mathbf{u}_k \mathbf{u}_k^T$ 는 rank 가 1인 $n \times n$ 행렬이다.
여기서 rank = 1 은 column space 의 dimension 이 1임을 의미한다.
- $\mathbf{u}_k^T$ 를 스칼라 곱을 해주면 다음과 같이 표현된다.
전부 linearly dependent 하고 모든 column 들이 $\mathbf{u}_k$ 에 의해서 표현이 된다. 따라서 column space 의 dimension 이 1이된다.
그리고 $\mathbf{u}_k \mathbf{u}_k^T \mathbf{x}$ 는 projection matrix 이다. orhtogonal projection $\mathbf{x}$ 를 Span{$\mathbf{u}_k$} subspace 에 projection 한 것이다.
Example 1
Construct a spectral decomposition of the matrix $A$ that has the orthogonal diagonalization
\[A = \begin{bmatrix} 5/2 & 1/2 \\\ 1/2 & 5/2 \end{bmatrix}\]
- 행렬 $A$ 를 orthogonally diagonalization 하고 $PDP^T$ 으로 spectral decomposition 한다.
- $P$ 행렬을 $\mathbf{u}_1, \mathbf{u}_2$ 으로 표기하면
이렇게 스펙트럼 분해를 할 수 있다.
위 식이 진짜 만족하는지 확인해보면
Example 2
Show that if $A$ is a symmetric matrix, then $A^2$ is symmetric.
- $A$ 가 symmetric 하면 $A^2$ 도 symmetric 한지 확인해보자. symmetric matrix 의 성질인 $A = A^T$ 이므로
Example 3
Show that if $A$ is orthogonally diagonalizable , then so is $A^2$ .
- $A$ 가 orthogonally diagonalizable 하다면 symmetric matrix 임과 동치이다.
- 위의 예제에서 살펴봤듯이 $A$ 가 symmetric 이면 $A^2$ 역시 symmetric 이므로
- $A$ 가 orhtogonally diagonalizable 이면 $A^2$ 도 orthogonally diagonalizable 이다.