Search
Duplicate

김영길/ 선형대수학/ inner product space, Gram Schmidt process

Inner product space

(지난 강의 설명 생략)
•
x=(1+i,4),y=(2−3i,4+5i),x,y∈C2x = (1 + i, 4), y = (2 - 3i, 4 + 5i), x, y \in C^{2} 일 때, x,yx, y의 inner product는 다음과 같다.
◦
⟨x,y⟩=(1+i)(2+3i)+4(4−5i)=15−15i\langle x, y \rangle = (1+i)(2+3i) + 4(4-5i) = 15 - 15i
◦
(뒤에 곱해주는 벡터는 복소수 앞의 부호가 반전 됨을 주의(켤레). 벡터가 RR에 속할 때는 복소수가 없기 때문에 그냥 곱해줬던 것)
•
Ex 3)
◦
V=C([0,1])V = C([0, 1])
▪
([0,1][0, 1]사이의 연속 함수들의 집합일 때)
▪
⟨f,g⟩=∫01f(t)g(t)dt\langle f, g \rangle = \int_{0}^{1} f(t) g(t) dt

Def. Conjugate transpose

•
A∈Mm×n(F)A \in M_{m \times n}(F) 일 때 AA의 Conjugate transpose는 A∗A*라 한다.
•
Conjugate transpose는 책마다 adjoint 라고도 하고 Hermitian이라고도 한다. (다 동일한 개념) 각각 기호는 다음과 같다.
◦
A∗=AH=A†A* = A^{H} = A^{\dagger}
•
Conjugate transpose는 대각선 위치에 있는 원소들은 켤레 복소수로 만들고, 그 밖의 원소들은 켤레 복소수로 만들면서 위치를 tranpose 해준다.
◦
[11−2i2−i1+i]=[12+i1+2i1−i]\left[ \begin{array}{rr} 1 & 1 - 2i \\ 2 - i & 1 + i \end{array} \right] = \left[ \begin{array}{rr} 1 & 2 + i \\ 1 + 2i & 1 - i \end{array} \right]

Def. Norm of x

•
inner product 가 있는 vector space를 inner product space라 한다.
•
Norm은 inner product가 있으면 자동적으로 파생된다.
•
벡터 xx의 norm은 다음과 같이 정의된다.
◦
∥x∥=⟨x,x⟩\|x\| = \sqrt{ \langle x, x \rangle }
▪
(자기 자신을 내적한 후에 루트를 씌운 것)
•
Ex 6)
◦
x=(a1,a2,...,an)∈Fnx = (a_{1}, a_{2}, ... , a_{n}) \in F^{n} 일 때
▪
∥x∥=∣a1∣2+∣a2∣2+...+∣an∣2\|x\| = \sqrt{|a_{1}|^{2} + |a_{2}|^{2} + ... + |a_{n}|^{2}}

Thm 6.2

•
∥c⋅x∥=∣c∣⋅∥x∥\| c \cdot x \| = |c| \cdot \|x\|
•
∥x∥=0\|x\| = 0인 경우는 x=0x = 0인 경우 밖에 없다.
◦
∥x∥≥0\|x\| \geq 0

inequality

•
Cauchy-Schwartz inequality
◦
∣⟨x,y⟩∣≤∥x∥⋅∥y∥| \langle x, y \rangle | \leq \|x\| \cdot \|y\|
◦
(두 벡터의 내적의 절대값이 각각의 norm의 곱보다 작다)
•
Triangular inequality (삼각 부등식)
◦
∥x+y∥≤∥x∥+∥y∥\| x + y \| \leq \|x\| + \|y\|
◦
(두 변의 길이의 합은 나머지 한 변의 길이 보다 항상 크다)

Def. orthogonal, orthonormal, nomalization

•
x,yx, y의 내적이 0이면 orthogonal이라고 한다. (일반적으로 두 벡터가 수직이다라고 표현하는 개념)
◦
⟨x,y⟩=0\langle x, y \rangle = 0
•
벡터들의 집합 SS에 대해, 집합 내 벡터들 간의 내적이 orthogonal 할 때, 집합 SS는 orthogonal 하다고 한다.
•
벡터 xx의 norm이 1일 때 xx를 unit vector라고 한다.
◦
∥x∥=1\|x\| = 1
•
벡터들의 집합 SS에 대해 집합이 orthogonal하고 집합 내 모든 벡터가 unit vector일 때 orthonormal이라고 한다.
◦
S={v1,v2,...,vn}S = \{ v_{1}, v_{2}, ... , v_{n} \}
◦
⟨vi,vj⟩=δij={1i=j0i≠j\langle v_{i}, v_{j} \rangle = \delta_{ij} = \begin{cases} 1 & i = j \\ 0 & i \neq j \end{cases}
▪
(자기 자신과의 내적한 것이 1이고 (=norm), 다른 벡터와 내적은 0)
◦
이때 δij\delta_{ij}를 Kronecker delta function이라 한다.
•
벡터 xx의 normalization이란 방향은 같지만 크기가 11인 벡터를 의미한다.
◦
y=x∥x∥y = {x \over \|x\|}
◦
∥y∥=1\|y\| = 1
•
(계산 예제 생략 - 교재 참조)

6.2 Gram-Schmit orthonormalization

•
F3F^{3}에서 표준기저 {(1,0,0),(0,1,0),(0,0,1)}\{ (1, 0, 0), (0, 1, 0), (0, 0, 1) \}는 orthonormal basis가 된다.
•
{(15,25),(25,−15)}\{ ({1 \over \sqrt{5}}, {2 \over \sqrt{5}}), ({2 \over \sqrt{5}}, -{1 \over \sqrt{5}}) \}는 R2R^{2}에서 orthonormal basis가 된다.
•
Ex 3)
◦
S={u1,u2,u3}S = \{ u_{1}, u_{2}, u_{3} \}가 orthonormal set이고
▪
S={12(1,1,0),13(1,−1,1),16(−1,1,2)}S = \{ {1 \over \sqrt{2}}(1, 1, 0), {1 \over \sqrt{3}}(1, -1, 1), {1 \over \sqrt{6}}(-1, 1, 2) \}
◦
y=(2,1,3)=span(S)y = (2, 1, 3) = span(S) 일때
◦
yy를 기저의 선형 결합으로 표현하고자 한다면
▪
y=a1u1+a2u2+a3u3y = a_{1}u_{1} + a_{2} u_{2} + a_{3} u_{3}
◦
이때의 계수는 어떻게 구할 수 있는가
▪
a1,a2,a3=?a_{1}, a_{2}, a_{3} = ?
◦
projection을 구하면 된다.
▪
y=a1u1+a2u2+a3u3y = a_{1}u_{1} + a_{2} u_{2} + a_{3} u_{3}
▪
y⋅u1=(a1u1+a2u2+a3u3)⋅u1y \cdot u_{1} = (a_{1} u_{1} + a_{2} u_{2} + a_{3} u_{3}) \cdot u_{1}
•
양변에 u1u_{1}을 대입하면 u1u_{1}끼리 곱하면 11이 되므로 a1a_{1}만 남고 orthonormal이므로 u1,u2,u3u_{1}, u_{2}, u_{3}의 내적은 모두 0이 된다. 고로 a1=⟨y,u1⟩a_{1} = \langle y, u_{1} \rangle만 남게 된다.
▪
a1=⟨y,u1⟩=(2,1,3)⋅12(1,1,0)=12(2+1)=32a_{1} = \langle y, u_{1} \rangle = (2, 1, 3) \cdot {1 \over \sqrt{2}} (1, 1, 0) = {1 \over \sqrt{2}}(2 + 1) = {3 \over \sqrt{2}}
▪
같은 식으로 a2,a3a_{2}, a_{3}에 대해서도 계산해 주면 된다.

Gram-Schmidt Process

•
inner product space의 선형독립인 부분집합 {w1,w2}\{ w_{1}, w_{2} \}에서 orthonormal하고 span({w1,w2})=span({u1,u2})span(\{ w_{1}, w_{2} \}) = span(\{ u_{1}, u_{2} \})인 부분집합 {u1,u2}\{ u_{1}, u_{2} \}를 찾는 절차
1.
u1u_{1}을 normalize한다
•
u1=w1∥w1∥u_{1} = {w_{1} \over \|w_{1}\|}
2.
w2w_{2}에서 u1u_{1}과 평행한 성분을 제거해서 u1u_{1}와 수직인 성분만 남겨서 u1u_{1}과 orthogonal한 v2v_{2}를 구한다.
•
v2=w2−⟨w2,u1⟩u1v_{2} = w_{2} - \langle w_{2}, u_{1} \rangle u_{1}
◦
⟨w2,u1⟩u1\langle w_{2}, u_{1} \rangle u_{1}을 하면 w2w_{2}에서 u1u_{1}과 평행한 성분이 나온다.
◦
그것을 w2w_{2}에서 빼주면 결국 w2w_{2}에서 u1u_{1}과 의 수직인 성분만 남는다.
3.
v2v_{2}는 u1u_{1}과 수직이지만 길이가 11이 아니기 때문에 normalize해서 u2u_{2}를 만든다.
•
u2=v2∥v2∥u_{2} = {v_{2} \over \|v_{2}\|}
•
(이런 과정이 성립할 수 있는 이유는 애초에 w1,w2w_{1}, w_{2}이 선형독립이었기 때문)
•
위와 같은 것을 {w1,w2,w3}\{ w_{1}, w_{2}, w_{3} \}에서 찾는 방법 (벡터가 2개일 때와 개념은 동일하다)
1.
u1=w1∥w1∥u_{1} = {w_{1} \over \|w_{1}\|}
2.
v2=w2−⟨w2,u1⟩u1v_{2} = w_{2} - \langle w_{2}, u_{1} \rangle u_{1}
3.
u2=v2∥v2∥u_{2} = {v_{2} \over \|v_{2}\|}
4.
v3=w3−⟨w3,u1⟩u1−⟨w3,u2⟩u2v_{3} = w_{3} - \langle w_{3}, u_{1} \rangle u_{1} - \langle w_{3}, u_{2} \rangle u_{2}
5.
u3=v3∥v3∥u_{3} = {v_{3} \over \|v_{3}\|}
•
절차
1.
먼저 벡터 하나를 normalize 해서 orthonormal한 벡터를 만들고,
2.
normalize된 벡터를 이용해서 다음 벡터에서 처음 벡터와 평행한 성분을 제거하고
•
normalize된 벡터와 현재 벡터 사이의 내적에 다시 normalize된 벡터를 곱해서 뺀다
3.
제거한 벡터를 normalize해서 다음 orthonormal 벡터를 만들고
4.
모든 벡터에 대해 orthonormal 벡터를 찾을 때까지 2-3 반복
•
(Gram-Schmdit Process 예제 생략 - 교재 참조)
Made with