Suyeong Park - 지성을 추구하는 삶
/
[지식 정리]
/
확률, 통계
/
확률, 통계/ Total Variation Distance
Search
Duplicate
확률, 통계/ Total Variation Distance
Total Variation Distance
참고
Total Variation Distance
두 확률 분포 사이의 total variation distance는 다음과 같이 정의된다.
D
TV
(
p
,
q
)
≜
1
2
∥
p
−
q
∥
1
=
1
2
∫
∣
p
(
x
)
−
q
(
x
)
∣
d
x
D_\text{TV}(p,q) \triangleq{1\over2}\|\bold{p}-\bold{q}\|_1 = {1\over2} \int |p(\bold{x}) - q(\bold{x})|d\bold{x}
D
TV
(
p
,
q
)
≜
2
1
∥
p
−
q
∥
1
=
2
1
∫
∣
p
(
x
)
−
q
(
x
)
∣
d
x
•
이것은
f
(
r
)
=
∣
r
−
1
∣
/
2
f(r) = |r-1|/2
f
(
r
)
=
∣
r
−
1∣/2
인
f
f
f
-divergence와 동등하다.
1
2
∫
q
(
x
)
∣
p
(
x
)
q
(
x
)
−
1
∣
d
x
=
1
2
∫
q
(
x
)
∣
p
(
x
)
−
q
(
x
)
q
(
x
)
∣
d
x
=
1
2
∫
∣
p
(
x
)
−
q
(
x
)
∣
d
x
\begin{aligned} {1\over2} \int q(\bold{x})|{p(\bold{x}) \over q(\bold{x})} - 1|d\bold{x} &= {1\over2}\int q(\bold{x})|{p(\bold{x}) - q(\bold{x}) \over q(\bold{x})}|d\bold{x} \\&= {1\over2} \int|p(\bold{x})-q(\bold{x})|d\bold{x} \end{aligned}
2
1
∫
q
(
x
)
∣
q
(
x
)
p
(
x
)
−
1∣
d
x
=
2
1
∫
q
(
x
)
∣
q
(
x
)
p
(
x
)
−
q
(
x
)
∣
d
x
=
2
1
∫
∣
p
(
x
)
−
q
(
x
)
∣
d
x
•
TV 거리가 적분 확률 측정(integral probability measure)임을 보일 수 있다. 따라서 Total Variation Distance는 IPM이면서
f
f
f
-divergence인 유일한 divergence이다.
참고
•
Probabilistic Machine Learning: Advanced Topics
