Search
Duplicate

확률, 통계/ Exponential Family

지수족

•
지수족(exponential family)는 지수함수와 연관되어 있는 특정 확률분포 종류를 뜻하며, 다음의 분포들의 그 예이다.
◦
가우시안 분포
◦
베타 분포
◦
감마 분포
◦
디리클레 분포
◦
베르누이 분포
◦
이항 분포
◦
다항 분포
◦
푸아송 분포
•
확률 분포가 다음의 형태로 나타나는 경우 지수족이라고 부른다.
◦
여기서 h(x)h(\bold{x})는 스케일링 상수(기준 측정값(base measure)이라고도 함, 흔히 1을 사용)
◦
T(x)∈RK\mathcal{T}(\bold{x}) \in \mathbb{R}^K는 충분 통계(sufficient statistics)
◦
η\boldsymbol{\eta}는 자연 파라미터(natural parameters) 또는 표준 파라미터(canonical parameters),
◦
Z(η)Z(\boldsymbol{\eta})은 분할 함수라고 알려진 정규화 상수
◦
A(η)=log⁡Z(η)A(\boldsymbol{\eta}) = \log Z(\boldsymbol{\eta})는 로그 분할 함수
p(x∣η)=1Z(η)h(x)exp⁡[ηTT(x)]=h(x)exp⁡[ηTT(x)−A(η)]p(\bold{x}|\boldsymbol{\eta}) = {1 \over Z(\boldsymbol{\eta})} h(\bold{x}) \exp[\boldsymbol{\eta}^T \mathcal{T}(\bold{x})] = h(\bold{x}) \exp[\boldsymbol{\eta}^T \mathcal{T}(\bold{x}) - A(\boldsymbol{\eta})]
•
위 식을 η=f(ϕ)\boldsymbol{\eta} = f(\boldsymbol{\phi})로 일반화 하면 다음과 같은 형태를 갖는다. —여기서 ϕ\boldsymbol{\phi}는 아마도 더 작은 파라미터 집합일 수 있다.
p(x∣ϕ)=h(x)exp⁡[f(ϕ)TT(x)−A(f(ϕ))]p(\bold{x}|\boldsymbol{\phi}) = h(\bold{x}) \exp[f(\boldsymbol{\phi})^T \mathcal{T}(\bold{x}) - A(f(\boldsymbol{\phi}))]
•
ϕ\boldsymbol{\phi}에서 η\boldsymbol{\eta}로의 매핑이 비선형인 경우 —함수 ff가 비선형인 경우— 이를 curved exponential family라고 부른다. η=f(ϕ)=ϕ\boldsymbol{\eta} = f(\boldsymbol{\phi}) = \boldsymbol{\phi}인 경우 모델은 canonical form이라고 부른다. 또한 T(x)=x\mathcal{T}(\bold{x}) = \bold{x}인 경우 이를 natural exponential family(NEF)라고 부른다. 이 경우 다음과 같이 작성할 수 있다.
p(x∣η)=h(x)exp⁡[ηTx−A(η)]p(x|\boldsymbol{\eta}) = h(x) \exp[\boldsymbol{\eta}^T x - A(\boldsymbol{\eta})]
•
지수족의 중요한 특성은 로그 분할 함수(log partition function)의 도함수를 사용하여 충분(sufficient) 통계의 모든 cumulant을 생성할 수 있다는 것이다.
•
지수족은 통계학과 머신러닝에서 다음을 포함한 다양한 이유로 중요한 역할을 수행한다.
◦
지수족은 사용자가 선택한 어떤 제약조건에서 최대 엔트로피를 갖는(따라서 가정이 가장 적은) 고유한 분포 족이다.
◦
지수족은 GLM의 핵심이다.
◦
지수족은 variational inference에서 핵심이다.
◦
특정 regularity 조건 하에서 지수족은 유한 크기 충분 통계를 갖는 유일한 분포 족이다.
◦
지수족의 모든 멤버는 파라미터의 베이지안 추론을 단순화하는 켤례(conjugate) prior를 갖는다.

참고

Made with