Search
Duplicate

교양/ 수학/ 확률분포

이산 확률 분포

•
연속이 아닌 확률 분포
•
연속이 아니기 때문에 ∑\sum으로 합을 구한다.
•
확률질량함수(probability mass function, PMF)으로 표현
•
베르누이분포, 이항분포, 카테고리분포, 다항분포가 여기에 속한다.
◦
베르누이분포를 기준으로 표본이 NN개가 되면 이항분포가 되고, 컬럼이 KK개가 되면 카테고리 분포가 되고, 카테고리 분포의 표본이 NN개가 되면 다항분포가 된다.

베르누이 분포

•
시행 결과가 스칼라 값 00 또는 11 로 나오는 분포

기댓값

E[x]=μE[x] = \mu

분산

Var[x]=μ(1−μ)Var[x] = \mu(1- \mu)

확률질량함수

Bern(x;μ)=μx(1−μ)1−xBern(x;\mu) = \mu^{x}(1-\mu)^{1 - x}

이항 분포

•
베르누이 분포에 대해 표본이 NN개 존재하는 분포.
◦
기댓값, 분산, 확률질량함수를 보면 베르누이 분포에 대해 NN이 적용된 것을 볼 수 있다.

기댓값

E[x]=NμE[x] = N \mu

분산

Var[x]=Nμ(1−μ)Var[x] = N \mu(1- \mu)

확률질량함수

Bin(x;N,μ)=(Nx)μx(1−μ)N−xBin(x;N,\mu) = \binom{N}{x} \mu^{x} (1-\mu)^{N - x}

카테고리 분포

•
베르누이 분포에 대해 컬럼이가 KK개 존재하는 분포. 카테고리이므로 시행 결과는 벡터형태로 나오고, 각 벡터가 해당 컬럼에만 11을 갖는 원핫-인코딩 형식을 갖는다.
Cat(x;μ)={μ1x=(1,0,0,...,0)μ2x=(0,1,0,...,0)...μkx=(0,0,0,...,1)Cat(x;\mu) = \begin{cases} \mu_1 & x = (1, 0, 0, ... , 0) \\ \mu_2 & x = (0, 1, 0, ... , 0) \\ ... \\ \mu_k & x = (0, 0, 0, ... , 1) \end{cases}

기댓값

•
베르누이 분포와 유사한데, 벡터 형식이다.
E[xk]=μkE[x_k] = \mu_k

분산

Var[xk]=μk(1−μk)Var[x_k] = \mu_k(1 - \mu_k)

확률질량함수

Cat(x;μ)=∏k=1KμkxkCat(x;\mu) = \prod_{k=1}^{K} \mu_k^{x_k}

다항 분포

•
카테고리 분포에 대해 표본이 NN개 존재하는 분포.
◦
기댓값, 분산, 확률질량함수를 보면 카테고리 분포에 대해 NN이 적용된 것을 볼 수 있다.

기댓값

E[xk]=NμkE[x_k] = N \mu_k

분산

Var[xk]=Nμk(1−μk)Var[x_k] = N \mu_k(1 - \mu_k)

확률질량함수

Mu(x;N,μ)=(Xn)∏k=1KμkxkMu(x;N,\mu) = \binom{X}{n} \prod_{k=1}^{K} \mu_k^{x_k}

연속 확률 분포

•
연속인 확률분포
•
연속은 ∑\sum으로 합을 구할 수 없기 때문에 ∫\int로 합을 구한다.
•
확률밀도함수(probability density function, PDF)으로 표현
◦
확률밀도함수는 연속 확률분포에 대한 누적분포함수(cumulative distribution function, CDF)의 도함수다.
◦
다시 말해 누적분포함수를 미분한게 확률밀도함수이다. 거꾸로 확률밀도함수를 적분하면 누적분포함수가 됨.
•
연속 확률 분포에는 정규 분포 외에 정규분포에서 파생된 스튜던트 t분포, 카이제곱분포, F분포 등이 있지만 생략

정규 분포

•
평균 μ\mu와 분산 σ2\sigma^2 만으로 정의되는 분포
•
분산의 역수를 정밀도(precision) β\beta라고도 한다. (β=1σ2\beta = { 1 \over \sigma^2 })
•
정규분포 중에서 평균이 00이고 분산이 11인 (μ=0,σ2=1\mu = 0, \sigma^2 = 1) 정규분포를 표준정규분포(standard normal distribution)이라고 한다.

확률밀도함수

N(x,μ,σ2)=12πσ2exp⁡(−(x−μ)22σ2)\mathcal{N}(x, \mu, \sigma^2) = {1 \over \sqrt{2 \pi \sigma^2}} \exp \left( - {(x - \mu)^2 \over 2 \sigma^2} \right)
•
정규분포는 x=μx = \mu 일 때, 확률밀도가 최대가 되고 x=∞x = \infty이나 x=−∞x = -\infty로 다가갈수록 확률밀도가 낮아진다.

다변수 정규 분포

•
변수가 여러개인 정규 분포를 다변수 정규 분포(multivariate normal distribution, MVN)라고 한다.
•
공분산행렬의 역행렬을 정밀도 행렬(precision matrix) 이라고 한다. (Σ−1\Sigma^{-1})

확률밀도함수

•
차원이 DD인 다변수정규분포의 확률밀도함수는 평균벡터 μ\mu와 공분산행렬 Σ\Sigma라는 두 모수를 가지며 다음과 같은 식으로 정의한다.
N(x;μ,Σ)=1(2π)D2∣Σ∣12exp⁡(−12(x−μ)TΣ−1(x−μ))N(x;\mu,\Sigma) = {1 \over (2\pi)^{D \over 2}|\Sigma|^{1 \over 2}} \exp \left( -{1 \over 2} (x - \mu)^T \Sigma^{-1}(x - \mu) \right)
•
x∈RDx \in \mathbb{R}^D : 확률변수벡터
•
μ∈RD\mu \in \mathbb{R}^D : 평균벡터
•
Σ∈RD×D\Sigma \in \mathbb{R}^{D \times D} : 공분산행렬
Made with