[Statistics] Score Function, 피셔 정보(Fisher Information), 공분산, 중심극한정리(CLT)

https://gguguk.github.io/posts/CLT/#:~:text=%EC%A0%95%EC%9D%98,%EC%A0%95%EA%B7%9C%20%EB%B6%84%ED%8F%AC%EC%97%90%20%EC%88%98%EB%A0%B4%ED%95%A9%EB%8B%88%EB%8B%A4.

중심 극한 정리(CLT, Central Limit Theorem)

 

 

핵심은,

iid인 동일 모집단에서 추출된 표본들의 합(X1+X2+....Xn) 혹은 표본평균((X1+X2+....Xn)/n)이

→ 모집단 분포와 관계없이 정규분포에 수렴한다

 

따라서,

 

가 성립하게 된다.

---

 

잠깐.. 기초 공식

#1

#2

 

#3

 대상이 벡터인 경우, 벡터의 분산은 -> 공분산 행렬 형태로 나타남

 

https://blog.naver.com/PostView.naver?blogId=waterforall&logNo=222789143718

[생존수학] 공분산(covariance) 및 공분산 행렬(covariance matrix), 공분산과 상관계수(correlation coefficient)

 

 

#적용 (1)

 

---

#1

 

#적용 (2)

 

---

# 정리 (1) 

 

1) Fisher information은 score function의 분산.

- 만약 score function이 벡터라면 Fisher information은 공분산 행렬이 됩니다.

2) Fisher information은 log-likelihood function에 대해서 음수의 2차 미분을 한 것

 

**

https://velog.io/@veglog/Fisher-Information

---

# 정리 (2)

https://blog.naver.com/sw4r/221174111918

 

 

---

https://blog.naver.com/sw4r/221112389275

 

 

---

https://blog.naver.com/sw4r/221174111918

[수리통계학] Score function 란?

https://blog.naver.com/sw4r/221112389275

[수리통계학] Fisher Information / Observed Fisher Information 정의!