바다에 퐁당 Ꙭ̮ ꉂ ◡̈⋆*

로지스틱 회귀의 설명변수(독립변수) Factor의

Level이 여러 개인 (다항변수) 경우

해당 Factor를 실제 모델에 넣을 수 있게 하려면, 어떻게 represent 할 것인가?

 For a factor with I levels, there are I - 1 non-redundant parameters. 
 We can arbitrarily set any one of them to 0.

• R default is to order the levels alphabetically and set B1 = 0. 
• When B1 = 0, a is the log odds at level 1.
• a + Bi is the log odds at level i, i = 2,..., I
• Bi is the log odds ratio between level i and level 1.
• Bj - Bi is the log odds ratio between levels j and i (i # j)

ANOVA-Type Representation

ANOVA-type representation은 하나의 기준 수준(reference level)을 정하고, 나머지 수준(level)들을 이 기준 수준과의 차이(즉, 로그 오즈 비)로 나타냄
햄버거 가게에 세 가지 메뉴(A, B, C)가 있다고 가정할 때, A를 기준 수준으로 설정함

이때, β_B는 B 메뉴가 기준(A)보다 얼마나 더 인기 있는지, β_C는 C 메뉴가 기준(A)보다 얼마나 더 인기 있는지 나타냄
이 방법은 기준 수준과 나머지 수준 간의 차이를 표현하며, I개의 수준이 있다면 I - 1개의 파라미터를 사용함
파라미터 수를 줄이고, 수준 간 차이를 해석하기 용이한 방식임

Dummy Variable Representation

Dummy variable representation은 각 수준(level)에 대해 이진 변수(0 또는 1)를 사용하여 표현함
햄버거 가게의 A, B, C 메뉴에 대해 각각의 dummy 변수는 다음과 같이 설정됨

로지스틱 회귀 모델에서의 표현은 다음과 같음

기준 수준(A)의 γ_A는 0으로 설정되며, B와 C 수준의 효과는 각각 γ_B, γ_C로 나타남
Dummy variable representation은 모든 수준을 독립적으로 표현하고, 각 수준의 존재 여부를 명확히 나타냄

ANOVA-Type vs Dummy Variable Representation

예시: 어떤 햄버거가 가장 인기 있는가?

ANOVA-Type Representation

기준 수준: 메뉴 A
B의 로그 오즈가 +1.5, C의 로그 오즈가 −0.5라면,

• B는 A보다 인기가 많음
• C는 A보다 인기가 적음

Dummy Variable Representation

결론

해석이 중요한 경우 ANOVA-Type이 기준과의 차이를 직관적으로 보여줘서 유리함
수준 간 독립적 효과가 필요한 경우 Dummy Variable Representation이 적합함
상황에 따라 두 방법 중 하나를 선택하여 활용해야 함

https://color-change.tistory.com/45

https://blog.naver.com/PostView.naver?blogId=honeyeah&logNo=110155455259

https://blog.naver.com/samassy/222211907142

https://gguguk.github.io/posts/CLT/#:~:text=%EC%A0%95%EC%9D%98,%EC%A0%95%EA%B7%9C%20%EB%B6%84%ED%8F%AC%EC%97%90%20%EC%88%98%EB%A0%B4%ED%95%A9%EB%8B%88%EB%8B%A4.

핵심은,

iid인 동일 모집단에서 추출된 표본들의 합(X1+X2+....Xn) 혹은 표본평균((X1+X2+....Xn)/n)이

→ 모집단 분포와 관계없이 정규분포에 수렴한다

따라서,

가 성립하게 된다.

잠깐.. 기초 공식

#1

#2

#3

 대상이 벡터인 경우, 벡터의 분산은 -> 공분산 행렬 형태로 나타남

https://blog.naver.com/PostView.naver?blogId=waterforall&logNo=222789143718

#적용 (1)

#1

#적용 (2)

# 정리 (1) 

1) Fisher information은 score function의 분산.

- 만약 score function이 벡터라면 Fisher information은 공분산 행렬이 됩니다.

2) Fisher information은 log-likelihood function에 대해서 음수의 2차 미분을 한 것

**

https://velog.io/@veglog/Fisher-Information

# 정리 (2)

https://blog.naver.com/sw4r/221174111918

https://blog.naver.com/sw4r/221112389275