[Statistics] uncorrelated vs orthogonal vs independent

 

 

correlation: 두 RV의 '선형적 상관관계'가 있느냐

 

uncorrelated: 두 RV의 '선형적 상관관계'가 없다

if cov(X,Y) = E[(X-E(X))*(Y-E(Y))] = r(X,Y) - E(X)*E(Y) = 0

→ uncorrelated

 

만약 E(X) or E(Y) 중 하나가 0이면 correlation coefficient r == cov(X,Y)가 되어

orthogonal과 uncorrelated가 가리키는 바가 일치하게 됨.

else, 둘은 엄밀히 다른 개념.

 

orthogonal: 두 RV를 벡터로 표현할 때 둘은 직교한다 = 선형적 상관관계가 없다

if correlation coefficient = r(X,Y) = E[XY] = 0

→ orthogonal

 

 

↔️

independent: 두 RV는 어떠한 방식으로도 서로 영향을 주지 않는다

두 RV의 marginal 확률분포를 각각 구해서 둘을 곱한 것이: joint 확률분포와 일치하여야 함

E[g(X)*h(Y)] = E[g(X)]*E[h(Y)]

E[XY] = E[X]*E[Y]를 만족함

자동으로 Cov(X,Y) = 0이어서 uncorrelated임.

 

independent이면 uncorrelated이지만, 역은 성립하지 않는다

 

 

---

 

주요 공식

 

covariance = E[XY] - E[X]*E[Y] (cov=0이면 uncorrelated)

correlation = E[XY]

correlation coefficient = cov(X,Y) / 표편(X)*표편(Y) = E[(X의 편차)*(Y의 편차)] = E[(X-x평균)*(Y-y평균)]

 

 

아니 그러면 correlation이랑 corelation coefficient는 각기 다른 거니?

---

 

https://blog.naver.com/chaero-/223234599551

#21 결합 모멘트 (Joint moments), uncorrelated, orthogonal [랜덤 프로세스]

https://jaejunyoo.blogspot.com/2018/08/what-is-relationship-between-orthogonal.html

What is the relationship between orthogonal, correlation and independence?