바다에 퐁당 Ꙭ̮ ꉂ ◡̈⋆*

[Statistics] 로지스틱 회귀 Factor Representation (ANOVA type / Dummy)

물만난동그리 — Sat, 14 Dec 2024 23:18:49 +0900

로지스틱 회귀의 설명변수(독립변수) Factor의

Level이 여러 개인 (다항변수) 경우

해당 Factor를 실제 모델에 넣을 수 있게 하려면, 어떻게 represent 할 것인가?

 For a factor with I levels, there are I - 1 non-redundant parameters. 
 We can arbitrarily set any one of them to 0.

• R default is to order the levels alphabetically and set B1 = 0. 
• When B1 = 0, a is the log odds at level 1.
• a + Bi is the log odds at level i, i = 2,..., I
• Bi is the log odds ratio between level i and level 1.
• Bj - Bi is the log odds ratio between levels j and i (i # j)

ANOVA-Type Representation

ANOVA-type representation은 하나의 기준 수준(reference level)을 정하고, 나머지 수준(level)들을 이 기준 수준과의 차이(즉, 로그 오즈 비)로 나타냄
햄버거 가게에 세 가지 메뉴(A, B, C)가 있다고 가정할 때, A를 기준 수준으로 설정함

이때, β_B는 B 메뉴가 기준(A)보다 얼마나 더 인기 있는지, β_C는 C 메뉴가 기준(A)보다 얼마나 더 인기 있는지 나타냄
이 방법은 기준 수준과 나머지 수준 간의 차이를 표현하며, I개의 수준이 있다면 I - 1개의 파라미터를 사용함
파라미터 수를 줄이고, 수준 간 차이를 해석하기 용이한 방식임

Dummy Variable Representation

Dummy variable representation은 각 수준(level)에 대해 이진 변수(0 또는 1)를 사용하여 표현함
햄버거 가게의 A, B, C 메뉴에 대해 각각의 dummy 변수는 다음과 같이 설정됨

로지스틱 회귀 모델에서의 표현은 다음과 같음

기준 수준(A)의 γ_A는 0으로 설정되며, B와 C 수준의 효과는 각각 γ_B, γ_C로 나타남
Dummy variable representation은 모든 수준을 독립적으로 표현하고, 각 수준의 존재 여부를 명확히 나타냄

ANOVA-Type vs Dummy Variable Representation

기준 수준	기준 수준과의 차이로 표현함	기준 수준도 포함하여 모두 독립적으로 표현함
파라미터 수	I - 1개의 파라미터를 사용함	I - 1개의 dummy 변수를 사용함
표현 방식	상대적으로 수준 간 차이를 표현함	절대적으로 각 수준을 개별적으로 표현함
해석 용이성	수준 간의 차이를 직관적으로 해석하기 쉬움	각 수준의 효과를 명확히 확인 가능함
복잡성	중복을 제거하여 상대적으로 단순함	조금 더 파라미터가 많아 상대적으로 복잡함

예시: 어떤 햄버거가 가장 인기 있는가?

ANOVA-Type Representation

기준 수준: 메뉴 A
B의 로그 오즈가 +1.5, C의 로그 오즈가 −0.5라면,

B는 A보다 인기가 많음
C는 A보다 인기가 적음

Dummy Variable Representation

결론

해석이 중요한 경우 ANOVA-Type이 기준과의 차이를 직관적으로 보여줘서 유리함
수준 간 독립적 효과가 필요한 경우 Dummy Variable Representation이 적합함
상황에 따라 두 방법 중 하나를 선택하여 활용해야 함

삼각 함수 공식

물만난동그리 — Fri, 20 Sep 2024 14:06:35 +0900

https://color-change.tistory.com/45

(총정리) 삼각함수 관련 공식

(총정리) 삼각함수 관련 공식 이 포스팅은 삼각함수에 관한 모든 공식을 총정리 한 것입니다. 중학교 과정부터 등장한 삼각함수의 정의부터, 고교 수학10-나, 수학2에 나오는 삼각함수까지 총망

color-change.tistory.com

https://blog.naver.com/PostView.naver?blogId=honeyeah&logNo=110155455259

삼각함수 공식 총 정리 ( 공통수학 ~ 수2 )

공통수학부터 수2까지 이과용 삼각함수의 총 정리본입니다. 고1 이하의 학생...

blog.naver.com

https://blog.naver.com/samassy/222211907142

[미적분] [삼각함수의미분법] [sin미분] [cos미분] [tan미분] [csc미분] [sec미분] [cot미분]

미적분 삼각함수의 미분법 sin , cos , tan , csc , sec , cot 미분증명입니다. 삼각함수의 미분법 증명입...

blog.naver.com

[Statistics] Score Function, 피셔 정보(Fisher Information), 공분산, 중심극한정리(CLT)

물만난동그리 — Fri, 20 Sep 2024 12:00:13 +0900

https://gguguk.github.io/posts/CLT/#:~:text=%EC%A0%95%EC%9D%98,%EC%A0%95%EA%B7%9C%20%EB%B6%84%ED%8F%AC%EC%97%90%20%EC%88%98%EB%A0%B4%ED%95%A9%EB%8B%88%EB%8B%A4.

중심 극한 정리(CLT, Central Limit Theorem)

데이터 사이언스, 추천 시스템, Data Science, Recommender

gguguk.github.io

핵심은,

iid인 동일 모집단에서 추출된 표본들의 합(X1+X2+....Xn) 혹은 표본평균((X1+X2+....Xn)/n)이

→ 모집단 분포와 관계없이 정규분포에 수렴한다

따라서,

가 성립하게 된다.

잠깐.. 기초 공식

대상이 벡터인 경우, 벡터의 분산은 -> 공분산 행렬 형태로 나타남

https://blog.naver.com/PostView.naver?blogId=waterforall&logNo=222789143718

[생존수학] 공분산(covariance) 및 공분산 행렬(covariance matrix), 공분산과 상관계수(correlation coefficient)

이 글을 읽기 전에, 기댓값(expected value)과 분산(variance)에 대해서 알고 있다고 가정합니다. 혹시, 그...

blog.naver.com

#적용 (1)

#적용 (2)

# 정리 (1)

1) Fisher information은 score function의 분산.

- 만약 score function이 벡터라면 Fisher information은 공분산 행렬이 됩니다.

2) Fisher information은 log-likelihood function에 대해서 음수의 2차 미분을 한 것

https://velog.io/@veglog/Fisher-Information

# 정리 (2)

https://blog.naver.com/sw4r/221174111918

https://blog.naver.com/sw4r/221112389275

https://blog.naver.com/sw4r/221174111918

[수리통계학] Score function 란?

정의 (Score function): log-likelihood function의 1차 미분 값을 Score function이라고 부른다. 여기서...

blog.naver.com

https://blog.naver.com/sw4r/221112389275

[수리통계학] Fisher Information / Observed Fisher Information 정의!

피셔 정보와 관찰된 피셔 정보의 내용에 대해서 알아보자. 피셔 정보의 정의는 로그 가능도 함수에 대해서 ...

blog.naver.com

FFR (Federal Funds Rate) vs 역레포 금리 (Reverse Repo Rate)

물만난동그리 — Thu, 19 Sep 2024 11:33:42 +0900

FFR (Federal Funds Rate) vs 역레포 금리 (Reverse Repo Rate)

개념

FFR은 미국의 연방기금금리로, 미국의 상업은행들이 초과 준비금을 서로 하룻밤 동안 대출할 때 적용하는 금리다.
-> '미국의 정책(기준)금리'

미국 연방준비제도(Federal Reserve)가 정책적으로 목표 범위를 설정하여, 이 금리를 통해 단기 시장 금리를 조절하고 통화 정책을 수행한다.

역레포 금리는 중앙은행이 금융기관으로부터 단기적으로 자금을 빌릴 때 적용하는 금리다. 금융기관은 중앙은행에 자금을 예치하고, 그 대가로 금리를 지급받는다.

역레포 거래는 일반적으로 초과 유동성을 흡수하여 시장 금리를 조절하거나 통화량을 관리하는 데 사용된다.

역할과 중요성

통화 정책 수단: FFR은 미국 중앙은행(연준)이 경제를 조절하기 위해 사용하는 주요 정책 금리다. 이를 통해 경기 부양이나 인플레이션 억제를 목표로 한다.

다른 금리의 기준: FFR은 미국의 다른 단기 금리, 예를 들어 대출 금리나 예금 금리의 기준이 된다. 또한 글로벌 금융 시장에 영향을 미쳐 다른 나라의 금리 정책에도 영향을 줄 수 있다.

경제 상황 반영: FFR의 인상은 경제 과열을 막고 인플레이션을 억제하기 위한 조치로, 반대로 금리 인하는 경기 부양을 위해 사용된다.

유동성 관리: 역레포 금리는 중앙은행이 시장에 있는 초과 유동성을 흡수하는 수단으로 사용된다. 유동성이 과도할 경우 역레포 금리를 통해 자금을 중앙은행으로 모으고, 필요할 경우 금리를 낮춰 자금을 풀어준다.

단기 금리 안정화: 금융기관들이 중앙은행에 자금을 예치함으로써, 단기 금리의 변동성을 줄이고 시장 금리 안정화에 기여한다.

통화 정책 보조 수단: 역레포 금리는 FFR이나 기준금리와 함께 사용되어 통화 정책을 보완하고, 금융 시장의 단기 금리 수준을 조절한다.

예시

연준이 FFR을 0.25%에서 0.50%로 인상하면, 은행 간 대출 금리가 올라가면서 대출 금리와 예금 금리도 상승하여 경제를 조절하는 역할을 한다.

중앙은행이 역레포 금리를 1%로 설정하면, 금융기관들은 자금을 중앙은행에 예치하고 1%의 금리를 지급받는다. 이를 통해 중앙은행은 시장의 유동성을 조절할 수 있다.

적용 대상

상업은행 간 거래다.

중앙은행과 금융기관 간 거래다.

통화 정책 수단

연준의 주요 통화 정책 수단이다.

보조적인 통화 정책 수단이다.

FFR 사용 상황

FFR은 연준이 금리 인상 또는 인하를 통해 경제 성장률과 인플레이션을 조절하고자 할 때 사용된다.

예를 들어, 경제 과열을 억제하기 위해 금리를 인상하거나, 경기 침체를 막기 위해 금리를 인하한다.

역레포 금리는 금융기관의 초과 유동성을 조절할 필요가 있을 때,
- 시장에 너무 많은 자금이 풀려 금리가 낮아지거나
- 반대로 유동성을 공급하여 금리가 상승하는 것을 방지할 때

사용된다.

https://news.einfomax.co.kr/news/articleView.html?idxno=4325331

연준, '빅컷'으로 인하 개시…연내 추가 50bp 시사(종합) - 연합인포맥스

미국 연방준비제도(Fed·연준)가 마침내 금리 인하 사이클을 개시했다.18일(현지시간) 연준은 이틀간의 연방공개시장위원회(FOMC) 정례회의 이후 발표한 성명에서 연방기금금리(FFR) 목표범위를 4.75

news.einfomax.co.kr

[Prompt Engineering] langchain 제공 프롬프트 템플릿 양식

물만난동그리 — Wed, 10 Jul 2024 11:59:42 +0900

from langchain_core.prompts import (
    ChatPromptTemplate,
    SystemMessagePromptTemplate,
    HumanMessagePromptTemplate,
    AIMessagePromptTemplate,
    ErrorMessagePromptTemplate,
    WarningMessagePromptTemplate,
    InformativeMessagePromptTemplate
)

chat_prompt = ChatPromptTemplate.from_messages(
    [
        # 시스템 메시지: 시스템의 기능이나 상태를 설명
        SystemMessagePromptTemplate.from_template("이 시스템은 천문학 질문에 답변할 수 있습니다."),
        
        # 사용자 메시지: 사용자가 입력한 질문이나 요청
        HumanMessagePromptTemplate.from_template("{user_input}"),
        
        # AI 응답 메시지: 고정된 응답을 지정
        AIMessagePromptTemplate.from_template("태양계에서 가장 큰 행성은 목성입니다."),
        
        # 오류 메시지: 시스템 오류가 발생했을 때
        ErrorMessagePromptTemplate.from_template("오류가 발생했습니다. 다시 시도해 주세요."),
        
        # 경고 메시지: 잘못된 입력이나 경고를 표시
        WarningMessagePromptTemplate.from_template("경고: 잘못된 입력입니다."),
        
        # 정보 메시지: 사용자가 알아야 할 추가 정보 제공
        InformativeMessagePromptTemplate.from_template("추가 정보: 천문학과 관련된 최신 연구 결과는 다음 사이트를 참고하세요."),
    ]
)

messages = chat_prompt.format_messages(user_input="태양계에서 가장 큰 행성은 무엇인가요?")
print(messages)

LLM 프롬프트 엔지니어링, CoT

물만난동그리 — Wed, 10 Jul 2024 10:53:15 +0900

https://www.promptingguide.ai/kr

프롬프트 엔지니어링 가이드 – Nextra

A Comprehensive Overview of Prompt Engineering

www.promptingguide.ai

0. LLM 하이퍼파라미터

temperature - 값이 낮을수록 항상 가장 확률이 높은 토큰(말뭉치의 최소 단위)이 선택되기 때문에 더 결정론적인 결과

top_p - 정확하고 사실적인 답변을 원한다면 이를 낮게 유지

=> 둘 중 하나만 변경

Max Length - max length를 조정하여 모델이 생성하는 토큰의 수를 관리

Stop Sequences - 모델의 토큰 생성을 중지하는 문자열

Frequency Penalty가 높을수록 단어가 다시 등장할 가능성이 줄어듦

Presence Penalty - 응답에서 구문을 너무 자주 반복하는 것을 방지, 다양하거나 창의적인 텍스트를 생성하기 위해 더 높은 presence penalty를 사용

권장사항: temperature와 top_p를 모두 변경하지는 X, frequency penalty와 presence penalty를 모두 변경하지는 X

1. 예시를 추가하는 few-shot prompting

2. 프롬프트의 구성

프롬프트 엔지니어링: 모델에게 작업을 수행하도록 지시하기 위해 최적의 프롬프트를 설계하는 이러한 접근 방식

- 지시(Instruction): 모델이 수행할 특정 작업 또는 지시
시작 부분에 지시 사항을 명시
'###'과 같이 명확한 구분 기호를 사용하여 명령어와 지시 사항을 구분
지시와 작업을 구체적으로 설명

- 문맥: 더 나은 응답을 위해 모델을 조종할 수 있는 외부 정보나 추가 문맥
- 입력 데이터: 응답받고자 하는 입력이나 질문
- 출력 지시자 - 출력의 유형이나 형식

3. 프롬프트 구성 팁

불필요한 세부 사항을 많이 포함하는 것이 반드시 좋은 접근 방법은 아닙니다
구체적이고 직접적이어야. (매우 구체적이고 간결하며 정곡을 찌르는.)
'하지 말아야 할 것'보다는 '해야 하는 것'에 초점을 두는 것

3-1. 추론 태스크는 특히 CoT. 해결방법을 단계별로 간결하게 제시.

주어진 수 중에서 홀수를 모두 더해서 짝수를 만들어 줘: 15, 32, 5, 13, 82, 7, 1.
문제를 단계별로 해결해 봐. 먼저 주어진 수 중 홀수를 찾아낸 뒤, 그것들을 합해서, 결과가 홀수인지 짝수인지 판별해 줘.

4. CoT

- 중간 추론 단계를 통해 복잡한 추론을 가능하게 함!!
- 충분히 큰 대규모언어모델에서만 발생

- 답변 생성 시 모델이 해설을 단계별로 함께 생성하도록 지시함.

예시
Prompt:
나는 시장에 가서 사과 10개를 샀어. 나는 사과 2개를 이웃에게 주고, 2개를 수리공에게 주었어. 그리고 사과 5개를 더 사서 1개는 내가 먹었어. 사과가 몇 개나 남았니?
단계별로 생각해 보자.

Output:
먼저 사과 10개로 시작했어.
이웃에게 2개, 수리공에게 2개를 나누어 주었으므로 사과가 6개가 남았어.
그런 다음 사과 5개를 더 사서 이제 사과가 11개가 되었어.
마지막으로 사과 1개를 먹었으므로 사과 10개가 남게 돼.

4-1. Auto-CoT

"단계별로 생각해보자(Step by Step)"라는 프롬프트가 있는 대규모언어모델 -> 데모를 위한 추론 사슬을 하나씩 생성함으로써 수작업을 없애는 접근 방식

1단계): 질문 클러스터링(question clustering): 주어진 데이터 세트의 질문을 몇 개의 클러스터로 분할합니다.
2단계): 데모 샘플링(demonstration sampling): 각 클러스터에서 대표 질문을 선택하고 간단한 휴리스틱과 함께 제로샷 생각의 사슬(Zero-Shot-CoT)를 사용해 추론 체인을 생성합니다.

https://www.promptingguide.ai/kr/techniques/cot

대차대조표(Balance Sheet)

물만난동그리 — Wed, 10 Jul 2024 10:43:34 +0900

재무제표는 재무회계의 과정을 통해 수집, 처리된 정보를 정기적으로 이용자에게 전달하는 방법

재무보고의 가장 핵심적인 보고수단

재무상태표는 다른 말로

대차대조표(Balance Sheet)

대변과 차변을 대조해서 확인해야 함

- 조직의 자산 구성과 잔액을 정리하고 보고

- 유동자산과 비유동자산으로 분류

- 각각의 세부 내역을 분류해서 잔액을 기재 (세부분류 방식은 다양함)

- 자산 = 부채 + 자본

부채총계와 자본총계를 합한 금액은 자산총계와 정확히 일치

자본 부채비율 등의 계산이 가능

1) 유동자산

현금 및 단기투자 (Cash and Short-Term Investments)
- 개념: 기업이 보유하고 있는 현금과 곧바로 현금으로 전환할 수 있는 단기 투자 자산
- 의미: 유동성이 매우 높은 자산으로, 기업의 일상적인 운영비용이나 긴급한 지출을 충당할 수 있음
매출채권 (Receivables)
- 개념: 고객에게 상품이나 서비스를 제공하고 아직 받지 못한 대금
- 의미: 미래에 현금으로 전환될 수 있는 자산으로, 고객이 지급할 돈
재고자산 (Inventories)
- 개념: 판매를 위해 보유하고 있는 상품, 원자재, 재공품 등의 자산
- 의미: 판매될 때 수익을 창출하는 자산으로, 회사의 영업 활동의 핵심
기타 유동자산 (Other Current Assets)
- 개념: 1년 이내에 현금화할 수 있는 기타 자산들
- 의미: 단기적인 운영에 필요한 자산으로, 예금, 선급금 등이 포함될 수 있음

- 현금자산: 돈에 가까운 것

- 단기금융상품: 단기에 돈으로 바꿀 수 있는 금융상품

- 당기손익: 당기에 생긴 손익금액

- 매출채권: 매출에 의해 발생하고 가지고 있는 채권

- 재고자산: 실물로 가지고 있는 재고의 가치 금액

- 기타유동자산

2) 비유동자산

: 현금으로 바꾸기는 어려운 것 / 물리적인 것이거나 장기적으로 투자/운영하는 것과 관련됨

유형자산 순액 (Property, Plant, and Equipment (Net))
- 개념: 회사의 건물, 기계, 장비 등의 자산으로, 감가상각 후의 순액
- 의미: 장기적으로 사용될 자산으로, 기업의 생산 능력을 결정
투자 및 선급금 (Investment and Advances (Equity))
- 개념: 다른 회사에 대한 투자 및 선급금 자산
- 의미: 기업이 장기적으로 수익을 기대하고 투자한 자산
기타 자산 (Other Assets)
- 개념: 위에 언급되지 않은 기타 자산
- 의미: 기업의 다양한 운영과 관련된 자산들로 구성됨

Market Maker, Bid price & Ask price

물만난동그리 — Tue, 4 Jun 2024 22:48:20 +0900

Bid Price와 Ask Price는 매수자와 매도자의 거래 의사를 나타냄

Market Maker는 이 두 가격을 제시하고 거래를 중개하여 유동성을 제공함

투자자 A는 Ask Price에 채권을 매수하고, 투자자 B는 Bid Price에 채권을 매도하여 거래가 성사됨

Market Maker는 Bid와 Ask의 차이인 스프레드를 통해 수익을 얻음

기본 설정

채권: 만기 10년, 액면가 $1,000, 쿠폰 금리 5% (즉, 매년 $50 지급)
시장 상황:
- Bid Price: $980
- Ask Price: $990
- 스프레드: $10 ($990 - $980)

시나리오 단계별 설명

시장 참가자들
- 투자자 A: 채권을 사고 싶어합니다.
- 투자자 B: 채권을 팔고 싶어합니다.
- Market Maker M: 채권의 유동성을 제공하며 거래를 중개합니다.
Bid Price와 Ask Price 제시
- Market Maker M은 채권의 Bid Price를 $980, Ask Price를 $990로 제시합니다.
- 이 의미는 M이 $980에 채권을 매수할 준비가 되어 있고, $990에 채권을 매도할 준비가 되어 있다는 것입니다.
투자자 A의 행동
- 투자자 A는 이 채권을 매수하고 싶어합니다. 시장에서 가장 저렴한 매도 가격인 Ask Price $990에 매수 주문을 냅니다.
- 이로 인해 A는 채권을 $990에 매수합니다.
투자자 B의 행동
- 투자자 B는 이 채권을 매도하고 싶어합니다. 시장에서 가장 높은 매수 가격인 Bid Price $980에 매도 주문을 냅니다.
- 이로 인해 B는 채권을 $980에 매도합니다.
Market Maker의 역할
- Market Maker M은 $980에 채권을 매수하고, $990에 채권을 매도했습니다.
- M의 수익은 스프레드인 $10입니다.

추가적인 시나리오 요소

변동성 요소
- 시장 상황에 따라 Bid Price와 Ask Price는 변동할 수 있습니다.
- 예를 들어, 경제 지표 발표, 금리 변화, 채권 발행자의 신용도 변화 등으로 인해 가격이 변동할 수 있습니다.
대량 주문의 영향
- 만약 투자자 A가 대량의 채권을 매수하려 한다면, 이는 시장 가격에 영향을 줄 수 있습니다.
- Market Maker M은 충분한 채권을 보유하고 있지 않다면 추가적인 채권을 확보하기 위해 가격을 조정할 수 있습니다.

*위 글은 chat gpt를 활용, 필자가 퇴고하여 작성된 글입니다.

이표채의 coupon rate, YTM, 시장금리와의 관계

물만난동그리 — Tue, 4 Jun 2024 21:25:33 +0900

이표채의 쿠폰 금리(coupon rate)와 만기 수익률(Yield to Maturity, YTM)의 관계

요약
   - 이표채 발행 당시: 쿠폰 금리 = YTM
   -시장 금리 상승 후: 쿠폰 금리 < YTM
   -시장 금리 하락 후: 쿠폰 금리 > YTM

0. 발행 당시 채권 쿠폰 금리와 YTM이 같다?

- 모든 이표채는 '액면가로 발행'됨: 즉 채권 발행 당시 채권의 가격은 == 채권의 액면가(만기에 상환하는 금액)과 동일함

(zeros. 즉 순할인채는 말 그대로 할인된 가격으로..)

- YTM은 채권 가격이 결정된 후에야 사후적으로 계산되는 수익률 값임. 즉, 전적으로 채권 가격에 의존함.

- 채권 발행 당시, 채권 fair pricing 방법 자체가

=> 채권의 고정된 CF, 즉 쿠폰+원금 포함하는 현금흐름 각각에 대해 PV시켜서 summation시킨 값을 채권 가격으로 결정함

=> 이때 액면가와 채권가격이 일치하므로 이표채 발행 당시의 YTM == coupon rate가 됨.

1. 쿠폰 금리 (Coupon Rate):
   - 쿠폰 금리는 채권 발행 시 정해진 이자율로, 채권 발행자가 정기적으로 채권 보유자에게 지급하는 이자의 비율을 말합니다. 예를 들어, 1000달러짜리 채권의 쿠폰 금리가 5%라면, 채권 보유자는 매년 50달러의 이자를 받게 됩니다.

2. 만기 수익률 (Yield to Maturity, YTM):
   - 만기 수익률은 채권을 만기까지 보유할 경우 얻을 수 있는 총 수익률을 나타내며, 이자 지급과 원금 상환을 모두 포함한 수익률입니다. 이는 시장 이자율, 채권 가격, 남은 기간 등 여러 요인을 고려하여 계산됩니다.

3. 발행 당시의 관계:
   - 채권 발행 시: 채권이 발행될 때, 쿠폰 금리와 YTM은 동일합니다. 이는 발행 당시 채권의 시장 가격이 액면가(face value)와 같기 때문입니다.
     - 예를 들어, 액면가가 1000달러이고 쿠폰 금리가 5%인 채권이 1000달러에 발행되면, 이 채권의 YTM도 5%가 됩니다.

4. 발행 이후의 관계 변화:
   - 시장 금리 상승: 만약 시장 금리가 상승하면, 기존 채권의 YTM은 쿠폰 금리보다 높아집니다. 이는 기존 채권의 가격이 떨어지기 때문입니다. 투자자들은 더 높은 시장 금리를 얻기 위해 기존 채권의 가격을 할인하여 구매하게 됩니다.
     - 예를 들어, 시장 금리가 6%로 상승하면, 기존의 5% 쿠폰 금리를 가진 채권은 가격이 떨어져야 YTM이 6%에 맞춰집니다.

   - 시장 금리 하락: 반대로, 시장 금리가 하락하면 기존 채권의 YTM은 쿠폰 금리보다 낮아집니다. 이는 기존 채권의 가격이 상승하기 때문입니다. 더 높은 쿠폰 금리를 제공하는 채권은 더 높은 가격에 거래됩니다.
     - 예를 들어, 시장 금리가 4%로 하락하면, 기존의 5% 쿠폰 금리를 가진 채권은 가격이 올라가야 YTM이 4%에 맞춰집니다.

*위 글은 chat gpt의 자료제공 + 필자의 퇴고를 거쳐 작성되었습니다

가설검증 Hypothesis Testing (귀무가설 / 유의수준 / p값 / 제1종의 오류, 제2종의 오류)

물만난동그리 — Mon, 3 Jun 2024 18:33:26 +0900

가설검증 Hypothesis Testing

가설검증(Hypothesis Testing): 주어진 데이터가 어떤 가설을 지지하는지 또는 반박하는지를 판단하는 과정

**

통계학에서 **검정**과 **검증**은 비슷해 보이지만 다른 의미를 가지고 있습니다.

1. **검정 (Hypothesis Testing)**:
   - 검정은 특정 가설이 통계적으로 유의미한지 여부를 판단하는 과정입니다. 
   - 예를 들어, 두 집단의 평균이 동일한지 검정하는 t-검정이나, 분산이 같은지 검정하는 F-검정 등이 있습니다.
   - 검정의 결과로 귀무가설(보통 "차이가 없다"는 가설)을 기각할지 여부를 결정합니다. 검정의 핵심은 데이터로부터 얻은 증거가 가설을 지지할 만큼 충분한지 평가하는 것입니다.

2. **검증 (Verification)**:
   - 검증은 어떤 모델이나 시스템, 방법론이 제대로 작동하는지 확인하는 과정입니다.
   - 이는 실험이나 관찰을 통해 주어진 조건 하에서 이론적 주장이나 방법이 실제로 일치하는지를 점검하는 것입니다.
   - 예를 들어, 통계 모델을 만들었을 때, 그 모델이 실제 데이터를 잘 설명하는지를 검증합니다.

정리하자면, **검정**은 주어진 가설이 데이터에 의해 지지되는지를 평가하는 과정이고, **검증**은 이론이나 모델이 제대로 작동하는지를 확인하는 과정입니다.

두 가지 가설을 세우고,

귀무가설(Null Hypothesis, 0): 일반적으로 기존의 믿음이나 가정, 또는 차이가 없음을 주장하는 가설임.
대립가설(Alternative Hypothesis, 1): 귀무가설과 반대되는 주장으로, 차이나 효과가 있음을 주장하는 가설임.

통계적 방법을 통해 이들 가설을 검증하는 방식

가설검증=검정의 단계

가설검증은 다음과 같은 단계로 이루어짐

가설 설정:
- 귀무가설 ( 0): 데이터에 차이가 없다고 주장함
- 대립가설 ( 1): 데이터에 차이가 있다고 주장함
유의수준 설정 ( ):
- 일반적으로 0.05나 0.01 같은 값
- 귀무가설이 참일 때, 잘못 기각할 확률 (False Positive이 확률)
검정 통계량 계산:
- 데이터를 기반으로 검정 통계량을 계산함.
- 이 통계량은 보통 표준정규분포(Z-검정), t-분포(t-검정) 등 여러 가지 방법이 있음.
p-값 계산:
- 검정 통계량이 주어진 분포에서 어느 정도의 극단적인 값을 갖는지를 계산함.
- p-값: 귀무가설(영가설)이 참일 때, 검정 통계량이 현재 관측된 값보다 극단적인 값을 가질 확률임.
결정:
- p-값을 유의수준 ( )와 비교
- if p값 < , 귀무가설을 기각하고 대립가설을 채택 (실험 결과 P값이 작아야 실험 가정이 유의하다)
- p-값이 보다 크면, 귀무가설을 기각하지 않음

예시

예제: 평균 비교

두 집단의 평균이 같은지 비교 -> 신약이 기존 약보다 효과가 있는지를 검증한다고 가정

가설 설정:
- 0: 두 집단의 평균이 같음 ( 1= 2)
- 1: 두 집단의 평균이 다름 ( 1≠ 2)
유의수준 설정:
- =0.05
검정 통계량 계산:
- t-검정을 사용해 두 집단의 평균 차이를 검정
p-값 계산:
- 계산된 t-값에 대응하는 p-값을 찾음
결정:
- p-값이 0.05보다 작으면, 귀무가설을 기각하고 신약이 기존 약과 효과가 다르다고 결론지음.

유형별 가설검증

가설검증에는 여러 유형이 있음:

Z-검정: 표본 크기가 크고, 모분산이 알려진 경우
t-검정: 표본 크기가 작고, 모분산이 알려지지 않은 경우
카이제곱검정: 범주형 데이터의 독립성이나 적합성 검정에 사용
F-검정: 두 집단의 분산 비교에 사용

가설검증의 오류

가설검증에서는 두 가지 주요 오류가 발생할 수 있음:

제1종 오류 (Type I Error): 귀무가설이 참인데 기각하는 오류 (유의수준 )
- False Positive
- 예시: 암 진단 검사에서 실제로 암이 없는데도 검사가 암이 있다고 잘못 진단하는 경우
- 유의수준 ( ): 제1종 오류가 발생할 확률. 연구자가 설정하는 값으로, 보통 0.05 (5%)나 0.01 (1%) 같은 값을 사용
  - 의미: 라면, 귀무가설이 참일 때 5%의 확률로 귀무가설을 잘못 기각할 수 있다
제2종 오류 (Type II Error): 귀무가설이 거짓인데 기각하지 않는 오류 (베타 )
- False Negative
- 예시: 암 진단 검사에서 실제로 암이 있는데도 검사가 암이 없다고 잘못 진단하는 경우
- 베타 ( ): 제2종 오류가 발생할 확률. 유의수준과 달리 보통 명시적으로 설정되지 않고 계산을 통해 결정
  - 검정력 (Power): 1 - 를 검정력이라고 함. 실제로 대립가설이 참일 때 이를 올바르게 기각할 확률
  - 검정력이 높을수록 좋은 검사.

제1종 오류와 제2종 오류 Trade-off

를 낮추면 제1종 오류의 확률은 줄어들지만, 는 증가해서 제2종 오류의 확률이 커질 수 있음
vice versa

오류 조절 방법

유의수준 ( ) 조정: 보통 연구자는 α를 0.05나 0.01로 설정하지만, 문제의 심각성에 따라 더 낮추거나 높일 수 있음.
표본 크기 증가: 표본 크기를 늘리면 검정력이 높아져서 제2종 오류의 확률을 줄일 수 있음. 이는 더 많은 데이터를 수집함으로써 오류를 줄이는 방법임.
효과 크기 증가: 효과 크기가 클수록 검정력이 높아져서 제2종 오류의 확률이 줄어듦. 연구 설계를 통해 더 뚜렷한 차이를 만들 수 있는 방법을 고려할 수 있음.

* P_err = Total probablility of error of a binary hypothesis test

*일부 gpt를 활용하여 작성함

바다에 퐁당 Ꙭ̮ ꉂ ◡̈⋆*

[Statistics] 로지스틱 회귀 Factor Representation (ANOVA type / Dummy)

ANOVA-Type Representation

Dummy Variable Representation

ANOVA-Type vs Dummy Variable Representation

ANOVA-Type Representation

Dummy Variable Representation

결론

삼각 함수 공식

[Statistics] Score Function, 피셔 정보(Fisher Information), 공분산, 중심극한정리(CLT)

잠깐.. 기초 공식

# 정리 (1)

1) Fisher information은 score function의 분산.

2) Fisher information은 log-likelihood function에 대해서 음수의 2차 미분을 한 것

# 정리 (2)

FFR (Federal Funds Rate) vs 역레포 금리 (Reverse Repo Rate)

FFR (Federal Funds Rate) vs 역레포 금리 (Reverse Repo Rate)

[Prompt Engineering] langchain 제공 프롬프트 템플릿 양식

LLM 프롬프트 엔지니어링, CoT

0. LLM 하이퍼파라미터

1. 예시를 추가하는 few-shot prompting 2. 프롬프트의 구성

3. 프롬프트 구성 팁

4. CoT

4-1. Auto-CoT

대차대조표(Balance Sheet)

대차대조표(Balance Sheet)

1) 유동자산

2) 비유동자산

Market Maker, Bid price & Ask price

기본 설정

시나리오 단계별 설명

추가적인 시나리오 요소

이표채의 coupon rate, YTM, 시장금리와의 관계

가설검증 Hypothesis Testing (귀무가설 / 유의수준 / p값 / 제1종의 오류, 제2종의 오류)

가설검증 Hypothesis Testing

가설검증=검정의 단계

예시

예제: 평균 비교

유형별 가설검증

가설검증의 오류

제1종 오류와 제2종 오류 Trade-off

오류 조절 방법

1. 예시를 추가하는 few-shot prompting

2. 프롬프트의 구성