from langchain_core.prompts import (
ChatPromptTemplate,
SystemMessagePromptTemplate,
HumanMessagePromptTemplate,
AIMessagePromptTemplate,
ErrorMessagePromptTemplate,
WarningMessagePromptTemplate,
InformativeMessagePromptTemplate
)
chat_prompt = ChatPromptTemplate.from_messages(
[
# 시스템 메시지: 시스템의 기능이나 상태를 설명
SystemMessagePromptTemplate.from_template("이 시스템은 천문학 질문에 답변할 수 있습니다."),
# 사용자 메시지: 사용자가 입력한 질문이나 요청
HumanMessagePromptTemplate.from_template("{user_input}"),
# AI 응답 메시지: 고정된 응답을 지정
AIMessagePromptTemplate.from_template("태양계에서 가장 큰 행성은 목성입니다."),
# 오류 메시지: 시스템 오류가 발생했을 때
ErrorMessagePromptTemplate.from_template("오류가 발생했습니다. 다시 시도해 주세요."),
# 경고 메시지: 잘못된 입력이나 경고를 표시
WarningMessagePromptTemplate.from_template("경고: 잘못된 입력입니다."),
# 정보 메시지: 사용자가 알아야 할 추가 정보 제공
InformativeMessagePromptTemplate.from_template("추가 정보: 천문학과 관련된 최신 연구 결과는 다음 사이트를 참고하세요."),
]
)
messages = chat_prompt.format_messages(user_input="태양계에서 가장 큰 행성은 무엇인가요?")
print(messages)
temperature-값이 낮을수록 항상 가장 확률이 높은 토큰(말뭉치의 최소 단위)이 선택되기 때문에 더 결정론적인 결과
top_p- 정확하고 사실적인 답변을 원한다면 이를 낮게 유지
=> 둘 중 하나만 변경
Max Length-max length를 조정하여 모델이 생성하는 토큰의 수를 관리
Stop Sequences-모델의 토큰 생성을 중지하는 문자열
Frequency Penalty가 높을수록 단어가 다시 등장할 가능성이 줄어듦
Presence Penalty - 응답에서 구문을 너무 자주 반복하는 것을 방지, 다양하거나 창의적인 텍스트를 생성하기 위해 더 높은 presence penalty를 사용
권장사항: temperature와 top_p를 모두 변경하지는 X, frequency penalty와 presence penalty를 모두 변경하지는 X
1. 예시를 추가하는 few-shot prompting
2. 프롬프트의 구성
프롬프트 엔지니어링: 모델에게 작업을 수행하도록 지시하기 위해 최적의 프롬프트를 설계하는 이러한 접근 방식
- 지시(Instruction): 모델이 수행할 특정 작업 또는 지시 시작 부분에 지시 사항을 명시 '###'과 같이 명확한 구분 기호를 사용하여 명령어와 지시 사항을 구분 지시와 작업을 구체적으로 설명
- 문맥: 더 나은 응답을 위해 모델을 조종할 수 있는 외부 정보나 추가 문맥 - 입력 데이터: 응답받고자 하는 입력이나 질문 - 출력 지시자 - 출력의 유형이나 형식
3. 프롬프트 구성 팁
불필요한 세부 사항을 많이 포함하는 것이 반드시 좋은 접근 방법은 아닙니다 구체적이고 직접적이어야. (매우 구체적이고 간결하며 정곡을 찌르는.) '하지 말아야 할 것'보다는 '해야 하는 것'에 초점을 두는 것
3-1. 추론 태스크는 특히 CoT. 해결방법을 단계별로 간결하게 제시.
주어진 수 중에서 홀수를 모두 더해서 짝수를 만들어 줘: 15, 32, 5, 13, 82, 7, 1. 문제를 단계별로 해결해 봐. 먼저 주어진 수 중 홀수를 찾아낸 뒤, 그것들을 합해서, 결과가 홀수인지 짝수인지 판별해 줘.
4. CoT
- 중간 추론 단계를 통해 복잡한 추론을 가능하게 함!! - 충분히 큰 대규모언어모델에서만 발생
- 답변 생성 시 모델이 해설을 단계별로 함께 생성하도록 지시함.
예시 Prompt: 나는 시장에 가서 사과 10개를 샀어. 나는 사과 2개를 이웃에게 주고, 2개를 수리공에게 주었어. 그리고 사과 5개를 더 사서 1개는 내가 먹었어. 사과가 몇 개나 남았니? 단계별로 생각해 보자.
Output: 먼저 사과 10개로 시작했어. 이웃에게 2개, 수리공에게 2개를 나누어 주었으므로 사과가 6개가 남았어. 그런 다음 사과 5개를 더 사서 이제 사과가 11개가 되었어. 마지막으로 사과 1개를 먹었으므로 사과 10개가 남게 돼.
4-1. Auto-CoT
"단계별로 생각해보자(Step by Step)"라는 프롬프트가 있는 대규모언어모델 -> 데모를 위한 추론 사슬을 하나씩 생성함으로써 수작업을 없애는 접근 방식
1단계): 질문 클러스터링(question clustering): 주어진 데이터 세트의 질문을 몇 개의 클러스터로 분할합니다. 2단계): 데모 샘플링(demonstration sampling): 각 클러스터에서 대표 질문을 선택하고 간단한 휴리스틱과 함께 제로샷 생각의 사슬(Zero-Shot-CoT)를 사용해 추론 체인을 생성합니다.
