바다에 퐁당 Ꙭ̮ ꉂ ◡̈⋆*

ChatGPT란?

2022년 11월 30일에 오픈된, OpenAI의 거대한 language model (기존: GPT2, GPT3)

- Chat Generative Pretrained Transformer

- 정확성보다는 창의성에 큰 주목을 받음

PROS

- imaginative conversations & generate creative responses

- 단순히 기존 현실에 근거해서 생성되는 것이 다가 아니다! => '새로운' 아이디어를 생성해내는 능력

- report나 essay를 작성하는 과정에서 실질적인 도움을 제공받을 수 있음

Broad CONCEPT

1) 기존의 GPT를 업그레이드 시킨 것, 즉 기본 model structure는 Transformer

2) GANs의 개념에 착안하여 text-based conversation에 적용함: input text에 대한 '현실적인' response를 출력

    => GANs concept의 엄청난 새로운 응용!

    => Transformer 구조 자체는 GANs의 구조와 무관함 (오해하지 말자~)

GANs(Generative Adversarial Networks)란?
: 두 개의 competing networks(generator & discriminator)를 이용하여 현실과 가까운 output을 만들어내는 신경망
- generator가 fake output을 만들면
  => discriminator는 fake와 real-world data 간의 차이를 식별하는 역할
- 양 간을 왔다갔다 하며 점차 real data와 구별하기 어려울 정도로 현실적인 output을 만들어낼 수 있게 됨

단순히 현실 정보를 추출하여 조합하는 방식이 아니라, 모델이 스스로 fictional creations을 생산해내는 것!

- 한편으로는 reality에 벗어나는 output이라고 평가할 수 있지만

- 달리 생각하면, 기존에 있던 것들 & 현실적인 상황에 갇히지 않고, 완전히 새로운 imaginary, creative, out-of-the-box 텍스트를 생산할 수 있다는 점에서 매우 유용하다

ChatGPT’s output only touches reality at a tangent
But BEYOND the CONSTRAINTS of Our Everyday REALITY

METHODS

- 강화학습을 위한 Reward model

- Comparison data 이용: 여러 responses에 대한 rank를 매기고 이를 기반으로 reward models

- 최적화 및 파인튜닝: PPO(Proximal Policy Optimization)

LIMITATION

- 잘못된 정보 생산 가능 (incorrect / nonsensical / biased)

- input 구절을 바꾸거나 꼬아서 작성할 때 / 같은 input을 여러 번 입력할 때 => 민감하게 반응

- 특정 phrase를 남용하거나 지나치게 장황한 text를 생산하는 경향

- 현재로서는 입력된 input(question)이 모호할 때 모델 스스로 질문의 의도를 추측하려는 경향이 있음

   => 이상적 모델이라면 모호한 input(question)을 받았을 때 '되물어야' 함

- 유해한 instruction / 편향(차별)된 input은 decline하도록 설계되어 있으나(Moderation API), 가끔 decline해내지 못하기도 함

- 수학 문제를 풀어내지 x 

- 잘못된 Code snippet 생산

- Turing SAT IQ 테스트를 통과할 수준은 아님

참고자료

https://openai.com/blog/chatgpt/

https://kozyrkov.medium.com/introducing-chatgpt-aa824ad89623