LLM config 온도 | 아이디어가 필요할 때, AI 창의성을 끌어올리는 법

LLM이 어떻게 문장을 생성했는지 기억하시나요? (지난 글) LLM은 가지고 있는 어휘 목록에 있는 모든 단어에 대한 확률값을 계산하여 확률 분포를 만들고, 이 중에서 다음 단어를 고릅니다. 이 과정을 ‘샘플링’이라고 부르는데요. 

만약 샘플링은 우리가 조절할 수 있다면 어떨까요? 다음 단어로 올 후보들을 다르게 만들어주고, 그중에서 무엇을 선택할 지 유도할 수 있을 것입니다. 이렇게 샘플링을 제어하는 파라미터에는 크게 3가지가 있는데요. 온도, top-k, top-p입니다. 이번 레터에서는 3가지 샘플링 파라미터 중 하나, 온도에 대해 정리해보았습니다. (다음 편에서 top-p, top-k가 이어질 예정입니다.)

# 온도(temperature)

LLM이 예측할 단어들을 골라주는 샘플링 파라미터

온도 파라미터는 다음 단어를 선택할 때 무작위성을 조절합니다. 갑작스럽고 뜬금없는 단어들이 많아지면 무작위성이 높아지고, 자연스럽고 당연한 단어들이 많으면 무작위성이 낮습니다. 무작위성을 조절한다는 것은 다음에 올 단어들의 확률을 조절해준다는 뜻입니다. 

예를 들어 “원숭이 엉덩이는” 다음 단어를 예측하는데 가장 높은 확률을 가진 단어가 “빨개(80%)”가 있고, 낮은 확률의 단어로 “동그래(20%)”가 있다고 해보겠습니다. 온도 파라미터는 이 원래 확률분포를 수학적으로 변형시켜 새로운 확률 분포를 만듭니다. 

온도를 높이면 확률 분포는 평평해집니다. 확률 분포를 더 평평하게 만들면 단어들의 확률 분포의 확률 차이가 줄어들게 됩니다. 빨개의 확률이 80%에서 60%로 줄어들고, 동그래의 확률은 20%에서 40%가 되어 확률 분포가 평평해지게 됩니다. 

반대로 온도를 낮추면 확률 분포는 뾰족해집니다. 확률 분포를 뾰족하게 만들면 높은 확률을 가졌던 단어는 더 높은 확률을 갖고(빨개는 90%가 되고), 낮은 확률을 가졌던 단어는 더 낮은 확률(동그래는 10%가 됩니다)을 가지게 됩니다. 즉 높은 확률을 가졌던 단어가 선택될 확률을 더욱 높이는 셈입니다. 

그렇다면 온도를 높이고 낮춘다는 것은 어떤 의미를 갖고 있을까요? 온도를 높이면 확률이 낮았던 뜬금없는 단어의 확률이 높아져 선택될 가능성이 생깁니다. 온도를 낮추면 가장 높은 확률을 받은 단어가 더 높은 확률을 받게 되어 ‘답정너’를 말하게 되고요. 

정리하면 온도를 높일수록(1.0) 다양하고 창의적인 결과가, 온도가 낮으면(0.1) 결정적이고 예측 가능한 결과가 나옵니다. 

 

# AI 모델의 창의성을 끌어올리고 싶다면? 

빈 화면을 켜놓고 하염없이 깜박이는 커서를 바라보며 느끼는 막막한 기분. 마케팅 문구를 만들어야 하는데, 아무런 아이디어가 떠오르지 않을 때. 챗GPT에게 마케팅 문구를 뽑아내 도움을 받고 싶을 때 활용해볼 수 있는 꿀팁입니다! 

 

지난 레터에서 오픈AI의 플레이그라운드를 사용해 프롬프트를 테스트할 수 있다고 했는데요. 이번 편에서는 위에서 언급한 ‘온도’ 파라미터를 조절하여 답변이 어떻게 달라지는지 보여드릴께요. 여러분도 직접 플레이그라운드에서 온도를 다양하게 조절해가며 테스트해보세요.

# 역할
마케팅 전문가
# 작업 개요
도서를 소개하는 매력적인 마케팅 문구 5개를 작성해줘.
- 문구 하나당 20글자 이내로 작성
- 풍부한 상상력을 자극하는 창의적인 문구
# 도서 정보
-책 이름: 코스모스
-저자: 칼 세이건.
-책 소개: 전 세계 60개국에 방송되어 6억 시청자를 감동시킨 텔레비전 교양 프로그램을 책으로 옮긴 칼 세이건(Carl Sagan)의 『코스모스(Cosmos)』. 현대 천문학을 대표하는 저명한 과학자인 칼 세이건은 이 책에서 사람들의 상상력을 사로잡고, 난해한 개념을 명쾌하게 해설하는 놀라운 능력을 마음껏 발휘한다. 그는 에라토스테네스, 데모크리토스, 히파티아, 케플러, 갈릴레오, 뉴턴, 다윈 같은 과학의 탐험가들이 개척해 놓은 길을 따라가며 과거, 현재, 미래의 과학이 이뤘고, 이루고 있으며, 앞으로 이룰 성과들을 알기 쉽게 풀이해 들려준다.

위 프롬프트를 동일하게 입력하고, 왼쪽에는 온도를 0.01, 오른쪽 온도는 1.1로 설정하여 결과를 살펴보았습니다. 온도를 제외한 다른 모든 옵션은 동일합니다. 

확실히 답변이 달라지는 모습을 볼 수 있습니다. 신기하지 않나요?! 

여러분도 직접 테스트해보세요!  

 

* 이 글은 AI 안테나의 5월 7일 레터 내용에서 발췌한 것입니다. 빠르게 내용을 받아보고 싶다면 AI 안테나를 구독해주세요! 

---

재밌게 읽으셨나요?
이 글이 흥미로웠다면 제가 직접 쓰고 만드는
AI 안테나 뉴스레터도도 재밌을 거예요!
매주 수요일마다 주요 AI 소식과 인사이트를
메일함에 넣어드립니다.
AI 안테나에서 또 만나요.

https://eddienewsletter.stibee.com/

AI안테나