창의성, 그리고 똘똘해지는 법
LLM 동작 원리 ②
Session 2 · Day 1
무엇이 매번 다른 답을 만드나 🎲 · 어떻게 도움 되게 다듬어졌나 🧱
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background, split feel. On the left a row of glowing vertical probability bars, the tallest bar highlighted in teal #00b894, the shorter bars surrounded by faint vibration lines and small question marks. On the right a probability-weighted die (faces of different sizes) beside a small rising stack of layered blocks. Thin luminous lines connect the bars to the die and the blocks. Clean editorial line-art style, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Only these labels appear, each EXACTLY ONCE: 'probability', 'creativity', 'alignment'. No duplicates, no mirrored or reversed text."
Session 2 · Day 1 — 오전 11:40 ~ 12:50 (70분)
전반부
창의성 = 조절된 무작위성 🎲
greedy면 늘 같은 답이어야 하는데, ChatGPT는 왜 매번 다른가. 무엇이 매번 다른 답을 만드나.
예측기는 매 순간 확률 막대그래프를 세운다
예측기는 다음에 올 후보들의 확률 막대그래프를 세운다. "오늘 날씨가 참 ___" 뒤에는 이런 막대가 선다.
📊 다음 토큰 확률 (예시)
- 좋다 — 0.55
- 맑다 — 0.20
- 덥다·춥다·파랗다 등 — 0.09 이하
- … 나머지 수만 개 — 거의 0
🎯 가장 단순한 선택 — greedy
제일 높은 막대를 그대로 집는다. 이 방식이 탐욕적 선택(greedy)이다.
greedy는 늘 같은 답 — 그런데 ChatGPT는 다르다
탐욕적 선택에는 분명한 성질이 있다. 같은 문장을 넣으면 늘 같은 막대가 서고, 늘 같은 1등이 뽑힌다. 즉 매번 똑같은 답이 나와야 한다.
⚠️ 모순. 실제로 ChatGPT에 같은 질문을 두 번 던지면 답이 조금씩 다르다. 시를 써 달라 하면 매번 다른 시가 나온다. 늘 1등만 고르는 게 아니라는 뜻이다.
무엇이 그 확률을 흔들어, 매번 다른 답을 만드는가. 이 물음이 전반부의 출발점이다.
두 물음을 이어서 답한다
🎲 창의성의 정체
무엇이 매번 다른 답을 만드나?
답 — "의도된 무작위성". 예측기에 주사위를 하나 얹어, 1등만이 아니라 2·3등도 이따금 골라내게 만든다.
→ 그 세기를 조절하는 장치를 전반부에서 다룬다.
🧱 똘똘해지는 법
유창한 예측기가 어떻게 다듬어졌나?
답 — "층을 쌓았다". 사전학습 · 정렬 · 안전장치라는 층이다.
→ 그 층을 아래부터 하나씩 후반부에서 올린다.
1등만 집으면 지루하다
탐욕적 선택은 안정적이다. 같은 입력에 늘 같은 답을 준다. 사실을 묻는 짧은 질문에는 이 성질이 오히려 좋다 — "대한민국의 수도는?"에 매번 "서울"이 나오는 편이 낫다.
하지만 글을 짓는 일에서는 이 안정성이 그대로 지루함이 된다. 늘 1등 단어만 이으면 가장 흔하고 무난한 문장만 끝없이 나온다. 사람이 글을 쓸 때 늘 가장 뻔한 단어만 고르지 않는 것과 같다. 때로는 두 번째, 세 번째로 떠오른 단어를 골라야 문장이 자연스러워진다.
📌 그래서 예측기에 장치를 하나 얹는다. 1등만이 아니라 아래 순위 막대도 이따금 골라내는 장치다. 이 "이따금 아래도 고르기"가 창의성의 기본 구조다.
샘플링 — 막대 높이에 비례해 뽑는다
아래 순위도 골라낸다면 어떻게 고르는가. 규칙이 하나 있다. 막대가 높은 후보일수록 자주, 낮은 후보일수록 드물게 뽑는다. 확률 높이에 비례해 뽑는 이 방식이 샘플링(sampling), 우리말로 확률적 선택이다.
비유는 주사위다. 다만 여섯 면이 똑같은 보통 주사위가 아니라, 면의 크기가 확률에 맞춰진 주사위다. "좋다" 면이 넓어 자주 나오고, "파랗다" 면은 아주 좁아 어쩌다 한 번 나온다.
📌 ChatGPT가 매번 다른 답을 주는 원리가 이 주사위 굴리기다. 확률을 흔든 게 아니라, 확률에 맞춘 주사위를 굴려 그때그때 다른 면을 집는다.
주사위의 온도 — temperature
주사위를 굴리기로 했다면, 다음 물음은 "얼마나 과감하게 굴릴 것인가"다. 이 대담함의 세기를 조절하는 값이 temperature(온도)다.
온도라 부르는 이유가 있다. 온도가 낮으면 잠잠하고, 높으면 들끓는다. 무작위성도 마찬가지다.
❄️ 낮은 온도
예측기가 안정되어 늘 1등만 집는다. 차가운 주사위는 늘 같은 면만 낸다. 0에 가까우면 사실상 greedy와 같아진다.
🔥 높은 온도
선택 폭이 넓어져 2·3등도 자주 집는다. 뜨거운 주사위는 예상 밖의 면도 자주 낸다. 값을 올릴수록 다양해지고, 더 올리면 엉뚱해진다.
온도는 확률의 모양을 바꾼다 — 뾰족함과 평평함
온도는 막대들의 높이 차이를 과장하거나 눌러 준다.
- 낮으면 높이 차이가 과장된다. 1등은 더 치솟고 나머지는 납작해져 뾰족한 봉우리 하나만 남는다. 사실상 1등이 고정된 보수적인 답이다.
- 높으면 높이 차이가 눌린다. 1등이 낮아지고 2·3등이 올라와 평평한 평야가 된다. 엉뚱하고 기발한 답이 나온다.
온도는 확률 자체가 아니라 확률의 모양을 바꾼다. 같은 예측기라도 이 다이얼 하나로 성격이 달라진다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing three small probability bar charts in a row for the same prompt at three temperatures. Left chart labeled 'low' has one towering teal #00b894 peak with the rest flat. Middle chart labeled 'mid' shows a natural descending shape. Right chart labeled 'high' shows four bars of nearly equal height forming a purple #6c5ce7 plateau. Below the row two captions: 'sharp = safe' under the left, 'flat = creative' under the right. A small dial arrow labeled 'temperature' spans the three. Clean editorial line-art, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Labels 'low', 'mid', 'high', 'temperature', 'sharp = safe', 'flat = creative' each appear EXACTLY ONCE. No duplicates, no mirrored or reversed text."
온도는 확률의 모양을 바꾼다 — 뾰족함과 평평함
"창의성"의 정체 — 조절된 무작위성
여기서 전반부의 결론을 정리한다. "창의성"이라 부르는 현상의 정체가 이 조절된 무작위성이다.
신비한 영감도, 기계 안의 작은 예술가도 아니다. 온도를 올려 평평해진 막대에서 아래 순위 단어에 주사위가 걸린 결과다. 그렇게 2·3등 단어가 튀어나올 때, 사람은 그 뜻밖의 조합을 보고 "창의적"이라 느낀다.
🔑 온도를 올린다 = 봉우리를 눌러 평야로 = 아래 순위 단어에 기회를 준다 = 흔히 창의성이라 부르는 것.
공짜가 아니다 — 창의성의 트레이드오프
온도를 올리면 두 가지가 함께 커진다. 하나는 기발함, 다른 하나는 헛소리 위험이다. 평평해진 막대에서는 그럴듯한 2등만 튀는 게 아니라, 아래쪽의 엉뚱한 후보까지 이따금 튄다. "오늘 날씨가 참 냉장고" 같은 말이 나올 틈이 생긴다.
- 온도 낮으면 — 안전하지만 지루하다.
- 온도 높으면 — 기발하지만 위태롭다.
그래서 온도는 상황에 맞춰 고른다. 사실을 묻는 질의에는 낮게, 이야기나 아이디어에는 높게 잡는다. 정답 온도는 하나로 정해져 있지 않다. 무엇을 시키느냐에 따라 적정 온도가 달라진다.
왜 난간이 필요한가 — 바닥의 긴 꼬리
막대그래프에는 그럴듯한 후보 몇 개 아래로, 거의 0에 가까운 엉뚱한 후보가 수만 개 깔려 있다. "오늘 날씨가 참 ___" 뒤의 "냉장고" "달린다" "3.14" 같은 것들이다.
하나하나는 낮아도 수만 개를 합치면 무시 못 할 크기가 된다. 온도까지 높여 막대를 평평하게 눌러 두면, 주사위가 이 바닥 무리 중 하나를 이따금 집어낸다. 그 한 번이 문장 전체를 망가뜨린다.
⚠️ 그래서 주사위를 굴리기 전에 후보를 미리 솎아 낸다. 그럴듯한 후보만 남기고 바닥의 긴 꼬리는 잘라 버린다. 이 솎아 내기가 top-k와 top-p다.
꼬리를 자르는 두 가위 — top-k · top-p
✂️ top-k — 개수로 자른다
상위 k개만 남기고 나머지는 버린다. k가 5면 늘 다섯 개만 후보로 둔다.
- 비유 — 시험장에 상위 다섯 명만 입장
- 단순·명확
- 약점 — 상황을 가리지 않고 늘 다섯 개로 끊는다
✂️ top-p — 누적 확률로 자른다
높은 막대부터 더해 가다 합이 정해진 비율(예: 0.9)에 닿으면 끊는다.
- 비유 — "합쳐서 90%까지만" 입장
- 후보가 뻔하면 한둘, 풍성하면 여럿 — 개수가 저절로 달라진다
- 오늘날 많은 도구의 기본값
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing the same probability bar chart cut two ways, stacked top and bottom. Top row 'top-k': a vertical scissor cut line falls right after the fifth bar, caption 'cut by count · always 5'. Bottom row 'top-p': the tallest bars are filled with teal #00b894 accumulating until a cut line at the 90 percent mark, caption 'cut by cumulative prob · count varies'. In both rows the trimmed tail bars are faded grey. A small scissors icon sits at each cut. Clean editorial line-art, purple #6c5ce7 highlights, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Labels 'top-k', 'top-p', 'cut by count · always 5', 'cut by cumulative prob · count varies' each appear EXACTLY ONCE. No duplicates, no mirrored or reversed text."
꼬리를 자르는 두 가위 — top-k · top-p
직접 해보기 — 무작위성을 몸으로
🔁 같은 질문 세 번
"짧은 이야기를 두 문장으로 지어 줘"를 연달아 세 번.
→ 세 답이 모두 다르다. 확률에 맞춘 주사위를 세 번 굴린 결과다. "매번 다른 답 = 무작위 뽑기"가 눈앞의 사실이 된다.
🌡️ 온도 세 단계
같은 질문을 온도 0 · 0.7 · 1.5로.
- 0 — 밋밋하고 안전
- 0.7 — 자연스럽고 다채로움
- 1.5 — 기발하지만 이따금 문장이 흐트러짐
→ 앞의 "뾰족 → 평평" 막대가 몸에 붙는다.
후반부
어떻게 도움 되고 공손해졌나 🧱
무작위성만 얹은 예측기는 유창하지만 제멋대로다. 맨바닥 위에 층을 쌓는다.
유창하지만 제멋대로 — 그래서 층을 쌓는다
여기까지가 맨바닥이다. 다음 단어 예측기에 조절된 무작위성을 얹은 단계다. 이 기계는 유창하다. 어떤 문장도 그럴듯하게 이어 간다.
그런데 유창하기만 하다. 질문에 답하기보다 엉뚱하게 이어 쓰고, 사실과 거짓을 태연히 섞고, 위험한 요청도 가리지 않고 따른다. 유창함과 쓸모는 다른 문제다.
그래서 맨바닥 위에 층을 쌓는다 — 유창한 예측기를 도움 되고, 정직하고, 무해한 조수로 다듬는 층이다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a five-layer cake stack built bottom to top. The bottom two layers are solid and brightly lit in teal #00b894: 'next-word predictor' at the base, 'controlled randomness' above it. The top three layers are drawn only as dotted purple #6c5ce7 outlines waiting to be filled: 'pretraining', 'alignment', 'safety'. A small upward arrow runs along the left side. Clean editorial line-art, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Labels 'next-word predictor', 'controlled randomness', 'pretraining', 'alignment', 'safety' each appear EXACTLY ONCE. No duplicates, no mirrored or reversed text."
유창하지만 제멋대로 — 그래서 층을 쌓는다
사전학습 — 방대한 글로 다음 단어 맞히기
첫 층은 사전학습(pre-training)이다. 방식은 예측기의 동작을 그대로 뒤집은 형태다. 방대한 글을 가져다 놓고, 다음 단어를 계속 맞히게 시킨다.
문법·상식·문체·세상 지식이 "다음 단어 맞히기"라는 단 하나의 훈련에 딸려 온다.
파운데이션 모델 · 규모의 법칙
🏛️ 파운데이션 모델
방대한 글로 밑바탕을 익힌 모델이 파운데이션 모델(기반 모델)이다.
특정 일 하나를 배운 게 아니라, 언어 전반의 바탕을 넓게 깔아 둔 모델이다. 오늘날 이름난 LLM은 모두 여기서 출발한다.
📈 규모의 법칙 (scaling laws)
모델을 키우고, 데이터를 늘리고, 계산을 더 쏟을수록 성능이 매끄럽게 좋아진다. 들쭉날쭉이 아니라 예측 가능한 규칙을 따른다.
2020년, 여러 크기의 모델을 훈련해 정리한 관찰이다. "크게 키우면 똘똘해지더라, 그것도 규칙적으로."
⚠️ 다만 한계와 논쟁도 있다. 무한정 키운다고 무한정 좋아지지는 않으며, 데이터와 비용의 벽이 있다. 파라미터 숫자·수식은 외울 필요 없다 — 흐름만.
날것의 사전학습 모델은 이어쓰기만 한다
사전학습만 마친 모델은 곧바로 ChatGPT처럼 쓸 수 있는가. 아니다.
날것의 모델은 오직 다음 단어 이어쓰기만 배웠다. 질문에 답하는 법을 따로 배운 적이 없다. 그래서 "대한민국의 수도는?"이라고 물으면, 답을 주는 대신 그 문장을 이어 써 버린다 — "일본의 수도는? 프랑스의 수도는?" 하고 비슷한 질문을 나열한다.
🚫 유창하지만 대화가 되지 않는다. "다음 단어를 잘 맞히는 능력"과 "지시에 도움 되게 답하는 능력"은 다르다. 이 간극을 메우는 다음 층이 사람이 가르치는 정렬이다.
지시 튜닝 — "이렇게 답하라"를 시범 보인다
날것 모델을 대화가 되게 만드는 첫 손질이 지시 튜닝이다. 사람이 직접 모범 답안을 만들어 보여준다.
문장을 잇던 기계가 지시를 따르는 기계로 방향을 튼다. 이것만으로도 대화가 제법 된다. 하지만 좋은 답과 더 좋은 답을 가르는 미세한 결까지 시범만으로 다 보이기는 어렵다.
RLHF — 사람 피드백으로 조련한다
두 번째 손질이 RLHF(사람 피드백 기반 강화학습)다. 이름은 거창하지만 발상은 조련과 같다.
- 같은 질문에 모델이 답을 여러 개 내놓는다.
- 사람이 그 답들을 더 나은 순서로 순위를 매긴다.
- 이 순위 데이터로 채점기를 만든다 — 사람의 취향을 흉내 내 점수를 매기는 기계.
- 모델을 채점기 앞에 세워, 점수가 높아지는 방향으로 답을 고쳐 가게 훈련한다.
📌 비유 — 예의범절 과외. 규칙을 외우게 하는 대신, 잘한 행동엔 칭찬을, 못한 행동엔 지적을 반복해 몸에 배게 한다. 문법 규칙을 주입한 게 아니라, 수많은 "이게 더 낫다"로 취향을 학습시킨 방식이다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a circular loop of four stages. Stage one: a model box outputs three answer cards labeled 'A', 'B', 'C'. Stage two: a human icon ranks them, shown as 'B > A > C'. Stage three: a star-rating scale icon labeled 'reward model'. Stage four: an arrow labeled 'reinforce' curving back to the model. In the center sits a label 'manners tutoring'. Clean editorial line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Labels 'A', 'B', 'C', 'B > A > C', 'reward model', 'reinforce', 'manners tutoring' each appear EXACTLY ONCE. No duplicates, no mirrored or reversed text."
📖 참고: Ouyang et al., InstructGPT (2022) · Illustrating RLHF (Hugging Face)
RLHF — 사람 피드백으로 조련한다
RLHF가 가르치는 것 — 태도이지 사실이 아니다
RLHF를 거치면 무뚝뚝하던 답이 친절해지고, 장황하던 답이 정돈된다. 모델은 도움 되고, 공손하고, 요점을 짚는 답의 결을 익힌다.
⚠️ 분명히 해 둘 것. RLHF는 답의 태도와 쓸모를 가르치지, 답의 사실 여부를 보장하지 않는다. 공손하게, 그러나 틀리게 답할 여지는 여전히 남는다.
여기서는 개념만 짧게 짚어 둔다 — 이 물음은 세션 끝에서 다시 세운다.
ChatGPT가 도약이었던 이유 — 정렬의 승리
🐘 거대하지만 날것
사전학습만 마친 거대 모델. 질문에 답 대신 이어 쓴다. 덩치는 크지만 쓸모는 낮다.
🐁 작지만 정렬됨
사람 피드백을 입힌 훨씬 작은 모델. 또박또박 답한다. 사람들이 거대 날것 모델보다 이 답을 더 선호했다.
📌 크기를 줄였는데도 더 도움이 됐다. ChatGPT는 없던 초거대 모델을 새로 만든 게 아니다. 이미 있던 GPT 계열에 지시 튜닝과 RLHF를 입혀 대화체로 다듬은 결과다. 기술의 폭발이 아니라 정렬의 승리였다.
정렬의 방향 — 도움 · 정직 · 무해
🤝 도움 되고 (helpful)
사람에게 쓸모 있게. RLHF가 주로 기른 결.
🎯 정직하고 (honest)
아는 만큼 솔직하게.
🛡️ 무해할 것 (harmless)
해를 끼치지 않게.
가드레일은 위험하거나 해로운 요청을 걸러 내는 난간이다. 날것의 예측기는 이런 요청도 통계적으로 그럴듯한 답을 태연히 이어 썼다. 정렬된 모델은 선을 긋고 대안을 권한다.
정렬도 공짜가 아니다 — 과잉 거절
정렬은 이롭지만, 난간을 너무 촘촘히 치면 부작용이 생긴다. 해롭지 않은 요청까지 위험으로 오판해 거절하는 과잉 거절이다.
소설 속 악당의 대사를 써 달라는 무해한 부탁을, 위험 신호로 잘못 읽고 뻣뻣하게 거절하는 식이다. 안전을 높이려다 쓸모를 깎는 맞바꿈이다.
📌 온도에 트레이드오프가 있었듯, 정렬에도 안전 ↔ 쓸모의 트레이드오프가 있다. 너무 느슨하면 위험하고, 너무 빡빡하면 답답하다. 모델을 만드는 쪽은 이 둘 사이에서 눈금을 맞춰 간다.
네 층으로 선 조수
- 다음 단어 예측기 — 앞을 보고 다음 토큰의 확률 막대그래프를 세운다.
- 조절된 무작위성 — 막대에 맞춘 주사위를 굴리되(샘플링), temperature로 대담함을, top-k·top-p로 후보의 울타리를 정한다. 이것이 창의성의 정체다.
- 사전학습 — 방대한 글로 다음 단어 맞히기를 무수히 반복해 언어의 바탕을 깐다. 규모를 키울수록 똘똘해진다.
- 정렬 — 지시 튜닝과 RLHF로 도움 되고 공손하게 조련하고, 가드레일로 무해함을 지킨다.
🔑 이 네 층이 지금의 AI 어시스턴트를 이루는 실제 구조다. 신비한 지성이 아니라, 확률 위에 층층이 쌓아 올린 공학의 결과다.
다듬었는데도 — 자신 있게 틀린다
사전학습으로 방대한 지식을 익혔고, RLHF로 도움 되게 다듬었고, 가드레일로 위험을 걸렀다. 이만큼 손질했으면 답도 믿을 만해 보인다.
그런데 그렇지 않다. 이렇게 다듬은 모델조차, 있지도 않은 사실을 태연히, 그것도 아주 자신 있게 말한다. 없는 논문을 지어내고, 틀린 날짜를 확신에 차 답한다.
❓ 정렬은 태도를 가르쳤지 사실을 보장하지 않았다. 그렇다면 왜 이 기계는 모르면 모른다고 하지 않고, 그럴듯한 거짓을 지어내는가. 고쳐야 할 결함인가, 확률로 문장을 짓는 이상 피할 수 없는 성질인가.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing the finished five-layer cake with a small polite assistant figure on top speaking a neat answer bubble. Inside the answer bubble glows a single red #e17055 question mark. One caption reads 'polite... but wrong?'. Teal #00b894 and purple #6c5ce7 accents, clean editorial line-art, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). The label 'polite... but wrong?' appears EXACTLY ONCE. No duplicates, no mirrored or reversed text."
다듬었는데도 — 자신 있게 틀린다
한 문장으로 정리한다
창의성은 조절된 무작위성이고,
똘똘함은 층층이 쌓아 올린 정렬이다.
바닥의 예측기는 유창함을, 무작위성은 창의성을, 학습과 정렬은 쓸모와 예의를 맡는다.
이 네 층이 지금의 AI 어시스턴트를 이루는 실제 구조다.