다음 단어 예측기
동작 원리를 그림으로 파헤친다

Session 1 · Day 1

토큰화 · 임베딩(의미의 지도) · 주목(어텐션) · 확률분포 · 자기회귀 루프

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a closed metallic box labeled 'NEXT-WORD PREDICTOR' with its lid slightly lifted; through the gap four interlocking glowing gears are visible, each gear labeled exactly once: 'TOKEN', 'EMBEDDING', 'ATTENTION', 'PROBABILITY'. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."

PART 1

예측기 내부를 살펴본다

남겨 둔 질문 하나에서 출발한다. "고른다"를 네 개의 동작과 하나의 반복으로 분해한다.

오늘의 질문

"ChatGPT는 어떻게 다음 단어를 '고른다'는 걸까?"

이 기계가 하는 일은 한 문장으로 요약된다. 지금까지의 문장을 보고, 다음에 올 단어로 가장 그럴듯한 것을 하나 고른다. 그리고 그 단어를 붙인 뒤 다시 다음 단어를 고른다.

이 요약은 맞다. 다만 표면 설명일 뿐, "고른다"가 실제로 어떤 계산인지는 아직 다루지 않았다. 오늘은 "고른다"는 한 단어를 네 개의 동작으로 분해한다.

오늘의 지도 — 네 개의 동작과 하나의 반복

"다음 단어를 고른다"를 풀어 보면 다섯 정거장이 나온다. 지금은 이름만 훑어 두면 된다. 이 다섯이 하나의 루프로 맞물리는 구조는 세션 끝에서 다시 정리한다.

PART 2

토큰화 — 문장을 조각내다

컴퓨터는 숫자만 안다. 문장을 조각(토큰)으로 잘라 번호로 바꿔 들여보낸다. 라이브 데모로 눈앞에서 확인한다.

컴퓨터는 글자를 그대로 읽지 못한다

사람은 "고양이" 세 글자를 보면 곧바로 뜻을 떠올린다. 컴퓨터는 그러지 못한다. 컴퓨터가 다루는 것은 오직 숫자다. 글자도 문장도 결국 숫자로 바꿔 줘야 한다.

왜 단어가 아니라 '조각'인가

세상의 단어가 너무 많기 때문이다. 모든 단어에 번호를 미리 부여하는 것은 불가능하다. 그래서 자주 쓰는 덩어리는 통째로, 드문 것은 잘게 쪼개는 절충을 택한다.

한국어는 조각이 더 잘게 난다

직접 해보기 — 토크나이저에 문장 넣기

말로 설명하는 대신 직접 확인해 본다. 문장을 입력하면 곧바로 조각과 조각 수를 보여 주는 공개 도구가 있다.

이 짧은 실험만으로도 "문장이 숫자 조각으로 바뀐다"는 개념이 추상이 아니라 구체적인 사실로 확인된다.

📖 데모 도구: OpenAI Tokenizer — 문장을 입력하면 토큰 경계와 개수를 색으로 표시. (현장에서 접속 확인 후 사용)

PART 3

임베딩 — 의미의 지도

번호는 이름표일 뿐이다. 토큰을 "의미의 지도" 위 좌표로 바꾸면, 뜻의 거리가 좌표의 거리가 된다.

번호만으로는 부족하다

토큰마다 고유 번호가 붙었다. 그런데 번호는 이름표에 지나지 않는다. "고양이"가 5번, "강아지"가 8721번이라 하자. 이 두 번호만 봐서는 둘이 얼마나 비슷한 뜻인지 알 수 없다. 5와 8721은 서로 무관한 두 숫자일 뿐이다.

사람은 "고양이"와 "강아지"가 가깝고, "고양이"와 "냉장고"가 멀다는 것을 안다. 기계도 이 "가깝고 멂"을 다룰 수 있어야 문맥을 근사하게라도 파악한다.

의미의 지도라는 비유

지도 위에서는 위치가 곧 의미다. 서울과 인천은 가깝게, 서울과 부산은 멀게 찍힌다. 두 도시의 관계가 좌표의 거리로 드러난다. 임베딩은 단어에 이 지도를 만들어 준다. 뜻이 가까운 단어는 가까운 좌표에, 먼 단어는 먼 좌표에 놓인다.

"고양이"와 "강아지"는 같은 영역에, "냉장고"는 멀리 떨어진 다른 영역에 배치된다. 여기서 중요한 점은, 이 지도를 사람이 손으로 그리지 않았다는 사실이다. 기계가 방대한 텍스트를 학습하며 "비슷한 자리에 나오는 단어끼리 비슷한 좌표를 갖도록" 스스로 좌표를 조정한 결과다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a 2D star-map constellation where words are bright points grouped into three well-separated clusters: one cluster with 'cat' 'dog' 'hamster', another cluster with 'Monday' 'Tuesday' 'weekend', another cluster with 'apple' 'banana' 'grape'. Points inside a cluster are close together; the three clusters sit far apart. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."

의미의 지도라는 비유

좌표는 몇 개의 숫자인가 — 차원

📖 참고: 초기 word2vec · GloVe는 약 300차원, 대형 모델 내부 임베딩은 수천~1만 이상 — word2vec (Mikolov et al., 2013)

지도 위의 방향에도 뜻이 있다

의미의 지도에는 성질이 하나 더 있다. 위치뿐 아니라 방향에도 뜻이 담긴다.

"왕"의 좌표에서 "남자"를 빼고 "여자"를 더하면, 그 결과가 "여왕" 근처에 떨어진다. 지도 위에서 "남자 → 여자" 방향과 "왕 → 여왕" 방향이 거의 나란하다는 뜻이다. 즉 "성별을 바꾸는 이동"이라는 하나의 방향이 지도 위에 존재한다.

PART 4

어텐션 — 주목의 기계

같은 단어라도 문맥이 뜻을 바꾼다. 각 단어가 다른 단어를 둘러보고 자기 뜻을 조정하는 장치, 그것이 주목이다.

같은 단어라도 문맥이 뜻을 바꾼다

지도 위 좌표는 단어의 "기본 뜻"이다. 그런데 실제 언어는 그렇게 단순하지 않다. 같은 단어가 문장에 따라 전혀 다른 것을 가리킨다.

주목이란 무엇인가

문장 안의 각 단어가 다른 모든 단어를 향해 "너는 지금 나에게 얼마나 중요한가"를 묻는다. 중요한 단어에는 크게, 덜 중요한 단어에는 작게 가중치(참고하는 세기)를 준다. 그리고 그 세기만큼 다른 단어의 정보를 끌어와 자기 좌표를 갱신한다.

"배가 고프다"에서 "배"는 "고프다"에 강하게 주목한다. "고프다"의 정보를 많이 끌어와 좌표가 신체 쪽으로 조정된다. 옆에 "타고"가 있었다면 교통수단 쪽으로 옮겨 갔을 것이다. 핵심은 이 "누가 누구에게 얼마나 주목하는가"를 사람이 정해 주지 않았다는 점이다. 기계가 방대한 글을 읽으며 통계로 스스로 익혔다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing the sentence 'the apple is red' laid out horizontally with attention arrows drawn between the words. A thick bright arrow goes from 'red' to 'apple'; a thin faint arrow goes from 'red' to 'the'. Arrow thickness encodes attention strength. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."

주목이란 무엇인가

대명사 풀기 — "그것"은 무엇을 가리키나

주목의 힘을 가장 선명하게 보여주는 예가 대명사다.

여기서 "그것"은 컵인가 선반인가. 사람은 문맥으로 판단한다. 대개 컵을 떠올린다. 주목이 이 역할을 한다. "그것"이 앞의 "컵"과 "선반"을 참고하고, "흔들렸다"라는 뒷말까지 함께 반영해 "컵" 쪽에 더 큰 가중치를 부여한다.

트랜스포머 — 주목을 쌓은 기계

이 주목을 여러 겹으로 쌓아 올린 구조가 트랜스포머(Transformer)다. 오늘날 거의 모든 대형 언어모델의 뼈대이며, ChatGPT의 T가 바로 이 트랜스포머다.

트랜스포머 안에서 주목은 한 번으로 끝나지 않는다. 한 층에서 단어들이 서로 주목해 좌표를 조정하면, 다음 층이 그 결과를 받아 또 한 번 주목한다. 이 과정을 수십 층 되풀이한다. 아래층은 "배 옆에 고프다가 있다" 같은 가까운 관계를, 위로 갈수록 문장 전체·문단의 흐름 같은 큰 관계를 잡아 간다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a row of six word tokens 'the' 'quick' 'brown' 'fox' 'jumps' 'high' rising upward through three stacked horizontal attention layers labeled 'LAYER 1', 'LAYER 2', 'LAYER 3'. At each layer thin attention arrows connect the tokens, and the token blocks grow richer in color toward the top to show context accumulating. A vertical side label reads 'TRANSFORMER'. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Use ONLY these exact six words for the tokens — NO invented or gibberish words. Each layer label and the word 'TRANSFORMER' appears EXACTLY ONCE. Keep every token and label fully inside the frame."

📖 참고: Vaswani et al., Attention Is All You Need (2017, arXiv 1706.03762)

트랜스포머 — 주목을 쌓은 기계

PART 5

확률분포 — 다음 후보들의 막대그래프

이 모든 계산의 출력은 하나의 단어가 아니다. 모든 후보 토큰의 확률 막대그래프다. 그중 하나를 고른다.

이 모든 계산의 출력 — 다음 토큰의 확률

토큰으로 쪼개고, 좌표로 바꾸고, 여러 겹 주목해 문맥을 입혔다. 이 모든 계산은 결국 하나의 결과, 곧 다음에 올 토큰의 확률로 모인다.

모델은 자기가 아는 모든 토큰에 대해, 그것이 다음에 올 확률을 매긴다. 사전에 조각이 수만 개 있다면, 수만 개 각각에 "이게 다음일 확률"을 숫자로 붙인다. 이 확률들을 다 모은 것이 확률분포다.

"오늘 날씨가 참 ___" — 막대를 세워 보다

예문 하나로 살펴본다. "오늘 날씨가 참 ___". 빈칸에 올 다음 토큰의 확률분포는 대략 이런 모양이다.

"좋다"가 가장 높고, "맑다"가 그다음, "덥다"·"춥다"가 낮게 이어진다. "냉장고"나 "달린다" 같은 무관한 토큰은 사실상 바닥이다. 여기서 짚어 둘 점이 하나 있다. 모델은 아직 아무 단어도 선택하지 않았다. 후보마다 높이를 매긴 막대그래프를 세웠을 뿐이다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a probability bar chart under the prompt title 'the weather is so ___'. Four bars descending in height left to right, each label placed ONLY above its own bar (nothing written under the x-axis): 'good 0.55', 'clear 0.20', 'warm 0.09', 'cold 0.06', then a long tail of tiny near-zero bars trailing to the right. Only the tallest 'good' bar is brightly lit. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — placed only above its bar, NEVER repeated below the axis. NO duplicated or mirrored text. Keep the tallest bar fully inside the frame."

"오늘 날씨가 참 " — 막대를 세워 보다

고르기 — 가장 높은 막대를 집는다

막대그래프가 세워졌으니 이제 하나를 고른다. 가장 단순한 방식은 가장 높은 막대를 그대로 선택하는 것이다. "오늘 날씨가 참 ___"이라면 0.55의 "좋다"를 고른다. 항상 1위를 선택하는 이 방식을 탐욕적 선택(greedy)이라 한다.

PART 6

자기회귀 — 한 단어씩 빈칸 채우기

골라 붙인 단어를 문장에 포함시킨 뒤, 전부를 처음부터 다시 돈다. 이 단순한 반복이 긴 글 하나를 만든다.

붙이고, 처음으로 돌아간다

단어 하나를 골랐다. "오늘 날씨가 참"에 "좋다"를 붙여 "오늘 날씨가 참 좋다"가 됐다. 여기서 끝이 아니다. 골라 붙인 단어를 포함시킨 뒤, 전부를 처음부터 다시 돌린다. 이제 입력은 "오늘 날씨가 참 좋다"다. 다시 토큰화 → 임베딩 → 주목 → 확률분포를 거쳐 다음 후보(이번엔 "." "네" "요")를 세우고, 또 하나를 골라 붙인다.

방금 생성한 결과를 다시 입력으로 삼아 다음 토큰을 예측하는 이 방식을 자기회귀(autoregressive)라 한다. 문장 종료 신호가 나올 때까지 이 루프가 반복된다.

한 글자씩, 앞만 보고

자기회귀에는 두 가지 특징이 있다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing four horizontal panels that grow left to right, each panel adding one piece with a blinking cursor at its end: 'the', then 'the weather', then 'the weather is', then 'the weather is so good'. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."

한 글자씩, 앞만 보고

PART 7

"생각이 없다"의 진짜 의미

네 동작 어디에도 이해·의도·계획은 없다. 전부 숫자 계산이다. 그런데도 유창하다 — 그 정체를 밝힌다.

네 동작 어디에도 이해는 없다

예측기 내부를 모두 살펴봤다. "고른다"의 정체는 무엇이었나. 토큰으로 쪼개고, 좌표로 바꾸고, 서로 주목하게 하고, 확률 막대그래프를 세워 하나를 선택하는 과정이었다.

이 네 동작 어디에도 이해·의도·계획은 없다. 토큰화는 글자를 조각으로 자를 뿐이다. 임베딩은 좌표를 붙일 뿐이다. 주목은 어느 단어를 참고할지 세기를 매길 뿐이다. 확률분포는 다음 후보의 높이를 잴 뿐이다. 그 어디에도 "무슨 말을 하고 싶다"는 마음이나 "이 답이 맞다"는 판단은 없다. 전부 숫자 계산이다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing four small icons in a row: a puzzle piece labeled 'TOKENIZE', a star-map labeled 'EMBED', crossing arrows labeled 'ATTENTION', a bar chart labeled 'PROBABILITY'. Above all four floats a single empty dashed thought bubble signifying no understanding. A caption reads 'ALL NUMBERS, NO UNDERSTANDING'. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."

확률 앵무새 — 유창함과 이해의 분리

LLM은 확률 앵무새다. 방대한 글을 학습해 "이 말 다음에는 저 말이 온다"는 패턴을 익혔다. 질문을 받으면 그 패턴에서 가장 그럴듯한 이어짐을 산출한다. 앵무새가 뜻을 모른 채 소리를 되뇌듯, 이 모델도 학습한 패턴을 재현할 뿐이다.

이해가 없는데도 왜 이렇게 그럴듯할까. 학습한 패턴의 규모가 압도적이기 때문이다. 인터넷 규모의 패턴 덕에 어떤 입력이든 그럴듯한 이어짐을 산출한다.

PART 8

마무리

다섯 동작의 루프를 한 장으로 정리하고, 오늘 답하지 않은 물음 하나를 남긴다.

한 장으로 요약 — 다섯 동작의 루프

"다음 단어를 고른다"는 다섯 동작의 루프였다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing the autoregressive ring 'INPUT TEXT' → 'TOKENIZE' → 'EMBED' → 'ATTENTION' → 'PROBABILITY' → 'PICK ONE' closing back to the start, with a short one-line caption placed under each station summarizing its job. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."

남겨 두는 질문 — 무엇이 이 선택을 흔드나

늘 가장 높은 막대만 고른다면, 같은 질문에는 늘 똑같은 답이 나와야 한다. 그런데 실제로 ChatGPT에 같은 질문을 두 번 던지면 답이 조금씩 다르다. 시를 써 달라 하면 매번 다른 시를 쓴다.

🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a probability bar chart where not only the tallest bar but also the second and third bars now have glowing question marks floating above them. A caption reads 'WHAT SHAKES THIS CHOICE?'. Clean dark line-art diagram, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."