멀티모달
이미지·영상·음성은 어떻게 태어나는가
Session 5 · Day 1 — 원리 중심 70분
설명이 붙은 데이터 · 디퓨전(노이즈→그림) · CLIP(글=방향키) · 손가락 6개의 이유 · 네 갈래 한 원리
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background. On the left sits ONE single document of stacked text lines with a few small probability bars glowing softly beside it, labeled once as 'TEXT' — the word TEXT must appear exactly one time and on this one block only. In the center stands a single open door. Through the doorway on the right appear four faint shapes evenly spaced: an empty picture canvas labeled 'IMAGE', a film reel labeled 'VIDEO', a microphone labeled 'VOICE', and a music note labeled 'MUSIC'. Thin luminous lines pass from the text side through the door toward the four shapes. Clean dark line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). The ONLY labels are TEXT, IMAGE, VIDEO, VOICE and MUSIC — each label appears EXACTLY ONCE, no duplicates. No mirrored or reversed text."
PART 1
글이 아닌 것은 어떻게 만들어지나
그림의 '다음 단어'라는 화두 · 공통 뿌리 "설명이 붙은 데이터".
그림에는 '다음 단어'가 무엇인가 — 오늘의 출발 물음
이 코스가 지금껏 다룬 대상은 오직 하나, 글이었다 — 문장을 조각으로 쪼개 의미의 지도에 올리고, 다음 단어의 확률을 매겨 하나씩 이어 붙이는 방식이다.
그런데 지금의 AI는 글만 다루지 않는다. 문장 한 줄로 없던 그림을 그리고, 짧은 설명으로 움직이는 영상을 뽑고, 텍스트를 사람 목소리로 읽어 내고, 몇 마디 태그로 음악을 만든다. 그렇다면 다음 물음이 자연스럽게 이어진다.
📌 오늘의 화두. 글에는 "다음 단어"라는 이을 조각이 또렷하다. 그렇다면 그림에서 "다음 단어"에 해당하는 것은 무엇인가. 이 물음이 풀리면 영상도 소리도 같은 원리로 설명된다.
오늘은 이 물음을 실마리로 삼아 네 갈래(이미지·영상·목소리·음악)의 생성 원리를 하나의 줄기로 정리한다.
공통 뿌리 — 설명이 붙은 데이터로부터 배운다
네 갈래를 하나씩 살펴보기 전에, 전체를 관통하는 핵심 하나를 먼저 짚어 둔다. 그림이든 영상이든 소리든, 이 기계들이 배운 데이터에는 공통점이 하나 있다.
🧩 설명과 짝지어진 데이터
- 🖼️ 그림 — 그림과 그것을 풀어 쓴 캡션(설명)의 쌍, 수억 쌍.
- 🎬 영상 — 영상 클립과 그에 붙은 자막·내레이션·설명의 쌍.
- 🔊 소리 — 음성과 받아 적은 텍스트의 쌍, 음악과 그 곡을 묘사한 태그의 쌍.
🔑 세션 전체의 못. 멀티모달 생성의 뿌리는 "설명이 붙은(태깅·어노테이션된) 방대한 데이터로부터 배운다"는 한 문장이다. 사람이 그림에 설명을 달아 두었기에, 기계는 "이런 설명에는 이런 그림이 따른다"는 관계를 익혔다.
PART 2
이미지① 디퓨전 — 노이즈에서 그림으로
이 세션의 심장. 그림의 '다음 단어' · 망가뜨리기의 역과정 학습 · 안개와 조각가 · 단계별 데모.
그림의 '다음 단어' — 조금 덜 노이즈인 다음 상태
그림의 생성은 다른 축을 따라 진행된다. 왼쪽에서 오른쪽이 아니라 흐릿함에서 또렷함으로 나아간다. 아무 형상도 없는 얼룩(노이즈)에서 시작해, "지금보다 조금 덜 흐릿한 다음 상태"를 여러 번 거쳐 또렷한 그림에 도달한다.
✍️ 글의 생성 — 옆으로 잇는다
한 단어씩 이어 문장을 완성한다.
🖼️ 그림의 생성 — 흐릿함에서 또렷함으로
흐릿함을 한 겹씩 걷어 형상을 완성한다.
📌 그래서 그림의 "다음 단어"는 이것이다 — 지금보다 조금 덜 노이즈인, 한 걸음 더 또렷해진 다음 상태. 이 방식을 디퓨전(diffusion, 확산)이라 한다.
학습 — 망가뜨리는 과정을 거꾸로 익힌다
기계는 어떻게 "흐릿함을 걷어 내는 법"을 배웠을까. 노이즈를 걷어 내는 법을 곧바로 가르치기는 어렵다. 그래서 반대 방향을 먼저 학습시킨다.
멀쩡한 그림에 노이즈를 아주 조금 더한다. 또 조금 더한다. 수백 번 반복하면 그림은 형상을 잃고 완전한 노이즈가 된다. 이 "멀쩡한 그림 → 노이즈"로 가는 방향은 아무 지능도 필요 없다 — 그냥 노이즈를 계속 더하면 된다.
🔑 디퓨전 학습의 핵심. 기계에게 각 단계의 짝 — "노이즈가 한 겹 더 낀 그림"과 "그 직전, 한 겹 덜 낀 그림" — 을 수없이 보여 주고 학습시킨다. "더러운 상태를 보고, 조금 깨끗한 상태를 예측하라." 망가뜨리는 방향은 얼마든지 만들 수 있으니, 그 방향을 거꾸로 되짚는 훈련 데이터를 사실상 무제한으로 만들어 낼 수 있다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background with two horizontal strips. Top strip goes from a clear sharp picture on the left to pure static noise on the right, with a rightward arrow labeled 'ADD NOISE (FREE)'. Bottom strip goes from noise on the right back to a clear picture on the left, with a leftward arrow labeled 'REMOVE NOISE (LEARNED)'. The two arrows point in exactly opposite directions. A center caption reads 'REVERSE THE DAMAGE'. Clean dark line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
📖 참고: Ho et al., Denoising Diffusion Probabilistic Models — DDPM (2020, NeurIPS · arXiv 2006.11239). 원형은 Sohl-Dickstein et al. (2015, arXiv 1503.03585).
학습 — 망가뜨리는 과정을 거꾸로 익힌다
생성 — 순수 노이즈에서 한 겹씩 (안개와 조각가)
학습이 끝나면 생성은 반대 방향으로 진행된다. 원본 그림은 없다. 아무 형상도 없는 순수한 노이즈 한 장에서 시작한다. "이 노이즈에서 한 겹을 걷어 내면 어떤 모습일까"를 예측해 조금 걷어 내고, 이 과정을 수십 번 반복하면 노이즈였던 것이 완성된 그림이 된다.
🌫️ 안개
짙은 안개 속에서 무언가 있는 것 같다가, 안개가 한 겹씩 걷히며 나무인지 사람인지가 서서히 드러난다.
🗿 조각가
미켈란젤로는 "대리석 안에 이미 조각상이 들어 있고, 나는 필요 없는 부분을 걷어 낼 뿐"이라 했다.
📌 그림을 더하며 그리는 것이 아니라, 노이즈를 걷어 내며 드러내는 것이다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a horizontal strip of six panels. The leftmost panel is pure static noise; each panel to the right becomes gradually clearer until the rightmost panel shows a sharp animal portrait. Small arrows beneath the panels are labeled 'PEEL ONE LAYER'. In the top-right corner, a sculptor silhouette chisels a form out of a marble block, overlapping the strip. Clean dark line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
📖 참고: Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models (2022, CVPR · arXiv 2112.10752) — 널리 쓰인 오픈 디퓨전 모델의 토대.
생성 — 순수 노이즈에서 한 겹씩 (안개와 조각가)
직접 해보기 — 노이즈가 그림으로 바뀌는 단계
말로 들은 것을 눈으로 확인한다. 완전한 노이즈에서 시작해 단계마다 그림이 또렷해지는 장면을 프레임 단위로 하나씩 살펴본다.
🎞️ 시작은 늘 얼룩
완성된 그림만 보면 마법 같지만, 첫 프레임은 아무 뜻 없는 노이즈다.
⏳ 한 번에 완성되지 않는다
중간 단계는 흐릿하고 어중간하다. 형상이 잡히다 말고, 색이 번지고, 윤곽이 떨린다. 이 어중간한 중간 단계를 여러 번 거쳐야 완성에 도달한다.
📌 이 짧은 확인 하나로 "그림은 흐릿함을 한 겹씩 걷어 내며 태어난다"가 추상이 아니라 눈앞의 사실이 된다.
PART 3
이미지② 태깅된 데이터 + CLIP — 글이 방향을 잡는다, 그리고 한계
수억 장의 (그림, 설명) 쌍 · CLIP = 의미의 지도 확장 · 프롬프트 = 캡션 = 방향키 · 왜 손가락을 6개 그렸나.
원하는 그림은 어떻게 지정하나 — 수억 장의 (그림, 설명) 쌍
노이즈를 걷어 내면 그림이 나온다는 원리는 이해했다. 그런데 원하는 그림은 어떻게 얻는가. "강아지"라고 적었는데 왜 강아지가 나오고 고양이가 나오지 않는가. 무엇이 그 방향을 "강아지" 쪽으로 잡아 주는가.
여기서 앞서 짚은 뿌리 — 설명이 붙은 데이터 — 가 답이 된다. 이미지 생성 기계는 그림만 배운 것이 아니라, (그림, 그 그림을 풀어 쓴 설명)의 쌍을 수억 쌍 학습했다.
🔑 핵심 관찰. 이 기계에게 그림의 질만큼 중요한 것이 설명의 질이다. 실제로 그림에 붙은 설명을 더 자세히 다듬어 다시 학습시키자 생성 품질이 눈에 띄게 올라갔다. 그림을 잘 만드는 비결의 절반이 사실은 설명을 잘 붙이는 데 있었다.
📖 참고: Betker et al., Improving Image Generation with Better Captions (OpenAI, 2023) — 학습 이미지의 캡션을 더 자세히 다듬으면 생성 품질과 프롬프트 이해가 크게 향상됨을 보고.
CLIP — 글과 그림을 같은 '의미의 지도'에 올린다
글과 그림을 잇는 장치의 이름이 CLIP(클립)이다. 원리는 앞서 다룬 "의미의 지도"를 그대로 확장한 것이라, 새로 외울 것이 거의 없다.
앞에서 단어들은 의미의 지도 위에 좌표로 놓였다 — 뜻이 가까운 단어는 가까운 위치에. CLIP이 한 일은 이 지도를 글에서 그림까지 넓힌 것이다. 이제 지도 위에는 단어만이 아니라 그림도 함께 좌표를 갖는다.
🔑 규칙은 하나. 뜻이 통하는 글과 그림은 같은 위치에 놓인다. "고양이"라는 글의 좌표와 실제 고양이 사진의 좌표가 지도 위에서 서로 가깝게 배치된다.
어떻게 익혔을까. 수억 쌍의 (그림, 설명)을 주고, 짝인 그림과 설명은 서로 가까이, 짝이 아닌 것끼리는 멀리 놓이도록 지도를 조금씩 조정했다. 사람이 규칙을 써 준 게 아니라, 사람이 달아 둔 설명(캡션)을 통해 기계가 스스로 글과 그림을 연결한 것이다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a constellation-like 'map of meaning'. Scattered bright star points, each tagged with ONE short REAL English word. Use ONLY these seven word labels, each exactly once and correctly spelled: 'cat', 'red car', 'dog', 'boat', 'tree', 'house', 'music'. Only TWO picture thumbnails exist in the whole scene: one small cat photo and one small red-car photo. The 'cat' star sits right beside the cat photo, linked by a short glowing teal line; the 'red car' star sits right beside the red-car photo, linked by a short glowing purple line. All other word stars sit far from both thumbnails, with no linking lines. A caption at the bottom reads 'ONE MAP FOR WORDS AND IMAGES'. STRICT: only real dictionary words from the given list — absolutely NO invented, misspelled or nonsense/gibberish words, NO extra words, NO extra thumbnails. Each label appears EXACTLY ONCE — no duplicates. Clean dark line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). No mirrored or reversed text."
📖 참고: Radford et al., Learning Transferable Visual Models From Natural Language Supervision — CLIP (2021, ICML · arXiv 2103.00020) — 약 4억 쌍의 (이미지, 텍스트)로 글과 그림을 같은 의미 공간에 올림.
CLIP — 글과 그림을 같은 '의미의 지도'에 올린다
프롬프트 = 캡션 = 방향키
"잔디밭의 갈색 강아지"라고 적으면, 그 문장은 먼저 의미의 지도 위 한 좌표로 변환된다. 이제 디퓨전이 노이즈를 걷어 낼 때 아무 방향으로나 걷어 내지 않고, 그 좌표 쪽으로 다가가도록 방향을 잡는다. 한 겹 걷어 낼 때마다 "지금 상태가 그 좌표에 더 가까워졌는가"를 평가해 가까워지는 방향으로 걷어 낸다.
🔑 프롬프트는 곧 캡션이고, 캡션은 곧 방향키다. 학습 때는 그림에 사람이 설명(캡션)을 달았고, 생성 때는 우리가 설명(프롬프트)을 단다. 학습 때는 "이 그림의 설명은?", 생성 때는 "이 설명의 그림은?" — 방향만 뒤집혔을 뿐 같은 다리를 건넌다.
잘하는 것과 못하는 것이 갈린다
✅ 잘하는 것 — 분위기
- 질감 — 털의 결, 금속의 반사
- 색감·빛 — 노을의 그러데이션, 빛의 방향
- 공기감 — 사진 같은 전체 분위기
사람이 "분위기 좋다"고 느끼는 요소를 자연스럽게 재현한다.
❌ 약한 것 — 세면 틀린다
- 손가락 개수 — 여섯 개가 되거나 네 개가 되고, 관절이 이상하게 꺾인다
- 글자 — 간판·책 표지의 글자가 깨진다. 언뜻 글자처럼 보이지만 읽으면 뜻 없는 기호
- 논리적 일관성 — 컵 손잡이가 두 개, 의자 다리 개수가 안 맞음
⚠️ 분위기는 완벽한데, 세어 보면 틀리는 그림이 나온다. 왜 이토록 정교한 기계가 손가락 개수 같은 것을 틀릴까?
왜 — 개수를 세지 않고, 픽셀 패턴의 확률을 따르기 때문
이유는 디퓨전의 원리 그 자체에 있다. 이 기계는 그림을 그릴 때 개수를 세거나 규칙을 따지지 않는다. 오직 "이런 그림에는 이런 픽셀 패턴이 그럴듯하다"는 확률만 따른다.
손을 예로 들어 보자. 학습한 방대한 사진에서 "손" 위치에는 대체로 "살구색의, 길쭉한 것 여러 개가 부챗살처럼 뻗은 질감"이 대응한다. 기계는 그 질감의 패턴을 익혔다. 하지만 "손가락은 정확히 다섯 개"라는 규칙을 따로 학습한 것이 아니다. 그래서 분위기상 그럴듯하다면 여섯 개도, 네 개도 아무렇지 않게 그린다.
🔑 디퓨전은 셈과 규칙의 기계가 아니라 질감과 분위기의 기계다. 앞 절에서 언어 모델이 "이해가 아니라 통계"였던 것과 정확히 같은 결이다. 그림도 "무엇을 그리는지 이해해서"가 아니라 "이런 위치엔 이런 픽셀이 그럴듯해서" 그린다.
PART 4
영상 — 이미지에 시간을 더하다
영상 = 프레임의 연속 · 난제는 프레임 사이의 일관성 · 클립 어노테이션 · 물리와 지속성.
영상 = 프레임의 연속, 난제는 프레임 사이의 일관성
그림의 원리가 섰으니 영상은 그 위에 한 축을 더하면 된다. 시간이다.
⚠️ 새로운 난제 — 프레임 사이의 일관성. 그림을 한 장씩 따로 만들면 앞 장의 강아지와 뒷 장의 강아지가 서로 다른 강아지가 된다. 털색이 바뀌고, 배경이 흔들리고, 얼굴이 다른 사람으로 바뀐다. 사람은 이런 어긋남에 매우 민감하다.
그래서 영상 생성 기계는 각 프레임을 따로 만들지 않고, 시간을 가로질러 프레임들이 서로를 참고하게 한다. 이미지 생성이 "공간의 디퓨전"이라면, 영상 생성은 거기에 "시간의 일관성"을 얹은 것이다.
학습 데이터 — 클립을 조각조각 어노테이션
재료는 자막과 내레이션이 붙은 방대한 영상 — 이미지 때보다 한 겹 더 촘촘한 설명이다. 긴 영상을 통째로 배우는 게 아니라, 짧은 클립으로 잘게 나누고, 각 클립에 "이 몇 초 동안 무슨 일이 일어나는가"를 조각조각 설명(어노테이션)해 붙인다.
🎞️ 한 영상 → 조각조각 어노테이션
- 🎬 클립 1 — "카메라가 해변을 훑는다"
- 🐕 클립 2 — "강아지가 오른쪽에서 뛰어든다"
- 🎾 클립 3 — "공을 문다"
🔑 이 (클립, 설명) 쌍을 수없이 배우니, 기계는 "이런 설명에는 이런 움직임의 프레임 묶음이 따른다"를 익힌다. 이미지에서 "글이 그림의 방향키"였듯, 영상에서는 "글이 움직이는 장면의 방향키"가 된다. 뿌리는 정확히 같다.
📖 참고: Diffusion Models for Video Generation (Lilian Weng, 2024) — 영상 생성이 이미지 디퓨전에 시간 축과 프레임 간 일관성을 더한 방식임을 정리한 개관.
아직 어색한 이유 — 물리와 지속성
영상 생성은 빠르게 좋아졌지만, 여전히 어색한 구석이 남는다. 그 어색함이 나타나는 지점을 살펴보면 원리가 다시 드러난다.
🌊 물리
물이 흐르고, 천이 접히고, 물체가 부딪혀 튕기는 물리 법칙을 따로 배운 게 아니다. 그래서 이따금 물리를 어긴다 — 쏟아진 물이 되돌아오고, 걷는 사람의 다리가 뒤바뀐다.
🚪 지속성
"한 번 존재한 것은 계속 존재한다"는 상식이 규칙으로 들어 있지 않다. 화면 밖으로 나갔다 들어온 물체가 다른 모습이 되거나, 벽 뒤로 사라진 사람이 다시 나타나지 않는다.
🔑 이 두 어색함은 손가락 여섯 개와 한 뿌리다 — 셈·규칙·상식이 아니라 확률적 그럴듯함으로 만들기 때문. 개선의 방향도 같다: 더 잘 설명된 영상으로 확률을 촘촘히 다듬는 것이지, 기계가 물리학을 "이해"하기 시작한 것은 아니다.
이 지점이 코스 마지막에서 다룰 더 큰 물음 — "기계가 세상의 작동 방식 자체를 배울 수 있는가" — 으로 이어지는 실마리다.
PART 5
소리, 그리고 관통 정리 — 목소리·음악·한 원리
목소리(TTS·보이스 클론) · 음악(태그 붙은 오디오) · 네 갈래를 한 원리로 접고, "마법"이라는 오해를 해체한다.
목소리 — 텍스트와 짝지어진 음성으로부터
세 번째 감각인 소리로 넘어간다. 여기서도 뿌리는 설명이 붙은 데이터다. 텍스트를 사람 목소리로 읽어 주는 기술을 TTS(Text-to-Speech, 음성 합성)라 한다.
무엇으로 배웠을까. 음성과, 그 음성을 받아 적은 텍스트의 쌍이다. "안녕하세요"라고 말한 소리 파형과 "안녕하세요"라는 글자가 한 쌍. 이런 쌍을 방대하게 학습하면, 기계는 "이 글자에는 이런 소리의 결이 대응한다"를 익힌다. 이미지에서 글이 그림의 방향을 잡고 영상에서 글이 장면의 방향을 잡았듯, 여기서는 글이 소리의 방향을 잡는다.
⚠️ 보이스 클론. 특정 사람의 목소리를 짧게 들려주면, 기계는 음색·억양·말버릇을 포착해 그 사람이 하지 않은 말도 그 목소리로 생성한다. 목소리를 "이해"하는 것이 아니라 통계적 특징을 재현하는 것이다. 편리한 만큼 위험도 크다 — 남의 목소리를 동의 없이 재현하는 일은 사기·사칭에 악용될 수 있다.
음악 — 태깅된 오디오로부터, 같은 원리
음악 생성도 뿌리는 같다. 학습 데이터는 음악과, 그 음악을 묘사한 설명(태그)의 쌍이다. "잔잔한 어쿠스틱 기타, 비 오는 날, 느린 템포" 같은 태그와 그에 맞는 음원이 한 쌍으로 묶여 방대하게 학습된다. 그래서 분위기·장르·악기·템포를 글로 적으면, 기계는 그 설명에 어울리는 소리를 생성한다. 여기서도 글이 방향키다.
🔑 네 갈래를 한 문장으로. 이미지·영상·목소리·음악 — 겉모습은 전혀 다르지만 만들어지는 방식은 동일하다. 설명이 붙은 방대한 데이터에서 "이런 설명에는 이런 결과가 그럴듯하다"는 패턴을 학습하고, 사용자가 건넨 설명(프롬프트)을 방향키 삼아, 확률적으로 새 표본을 생성한다. 매체가 픽셀이냐 프레임이냐 파형이냐가 다를 뿐, 원리의 뼈대는 하나다.
창작이 아니라, 학습된 분포에서 뽑기
오늘 살펴본 네 갈래의 뿌리는 세 가지로 요약된다.
- 설명이 붙은 방대한 데이터로부터 배운다 — 그림엔 캡션, 영상엔 클립 어노테이션, 목소리엔 텍스트, 음악엔 태그.
- 패턴을 배운다 — "이런 설명엔 이런 픽셀·프레임·파형이 그럴듯하다"는 확률. 이해가 아니라 통계다.
- 확률적으로 새 표본을 뽑는다 — 프롬프트를 방향키 삼아, 노이즈에서 그럴듯한 결과 하나를 만들어 낸다.
🔑 이 기계들이 하는 일은 엄밀히 말해 무에서의 창작이 아니라, 학습된 분포에서 표본을 뽑는 일이다. 언어 모델이 "다음 단어 확률분포에서 하나를 골랐"듯, 이미지·영상·목소리·음악도 "그럴듯한 결과들의 분포에서 하나를 골라"낸다.
마법이 아니다 — 오해를 해체한다
오늘의 과제는 "이미지·영상은 마법처럼 만들어진다"는 오해였다.
문장 한 줄로 그림이 등장하는 장면은 분명 마법처럼 보인다. 그러나 원리를 살펴보면 마법은 없다. 그 안에는 사람이 달아 둔 수억 개의 설명이 있고, 설명과 그림을 잇는 의미의 지도가 있고, 노이즈를 한 겹씩 걷어 내는 반복이 있다.
🔑 어디에도 마법은 없다. 대신 방대한 데이터, 사람이 달아 둔 설명, 그리고 확률이 있다. 마법이라 여기면 결과에 휘둘리지만, 원리를 알면 다룰 수 있다. "마법을 부린다"가 아니라 "확률을 다룬다"로 보는 관점, 이것이 오늘의 가장 큰 소득이다.
왜 손가락이 어긋나는지, 왜 프롬프트를 바꾸면 결과가 바뀌는지, 왜 같은 프롬프트가 매번 다른 그림을 내는지 — 원리를 알면 이런 결과를 예측하고 조정할 수 있다.
한 장으로 요약
🌱 뿌리
그림·영상·목소리·음악은 전부 "설명이 붙은 방대한 데이터"로부터 배운다. 그림엔 캡션, 영상엔 클립 어노테이션, 목소리엔 텍스트, 음악엔 태그.
🖼️ 이미지
디퓨전은 노이즈를 더하는 과정을 거꾸로 익혀, 순수 노이즈에서 한 겹씩 걷어 낸다. 그림의 "다음 단어"는 조금 덜 노이즈인 다음 상태.
🧭 방향키
CLIP이 글과 그림을 같은 의미의 지도에 올렸기에, 프롬프트(=캡션)가 노이즈 제거의 방향을 잡는다.
⚠️ 한계
손가락·글자·물리·지속성이 어긋나는 건, 셈·규칙이 아니라 확률적 그럴듯함으로 만들기 때문. 빠르게 개선되지만 원리는 그대로.
🔗 관통
네 갈래 모두 "설명 붙은 데이터에서 패턴을 배워 확률적으로 새 표본을 뽑는 일". 마법이 아니라 학습이다.
🎯 한 문장으로. 글이 아닌 것도 결국 같은 원리로 태어난다 — 설명이 붙은 데이터에서 배운 확률분포에서, 우리가 건넨 설명을 방향키 삼아 새 표본을 뽑는다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing one central rounded box labeled 'DESCRIBED DATA to PATTERN to SAMPLE'. Four branches extend from the box to four end results: a picture labeled 'DIFFUSION', a film reel labeled 'ANNOTATION', a microphone labeled 'TTS', and a music note labeled 'TAGS'. The results differ but the source box is one. A caption at the bottom reads 'FOUR SENSES, ONE ROOT'. Clean dark line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
남겨 두는 물음 — 도구를 넘어, 이 흐름은 어디로 향하는가
AI는 글을 쓰고, 그림을 그리고, 영상을 만들고, 목소리와 음악을 낸다. 사람이 다루는 거의 모든 표현 수단을 생성한다. 그런데 지금까지 이 코스에서 본 AI는 하나같이 "한 번 시키면 한 번 답하는" 도구였다. 프롬프트를 건네면 답을 하나 내놓고 멈춘다.
❓ 여기서 자연스럽게 다음 물음이 떠오른다. 만약 이 기계가 한 번의 답에서 멈추지 않는다면 어떻게 될까. 스스로 도구를 집어 쓰고, 필요하면 검색하고, 한 걸음의 결과를 보고 다음 걸음을 정하며, 여러 단계를 알아서 끝까지 처리한다면 — 이때의 시스템은 시키는 것만 수행하는 단발성 도구가 아니라 목표만 주면 스스로 다음 단계를 결정하는 자율 실행 시스템에 가까워진다.
글에서 그림으로, 그림에서 영상으로, 이제 스스로 실행하는 쪽으로 — 이 흐름은 결국 어디를 향하고 있는가. 이 물음은 다음 세션에서 자세히 다룬다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background. On the left, four outputs — a text line, a picture, a film reel, and a sound wave — sit along a single one-way arrow labeled 'ASK then ANSWER'. On the right, that arrow bends toward tool icons (a search glass, a gear, a run symbol) and loops back into several branches, drawn as a faint self-driving loop silhouette. Between them stands an open door with a single caption 'BEYOND THE TOOL'. Clean dark line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
남겨 두는 물음 — 도구를 넘어, 이 흐름은 어디로 향하는가
참고 문헌 — 검증한 사실·출처
이 세션의 개념·사실은 아래 출처로 1차 검증했다. 연도·저자·발표처를 확인했다.
- 디퓨전의 원형 — Sohl-Dickstein et al., Deep Unsupervised Learning using Nonequilibrium Thermodynamics (2015, ICML · arXiv 1503.03585)
- 디퓨전 이미지 생성(DDPM) — Ho et al., Denoising Diffusion Probabilistic Models (2020, NeurIPS · arXiv 2006.11239)
- 텍스트 조건 디퓨전 — Rombach et al., High-Resolution Image Synthesis with Latent Diffusion Models (2022, CVPR · arXiv 2112.10752)
- CLIP — Radford et al., Learning Transferable Visual Models From Natural Language Supervision (2021, ICML · arXiv 2103.00020)
- 설명(캡션)의 질 — Betker et al., Improving Image Generation with Better Captions (OpenAI, 2023)
- 영상 생성 개관 — Diffusion Models for Video Generation (Lilian Weng, 2024)
⚠️ 취급 원칙. 특정 모델의 정확한 성능·최신 순위는 단정하지 않는다 — 과제·버전에 따라 다르고 자주 갱신된다. 본문의 프롬프트·그림 예시는 특정 실존 작품이 아니라 원리를 보이기 위한 일반화된 예시다. 구체적 생성 도구·서비스의 이름·기능·가격은 이 코스의 심화 트랙 몫으로 넘긴다.