이 강의의 목표와 진행 방식
AI를 마주하는 사람은 흔히 두 부류로 나뉜다. 쓰는 사람과 만드는 사람. 이 강의는 그 사이 — 이해하는 사람을 만든다. 직접 만들지는 않아도 내부 원리를 정확히 안다.
🎯 AI를 마주하는 세 관점
- 📱 쓰는 사람 — 도구를 쓰되 원리는 모른다. 결과를 믿거나 의심할 뿐.
- 🔍 이해하는 사람 (이 강의의 목표) — 수학·코드의 벽을 넘지 않고도 내부 원리를 안다.
- 💻 만드는 사람 — 직접 만듦. 이 강의 밖.
🧭 세 가지 진행 방식
- ① 비유 중심 설명 — 새 개념마다 일상 비유를 하나씩. 단어를 숫자로 바꾸는 과정은 "의미의 지도", 무작위성 조절 장치는 "주사위의 온도". 암기 대신 그림으로 기억한다.
- ② 수식 암기 없음 — 수식은 "실제로 이런 계산이 돌아간다"는 실체감용이지 암기 대상이 아니다.
- ③ 라이브 데모로 확인 — 같은 질문에 답이 달라지는 것, 무작위성 값에 따라 성격이 바뀌는 것을 세션마다 눈으로 확인한다.
📌 수료 시점에 남길 한 문장. "LLM은 다음에 올 단어의 확률을 계산해 하나씩 고르는 기계다." 이 문장을 자기 말로 설명할 수 있으면, 이 강의는 제 몫을 한 것이다.
"AI"라는 말은 너무 넓다
"AI"라는 한 단어 안에 성격이 전혀 다른 기계들이 섞여 있다. 스팸 메일을 걸러내는 것도 AI고, 없던 그림을 그려내는 것도 AI다. 둘은 하는 일이 근본적으로 다르다.
🧭 둘을 가르는 경계 — 판별(discriminative)과 생성(generative). 오늘 다루는 ChatGPT, 이미지 생성기, 영상 생성기는 모두 생성 쪽이다. 생성이 무엇인지 알려면, 먼저 그 반대편인 판별을 봐야 한다.
판별형 AI — 고르는 기계
판별형 AI는 주어진 것을 보고 답을 고른다. 사진을 보고 "고양이냐 개냐"를 판정하고, 메일을 보고 "스팸이냐 정상이냐"를 나누고, 엑스레이를 보고 "정상이냐 이상이냐"를 짚는다.
🏷️ 새로 만들지 않는다
이미 존재하는 대상에 꼬리표를 붙일 뿐이다. 비유하면 시험지 채점자 — 맞다·틀리다를 판정하지만, 답안을 대신 써 주지는 않는다.
🕰️ 이미 일상에 들어와 있다
카드 부정 탐지, 얼굴 인식, 유튜브 추천이 모두 판별형 AI다. 오래전부터 잘 작동해 왔고, 익숙하고, 놀랍지 않다.
생성형 AI — 만들어내는 기계
생성형 AI는 반대다. 없던 것을 새로 만들어낸다. "고양이 사진을 그려 줘"라고 하면 세상에 존재하지 않던 고양이 사진을 그리고, "회의록을 요약해 줘"라고 하면 없던 문장을 지어낸다.
✍️ 채점자가 아니라 작가
답안을 판정하는 게 아니라 답안을 처음부터 써낸다. 2022년 이후 급부상한 것이 바로 이 생성 쪽이다.
⚠️ 여기서 곧바로 착각이 생긴다
무언가를 새로 만들어내니, 사람들은 이 기계가 생각을 한다고 느낀다. 이 느낌이 오늘 정면으로 다룰 오해다.
3장면 비교 — 같은 재료, 다른 일
같은 재료를 놓고 판별과 생성이 각각 무엇을 하는지 세 장면으로 대비한다. 판별은 익숙한 쪽, 생성이 새로운 쪽이다.
🐱 고양이 사진
- 판별 → "이건 고양이다"라고 분류
- 생성 → 없던 고양이 사진을 그려냄
🎬 영화 리뷰 글
- 판별 → "긍정이다 / 부정이다" 판정
- 생성 → 새 리뷰를 써냄
📌 한 줄 정리. 판별형은 "이것은 무엇인가" 에 답하고, 생성형은 "이것을 만들어라" 에 답한다.
사실은 — 다음 단어 예측기
앵무새 비유 — 확률 앵무새
비유하자면, LLM 은 방대한 양의 글을 읽은 앵무새다.
🦜 앵무새는
사람 말을 따라 하고, 상황에 맞는 말도 꺼낸다. 하지만 뜻을 이해하진 않는다 — 들은 패턴 중 지금 상황에 가장 어울리는 소리를 꺼낼 뿐이다.
🤖 LLM도 그렇다
방대한 글에서 "이 말 다음엔 저 말"이라는 패턴을 익혔다. 이해해서가 아니라 그렇게 이어지는 경우가 통계적으로 가장 많아서 그렇게 답한다.
📌 그래서 이 기계를 종종 확률 앵무새라 부른다. 말은 유창하지만 이해는 없다. 이 비유를 오늘 하루 계속 활용한다.
창의성은? — 무작위성이라는 정체
곧바로 반론이 나온다. "매번 가장 확률 높은 단어만 고른다면, ChatGPT는 왜 창의적으로 느껴지나. 왜 시도 쓰고 아이디어도 내나."
🎲 의도된 무작위성
늘 1등만 고르면 같은 질문에 늘 똑같은 답이 나온다. 그래서 무작위성을 섞어 2등·3등 단어도 이따금 골라내게 만든다.
🌡️ 주사위의 온도
무작위성의 세기를 조절하는 값이 있다. 낮추면 답이 얌전하고 예측 가능해지며, 높이면 엉뚱하고 기발해진다. 온도가 낮으면 주사위가 늘 같은 면을 내고, 높이면 예상 밖의 면이 튀어나온다.
📌 흔히 "창의성"이라 부르는 것의 정체가 바로 이 무작위성이다. 신비한 영감이 아니라, 확률 낮은 단어를 골라낸 결과다. 정확한 이름과 동작은 오전 세션(S2)에서 직접 값을 바꿔 가며 확인한다.
언어 모델의 계층 구조 — 예측기 위에 무엇을 얹는가
70년의 흐름 — 다섯 정거장
트랜스포머 — 2017년, 판을 바꾼 논문
2017년, 딥러닝 부흥의 흐름 위에서 구글 연구진이 도발적인 제목의 논문을 발표한다. "주의만 있으면 된다(Attention Is All You Need)". 이 논문이 트랜스포머(Transformer)라는 구조를 세상에 내놓았다.
👀 핵심은 "주의(attention)"
문장을 처리할 때, 어떤 단어가 어떤 단어에 주목해야 하는지를 기계가 스스로 판단하게 했다. "그 사과는 빨갛다"에서 "빨갛다"가 "사과"에 주목함을 알아내는 능력이다. 문장을 한 번에 병렬로 처리해 훨씬 빠르고 크게 학습할 수 있었다.
G·P·T의 T가 바로 이 Transformer다. 2017년의 이 논문이 없었다면 지금의 생성형 AI도 없다. 주목이 실제로 어떻게 작동하는지는 오전 세션(S1)에서 그림으로 푼다.
📖 참고: Vaswani et al., Attention Is All You Need (2017) — arXiv 1706.03762
GPT 계보 — 커질수록 똑똑해지다
트랜스포머를 재료로, OpenAI가 GPT를 연달아 내놓는다. GPT는 "Generative Pre-trained Transformer", 즉 "미리 학습시킨 생성형 트랜스포머"의 약자다.
📈 규모의 급성장
- GPT-1 · 2018 — 1억 1,700만 파라미터. 가능성을 보인 연구용.
- GPT-2 · 2019 — 15억. 제법 긴 글을 자연스럽게 이어 쓰기 시작.
- GPT-3 · 2020 — 1,750억. 2년 만에 1,000배 넘게 커졌다.
📌 여기서 관찰된 것이 규모의 법칙이다. 키우고 데이터를 늘릴수록 성능이 계단식으로 향상됐다. 숫자는 외울 필요 없다 — "커질수록 성능이 오른다"는 흐름만 잡으면 된다. 다만 이때까지 GPT는 연구자용 도구였고, 일반 대중은 그 존재를 몰랐다.
📖 참고: GPT-3 — Wikipedia
ChatGPT의 순간 — 2022년 11월
2022년 11월 30일. OpenAI가 GPT를 대화창 하나에 담아 무료로 공개한다. 이름이 ChatGPT였다.
🚪 바뀐 건 기술이 아니라 문(門)
그전까지 GPT는 연구자·개발자의 도구였다. ChatGPT는 "말을 걸면 대답하는 채팅"으로 형태를 바꿔 누구나 사용할 수 있게 만들었다.
📈 역사상 가장 빠른 확산
- 공개 5일 만에 100만 명
- 두 달 만에 월 1억 명 — 당시 최고속 소비자 앱
⚡ 문화적 사건이 된 이유. 대중이 처음으로 생성형 AI를 직접 다뤄 봤기 때문이다.
하루의 로드맵 — S0에서 S6까지