할루시네이션
왜 자신 있게 틀리는가
Session 3 · Day 1 — 코어 트랙 70분
무엇인가 · 왜 생기나 · 왜 자신 있나 · 어떻게 관리하나
강사 박수현 · 🚀 젠아이랩스(GenAI Labs)
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a stylized parrot perched on the left, emitting a smooth polished speech bubble on the right labeled 'FLUENT'; inside the bubble a single glowing red question mark hovers over neat lines of text. Behind the parrot, faint vertical probability bars rise like an equalizer. A short caption below reads 'confident but wrong'. Clean editorial illustration style, teal #00b894 and purple #6c5ce7 accents with one red highlight, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
PART 1
다듬었는데도, 자신 있게 틀린다
다시 짚는 질문 · 이름과 결론을 먼저 정한다.
잘 다듬은 모델도, 자신 있게 틀린다
오늘의 LLM은 여러 단계로 다듬은 모델이다. 방대한 글로 언어 능력을 학습했고, 사람 피드백으로 유용하고 정중하게 답하도록 정렬했으며, 위험한 요청을 거르는 안전장치까지 더했다. 이만큼 손본 모델이라면 그 답도 믿을 만하다고 기대하게 된다.
태연히 틀리는 자리
- 📄 없는 논문 — 존재하지 않는 논문을 제목·저자까지 붙여 지어낸다.
- 📅 틀린 날짜 — 일어난 적 없는 사건의 날짜를 확신에 차 답한다.
- 🧮 틀린 계산 — 간단한 산수를 문장으로 자신 있게 틀린다.
📌 핵심 질문. 이것은 아직 덜 고친 결함인가, 아니면 확률로 문장을 짓는 이 방식에 처음부터 딸린 속성인가.
이름과 결론을 먼저 못 박는다
이 현상에는 이름이 있다. 할루시네이션(hallucination), 우리말로 흔히 환각이라 옮긴다. 모델이 실제로 무언가를 "본다"는 뜻은 아니고, 그럴듯하지만 사실이 아닌 내용을 지어내는 것을 가리키는 업계 용어다.
🎯 이 세션의 못
"버그가 아니다. 부작용이다."
어느 회사가 코드를 잘못 짜서 생긴 오류가 아니라, "다음 단어를 확률로 이어 붙인다"는 동작 원리에서 필연적으로 새어 나오는 성질이다. 그래서 완전히 없앨 수는 없고, 줄이고 관리하는 것이 현실적인 목표다.
① 무엇인가
정체와 네 가지 얼굴
② 왜 생기나
원리 · 왜 자신 있게 틀리나
③ 어떻게 관리하나
자기방어 · RAG · 현실
PART 2
할루시네이션이란 무엇인가
그럴듯한데 사실이 아니다 · 네 가지 얼굴 · 왜 하필 위험한가.
그럴듯한데, 사실이 아니다
할루시네이션을 한 문장으로 정의하면 이렇다. 그럴듯하지만 사실이 아닌 내용을, 사실인 것처럼 자신 있게 생성하는 것. 두 조건이 함께 있어야 한다.
✅ 그럴듯함
문장이 매끄럽고, 형식이 갖춰져 있고, 전문가가 쓴 것처럼 보인다. 겉은 완벽하다.
❌ 사실 아님
그 그럴듯한 껍데기 안의 내용이 실제와 다르다. 속만 틀렸다.
⚠️ 두 조건이 겹치는 지점이 위험하다. 대놓고 엉터리인 답은 오히려 걸러 내기 쉽다. 문제는 겉이 완벽한데 속만 틀린 답이다. 유창함이 거짓을 감싸는 포장지가 된다.
한 가지 구분해 둔다. 할루시네이션은 "의견이 갈리는 문제에 한쪽 편을 든 것"이나 "말투가 무뚝뚝한 것"과 다르다. 검증 가능한 사실을 틀리게 지어낸 것만을 가리킨다.
네 가지 얼굴 — 할루시네이션의 유형
몇 가지 전형적인 얼굴로 나타난다. 네 가지로 묶으면 대부분이 여기에 든다.
① 없는 사실 날조
일어난 적 없는 사건, 존재하지 않는 제품 기능, 실재하지 않는 통계를 만들어 낸다.
② 틀린 인용
실재하는 인물·문헌의 말을 실제와 다르게 옮긴다. 하지 않은 말을 했다고 붙인다.
③ 존재하지 않는 출처 🔥
제목·저자·학술지·연도·페이지까지 완비된 참고문헌을 지어낸다. 형식이 완벽해 진짜처럼 보이지만, 그 논문은 세상에 없다.
④ 틀린 계산·날짜·수치
간단한 산수를 자신 있게 틀리고, 연도를 어긋나게 답하고, 수치를 그럴듯하게 지어낸다.
📌 근본 원인은 하나다. 네 얼굴 모두 "그 자리에 올 법한 그럴듯한 것"을 지어낸 결과다. 존재 여부를 확인한 게 아니라 통계적으로 어울리는 조각을 채워 넣었을 뿐이다. 형식은 완벽하지만 내용은 거짓이다.
왜 하필 위험한가 — 자신 있게 틀리기 때문
위험한 까닭은 틀린다는 사실 자체가 아니다. 사람도 틀린다. 위험의 핵심은 틀리는 방식에 있다.
🙂 사람
말풍선에 "아마… 확실친 않은데". 잘 아는 것은 단정적으로, 애매한 것은 조심스럽게. 확신의 정도가 말투에 드러난다.
🤖 모델
정답 말풍선과 거짓 말풍선이 똑같이 또렷하고 똑같이 단정적. "아마" "확실하지 않지만" 같은 신호가 없다. 말투로는 참·거짓을 가릴 수 없다.
⚠️ 경계가 무너진다. 아홉 번 정확했던 조수가 열 번째에 같은 어조로 거짓을 말하면, 사용자는 의심 없이 받아들인다. 의료·법률·재무처럼 사실 하나가 중대한 자리에서 이 성질은 곧장 사고가 된다. "자신 있게 틀림"이 할루시네이션 문제의 핵심이다.
실제로 있었던 일 — 자신 있게 지어낸 장면들
앞의 유형을 실제 벌어진 일로 확인한다. 2023년 초, ChatGPT가 국내에 막 알려졌을 때 한 놀이가 유행했다. 있지도 않은 역사 사건을 짐짓 진지하게 물으면, 모델이 그것을 실제 있었던 일처럼 그럴듯하게 지어냈다.
🖥️ 없는 사건 — 세종대왕 맥북프로 던짐
"조선왕조실록에 기록된 세종대왕의 맥북프로 던짐 사건을 알려줘"라는 물음. 15세기 임금과 21세기 노트북이 한 문장에 있으니 명백한 함정이다. 그런데 모델은 "그런 사건은 없다"고 하지 않고, 정황까지 붙여 실존 일화처럼 답했다. 이 답이 밈으로 퍼졌고, 이후 같은 질문은 "실록에 그런 기록은 없다"고 바로잡도록 수정됐다.
⚡ 없는 작동원리 — 거북선·엉뚱한 관계
"거북선의 라이트닝볼트 발사 원리"를 물으면 있지도 않은 장치를 그럴듯한 단계로 나눠 설명했다. "신사임당의 남편은?"에 엉뚱한 인물을 답으로 내놓기도 했다. 없는 사건이 아니라 없는 작동 원리를 지어낸 것 — 단계까지 갖추니 오히려 더 그럴듯해 보인다.
🔑 왜 이런 일이 생기나. 질문이 이미 "그런 사건이 있다"는 전제를 깔고 있다. 모델은 그 전제를 의심하는 대신 받아들이고, 그 자리에 올 법한 그럴듯한 이야기로 빈칸을 채운다. 15세기와 맥북프로가 한 문장에서 부딪쳐도 사실과 대조할 창구가 없다. 이 세션의 첫 번째 원인 — "사실을 대조하는 단계가 없다" — 이 눈앞의 사례로 그대로 드러난다.
📖 참고(검증): 세종대왕 맥북프로 던짐 사건 · 거북선 라이트닝볼트 발사 원리 등 2023년 초 챗GPT 밈 현상 — 한국일보 2023.2.23 (https://www.hankookilbo.com/News/Read/A2023022215200000727) · 머니투데이 2023.2.27 (https://www.mt.co.kr/tech/2023/02/27/2023022615431132748).
그림도 같은 방식으로 지어낸다
지어내기는 글에만 있지 않다. 이미지 모델도 같은 방식으로 지어낸다. 그럴듯한 픽셀 배치를 확률로 이어 붙일 뿐, "고양이 눈은 둘"이나 "손은 손가락 다섯"이라는 사실을 따로 대조하지 않는다.
📌 개수만 틀린다. 눈이 셋 달린 고양이, 손가락이 여섯인 손 같은 아티팩트가 나온다. 질감과 명암은 진짜 같은데 개수만 어긋난다. 유창함(그럴듯한 형태)과 진실(맞는 개수)이 별개 축이라는 원리가, 그림에서는 눈으로 바로 보인다.
🎯 세 장면의 근본 원인은 하나
"정답을 만드는 그 동작이, 할루시네이션도 만든다."
세종대왕 일화를 매끄럽게 짜는 능력과 진짜 역사를 정확히 옮기는 능력은 같은 기계의 같은 동작이다. 텍스트든 이미지든, 확률로 그럴듯한 다음 조각을 잇는 그 채움이 사실과 맞으면 정답, 어긋나면 할루시네이션일 뿐이다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a single cat face drawn in thin luminous line-art, rendered smoothly and confidently. The cat has exactly THREE eyes — two normal eyes plus one extra third eye on its forehead, all clearly visible and glowing, the anatomy obviously wrong. One short caption at the top reads 'Confidently wrong'. Thin line-art, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). The caption 'Confidently wrong' appears EXACTLY ONCE — short label only, no paragraph text, keep everything inside the frame. No mirrored or reversed text, no gibberish or fake words."
질감·명암은 진짜 같은데 개수만 어긋난다 — 눈이 셋 달린 고양이
PART 3
왜 생기는가 — 네 가지 원인
이 세션의 심장. 사실 대조 없음 · 배운 글의 빈틈 · 지식 컷오프 · 빈칸 채우기 편향, 그리고 확률 앵무새의 그림자.
원인 ① — 사실을 대조하는 단계가 없다
이 기계가 하는 일을 다시 짚어 본다. 지금까지의 문장을 보고 다음에 올 후보들의 확률을 계산한 뒤, 그중 하나를 골라 이어 붙인다. 앞의 내용만 참고해 한 조각씩 확률에 따라 이어 붙이는 이 반복이 모델 동작의 전체다.
여기에 없는 것이 하나 있다. 자기가 뱉으려는 내용이 사실인지 대조하는 단계가 없다. 참고할 사실 대장이 안에 따로 있는 것도 아니다. 오직 "이 자리에 통계적으로 가장 어울리는 조각은 무엇인가"만 계산한다.
🔑 그래서 없는 논문 제목도 술술 나온다. 모델에게 그 제목은 "참인 제목"이 아니라 "그 자리에 올 법한 그럴듯한 글자 배열"이다. 진짜 논문 제목과 지어낸 제목은, 통계적 그럴듯함만 놓고 보면 구별되지 않는다. 사실 검증 게이트가 비어 있는 파이프라인 — 이것이 할루시네이션의 첫 번째 원인이다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a left-to-right generation pipeline as a labeled diagram: a box 'input', then a cluster of vertical probability bars, then a box 'pick', then a box 'output'. Above the flow sits an empty dashed gate labeled 'fact-check' with a grey question mark inside it, clearly hollow and unfilled. A short caption reads 'no truth check here'. Clean editorial diagram style, teal #00b894 and purple #6c5ce7 accents, dashed grey for the empty gate, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
원인 ① — 사실을 대조하는 단계가 없다
원인 ② — 배운 글에 빈틈과 오류가 있다
이 기계는 인터넷 규모의 글을 통째로 읽어 지식을 얻었다. 그 글은 완벽한 진실의 집합이 아니다. 사람이 쓴 글에는 빈틈과 오류가 섞여 있다.
🕳️ 빈틈
세상의 모든 사실이 글로 적혀 있지는 않다. 잘 알려지지 않은 사람, 최근의 사소한 사건. 배운 적 없는 자리에서 특히 잘 지어낸다.
🐛 오류
인터넷에는 틀린 정보, 낡은 정보, 낭설이 함께 떠다닌다. 참·거짓을 가려 읽은 게 아니라 통째로 흡수했다. 널리 퍼진 오해를 사실처럼 되뇐다.
⚖️ 편향
어떤 주제는 특정 관점의 글이 압도적으로 많다. 자주 등장한 패턴이 더 그럴듯하게 계산된다. 많이 본 쪽으로 답이 쏠린다.
📌 "쓰레기가 들어가면 쓰레기가 나온다." 재료에 없거나 재료가 틀린 자리에서 출력도 틀린다.
원인 ③ — 학습 시점 이후를 모른다
모델은 어느 시점까지의 글을 모아 학습한다. 그 이후에 일어난 일은 배우지 못한다. 학습 자료가 끊긴 이 시점을 지식 컷오프(knowledge cutoff)라 한다.
🛌 잠든 사람 비유
특정 날짜에 세상과의 연결이 끊긴 채 잠든 사람이다. 그날 이후의 뉴스, 새로 나온 제품, 바뀐 사실을 알지 못한다. 문제는, 이 사람이 "나는 그 뒤를 모른다"고 말하는 대신 아는 것처럼 그럴듯하게 답한다는 데 있다.
⚠️ 최신 정보를 물을 때 특히 잦다. "가장 최근에 나온 것은?" "지난달에 무슨 일이 있었나?" 같은 질문은 컷오프 너머를 건드린다. 모델은 그 빈자리를 확률로 채운다. 모델의 지식에는 유통기한이 있고, 모델은 그 기한을 스스로 잘 밝히지 못한다.
원인 ④ — 빈칸을 채우도록 편향돼 있다
가장 미묘한 원인이다. 모델은 왜 "모른다"고 비워 두지 않고 굳이 그럴듯한 답으로 빈칸을 채우는가.
매 순간 다음 조각의 확률 막대그래프를 세우고 그중 하나를 고른다. 이 구조에는 "아무것도 고르지 않음"이라는 선택지가 자연스럽게 들어 있지 않다. 게다가 사람이 쓴 글에는 "질문에 척척 답하는 문장"이 압도적으로 많고 "잘 모르겠습니다"로 끝나는 글은 드물다. 그러니 통계적으로 더 그럴듯한 이어짐은 "모른다"가 아니라 "그럴듯한 답"이다.
🔑 이 세션에서 가장 중요한 통찰. 빈칸을 만나면 채우는 것이 이 기계의 성향이다. 그 채움이 사실과 맞으면 정답, 어긋나면 할루시네이션이다. 둘은 다른 사건이 아니라 같은 동작의 두 결과다. 정답을 만드는 바로 그 메커니즘이 할루시네이션도 만든다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a single tree stem labeled 'fill the blank' splitting into two branches; the upper branch bears a green fruit labeled 'correct', the lower branch bears a red fruit labeled 'hallucination'. Both grow from the very same stem, emphasizing one mechanism with two outcomes. A short caption reads 'same mechanism, different result'. Clean editorial illustration style, teal #00b894 and purple #6c5ce7 accents, one green and one red fruit, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
원인 ④ — 빈칸을 채우도록 편향돼 있다
확률 앵무새의 그림자 — 유창함과 진실은 별개
네 원인을 하나의 비유로 묶는다. 이 기계를 확률 앵무새라 부른다. 방대한 글에서 "이 말 다음에는 저 말이 온다"는 패턴을 익혀, 가장 그럴듯한 이어짐을 뽑아내는 기계다. 말은 유창하지만 뜻을 이해한 것은 아니다.
🦜 두 개의 축
📌 유창함과 진실은 서로 다른 축이다. 하나는 "얼마나 매끄럽게 들리는가"이고, 다른 하나는 "실제로 맞는가"다. 이 기계는 첫째 축을 최적화하도록 만들어졌다. 둘째 축은 애초에 재료에 들어 있지 않았다.
그래서 유창하되 틀린 답이 나오는 것은 이상한 일이 아니라 당연한 일이다. 할루시네이션은 이 기계가 고장 났다는 신호가 아니라, 이 기계가 원래 무엇을 하도록 만들어졌는지를 드러내는 증거다.
PART 4
왜 "모른다"고 안 하나
자신 있는 어조도 학습의 산물 · 시험 잘 보는 기계는 불확실할 때 찍는다.
자신 있는 어조도 학습의 산물
틀리는 것까지는 원리로 이해됐다. 그런데 왜 하필 자신 있게 틀리는가. 자신 있는 어조는 두 군데에서 함께 온다.
📚 배운 글의 문체
백과사전·교과서·뉴스·전문가의 글은 단정적인 어조로 사실을 진술한다. "~이다" "~한다"로 끝나는 문장이 압도적이다. 모델의 문장도 자연스럽게 이 단정적 어조를 닮는다.
👍 정렬의 선호
사람 피드백으로 다듬을 때, 사람들은 시원하게 답하는 쪽을 선호했다. "확실하지 않습니다"보다 또렷한 답에 더 높은 점수를 줬다. 그 취향을 모델이 물려받았다.
🔑 정렬은 답의 태도를 가르쳤지, 그 태도가 사실과 맞물리는지까지 보장하지는 않았다. 그래서 태도만 자신 있고 내용은 틀린 답이 남는다.
시험 잘 보는 기계 — 찍는 게 이득이었다
더 깊은 이유가 하나 더 있다. 모델을 만들고 평가하는 방식 자체가 "찍기"를 부추겼다.
📝 객관식 시험 비유
감점 없는 시험에서 모르는 문제를 만나면, 빈칸으로 두느니 찍는 편이 유리하다. 모델의 성능을 매기는 벤치마크 대부분이 맞으면 점수, 틀리면 0점, "모른다"고 해도 0점으로 채점해 왔다.
⚠️ 모델은 이 채점판에 맞춰 최적화됐다. 다시 말해, 불확실할 때 자신 있게 찍도록 길러졌다. 자신 있게 틀리는 성향은 설명 안 되는 특성이 아니라, 모델을 평가하고 보상해 온 방식이 빚어낸 결과다.
PART 5
사용자의 자기방어
원리를 알면 방어가 보인다 · 바로 쓰는 체크리스트 다섯.
원리를 알면 방어가 보인다
문제의 근본 원인이 "사실 대조 단계가 없다"였으니, 방어의 요령은 하나로 압축된다. 사용자가 그 빠진 대조 단계를 대신 채운다. 모델이 하지 않는 사실 확인을 쓰는 사람이 밖에서 대신 한다.
🧾 답은 "정답" 아닌 "초안"
매끄럽고 단정적인 문장에 마음을 놓지 않는다. 말투는 진위의 신호가 아니다. 유창할수록 오히려 한 번 더 의심한다 — 특히 숫자·날짜·고유명사·출처가 나올 때.
⚖️ 방어는 위험에 비례
잡담·브레인스토밍처럼 틀려도 되는 일에는 느슨하게. 의사결정·문서·대외 발표로 이어진다면 반드시 검증한다. 중요할수록 의심하고, 사소할수록 흘려보낸다.
📌 한 줄 프레임. 모델은 초안, 검증은 사람. 뒤의 체크리스트는 이 하나의 원리에서 파생된다.
실무 체크리스트 — 바로 쓰는 다섯 가지
🔍 ① 출처를 요구한다
"근거가 되는 출처를 함께 달라"고 다시 묻는다. 대지 못하거나 얼버무리면 신뢰도가 낮다.
📄 ② 원문을 대조한다
출처를 댔더라도 그 출처가 실재하는지, 실제로 그런 내용인지 직접 확인한다. 그럴듯한 논문 제목이 있다고 그 논문이 있는 것은 아니다.
🔀 ③ 교차 확인한다
같은 사실을 다른 경로로 한 번 더 — 검색·다른 모델·사람 전문가. 두 경로가 일치하면 신뢰가 오른다.
❓ ④ 되물어 흔들어 본다
"정말 확실한가?" "틀렸을 가능성은?"이라고 되묻는다. 쉽게 답을 바꾸면 근거가 얕았다는 신호다.
🔒 ⑤ 중요한 사실은 반드시 검증
앞의 넷을 다 건너뛰더라도 이것 하나는 지킨다. 의사결정에 들어가는 사실은 예외 없이 원출처로 확인한다.
🔑 대단한 기술이 아니다. 모델이 안 하는 사실 확인을 사람이 대신 해 주는, 소박하지만 확실한 방어다. 모델은 초안, 검증은 사람.
PART 6
완화 ① 지식을 연결한다 — RAG
찾아서 답하라 · 닫힌 책 vs 열린 책 · 네 정거장 · 전/후 데모 · 만능은 아니다.
머릿속에서 짜내지 말고, 찾아서 답하라
사용자의 방어가 밖에서 채우는 검증이라면, 기술로 안에서 채우는 방법도 있다. 그 대표가 RAG, 풀어 쓰면 "검색 증강 생성(Retrieval-Augmented Generation)"이다. 이름 그대로, 답을 생성하기 전에 관련 문서를 검색해 그 내용으로 답을 증강한다.
📌 첫 번째 원인을 정면으로 겨눈다. 문제는 모델이 오직 제 머릿속(학습으로 굳은 지식)에서만 답을 짜낸다는 데 있었다. RAG는 답하기 전에 신뢰할 만한 문서를 먼저 찾아와, 모델에게 "이 자료를 근거로 답하라"고 건넨다.
이러면 모델이 하는 일이 달라진다. 없는 것을 기억에서 지어내는 대신, 주어진 자료를 읽고 그 안에서 답을 구성한다. 기억을 재료로 삼던 기계가, 눈앞의 문서를 재료로 삼는 기계로 바뀐다. 짜내기에서 찾아 읽기로의 전환이다.
닫힌 책 시험 vs 열린 책 시험
📕 닫힌 책 (순수 LLM)
참고서 없이 머릿속에 든 것만으로 답한다. 잘 외운 것은 맞히지만, 가물가물한 것은 그럴듯하게 지어낸다.
📖 열린 책 (RAG)
답하기 전에 관련 자료를 펼쳐 볼 수 있다. 헷갈리면 펼친 책에서 확인한다.
🔑 핵심 차이는 답의 근거가 어디 있느냐다. 근거가 밖에 있고 확인 가능하다는 것 — 이것이 RAG가 할루시네이션을 줄이는 원리다.
RAG는 어떻게 도는가 — 네 정거장
📌 마지막이 특히 값지다. 잘 만든 RAG는 답과 함께 어느 문서의 어느 대목을 근거로 삼았는지 출처를 표시한다. 그러면 사용자가 원문을 직접 확인할 수 있다. 검증이 가능한 답과 불가능한 답은 신뢰 수준이 다르다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing a left-to-right RAG pipeline as a clean labeled diagram with exactly four stations connected by arrows: station 1 a user icon labeled 'question', station 2 a magnifier over a small stack of documents labeled 'search', station 3 a single document handed to a brain-chip model labeled 'grounded prompt', station 4 a checkmark speech bubble labeled 'answer + source'. Above station 3, a dashed gate is filled with a small glowing green document stack labeled 'retrieved docs'. Use ONLY these short word labels; absolutely NO sentence or paragraph text, NO fake body text or lorem-ipsum lines inside any box or bubble — icons and short labels only. Clean editorial diagram style, teal #00b894 and purple #6c5ce7 accents, the filled gate glowing green, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates, no mirrored or reversed text. Keep every element fully inside the frame."
📖 참고: Lewis et al., Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (2020, arXiv 2005.11401) — 모델 내부 기억에 외부 문서 기억을 결합.
직접 해보기 — RAG 전과 후
같은 질문을 두 방식으로 던진다.
🚫 근거 자료 없이
특정 문서에만 담긴 사실(어떤 규정의 세부 조항, 최신 자료의 구체적 수치)을 순수한 모델에게만 묻는다. 컷오프 너머이거나 학습에 없던 내용이라면, 그럴듯하지만 근거 없는 답을 내놓기 쉽다. 출처를 물으면 대지 못하거나 지어낸다.
✅ 문서를 붙여서
같은 질문에 관련 문서를 함께 붙여 "이 자료를 근거로 답하라"며 건넨다. 답이 달라진다. 자료 안의 내용에 근거해 답하고, 어느 대목을 참고했는지 짚어 준다.
🔑 두 답을 나란히 놓으면 차이가 분명하다. 앞의 답은 그럴듯한 짐작이고, 뒤의 답은 확인 가능한 근거다. 이 한 번의 대비로 "짜내기에서 찾아 읽기로"의 전환이 추상이 아니라 눈앞의 사실이 된다.
출처가 붙어도 만능은 아니다
RAG는 강력하지만 만병통치약이 아니다. 몇 가지 빈틈이 남는다.
📉 근거가 틀리면
검색해 온 문서 자체가 틀렸거나 낡았으면, 그 틀린 내용을 근거로 그럴듯하게 답한다. 근거의 품질이 답의 품질을 좌우한다.
🔎 못 찾으면
관련 문서를 제대로 찾지 못하면 여전히 짐작으로 빠질 수 있다.
✍️ 벗어나면
문서를 건넸는데도 그 내용을 벗어나 지어내는 경우가 아주 없지는 않다.
⚠️ 출처가 붙은 할루시네이션이 오히려 더 위험할 수 있다. 사람은 출처가 달려 있으면 누군가 이미 확인했으리라 여기고 경계를 푼다. 그런데 그 출처가 지어낸 것이거나, 실재하되 그런 내용을 담고 있지 않을 수 있다. 출처를 대는 것과 출처가 진짜인 것은 다르다. 앞에서 익힌 원문 대조는 RAG를 쓸 때도 여전히 유효하다.
PART 7
완화 ② 그 밖의 방법, 그리고 현실
여러 손잡이를 함께 쓴다 · 없앨 수는 없고, 관리한다.
여러 손잡이를 함께 쓴다
RAG 말고도 할루시네이션을 줄이는 손잡이가 여럿 있다. 하나씩이 아니라 함께 쓸 때 효과가 크다.
📎 출처를 강제한다
답할 때 근거와 인용을 반드시 함께 대도록 요구한다. 근거를 대야 하는 답은 지어내기가 어려워지고, 사용자도 검증하기 쉬워진다.
🛠️ 도구로 보완한다
계산은 계산기에, 최신 정보와 실시간 사실은 검색에 넘긴다. 컷오프 문제는 검색을 붙여 메운다. 모델은 언어를, 사실과 계산은 도구가 맡는 분업.
🌡️ 온도를 낮춘다
사실을 묻는 질의에서는 무작위성을 낮춘다. 창작에는 높은 온도, 정확한 사실에는 낮은 온도가 안전하다.
📌 저마다 다른 원인을 겨눈다. 출처 강제는 검증 가능성을, 도구 사용은 컷오프와 계산 약점을, 온도 낮추기는 무작위 폭주를 줄인다. 손잡이를 겹쳐 쓰면 할루시네이션이 눈에 띄게 준다.
없앨 수는 없고, 관리한다
이 손잡이들을 다 쓰면 할루시네이션이 사라지는가. 아니다. 할루시네이션은 완전히 없앨 수 없다.
이유는 이미 원리에서 봤다. 정답을 만드는 바로 그 메커니즘이 할루시네이션도 만든다. 확률로 빈칸을 채우는 방식을 유지하는 한, 그 채움이 어긋날 여지는 늘 남는다. 데이터를 아무리 늘리고 구조를 아무리 손봐도, 이 방식의 기계에서 할루시네이션을 0으로 만들 수는 없다는 것이 대체적인 결론이다.
📉 줄이기
완화책으로 발생을 줄인다.
🧹 거르기
검증으로 남은 것을 걸러 낸다.
🛡️ 지키기
위험이 큰 자리에서는 사람이 반드시 확인한다.
🔑 목표를 바꾼다 — 제거가 아니라 관리다. 감기를 근절하는 대신 관리하며 살듯, 할루시네이션도 함께 관리하며 쓰는 대상이다. "AI가 틀릴 수 있음"을 전제로 설계된 쓰임만이 안전하다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing two options side by side connected by a single left-to-right arrow. On the left, a red box labeled 'eliminate' with a big red X crossing it out, and a small tag reading 'impossible'. On the right, a glowing green panel labeled 'manage' resting on three separate pillars, the pillars labeled 'reduce', 'filter', and 'human check'. A short caption below reads 'not remove, but manage'. Use each label EXACTLY ONCE — do NOT repeat the word 'eliminate' and do NOT add 'eliminated'. Short word labels only, NO sentence or paragraph text. Clean editorial illustration style, teal #00b894 and purple #6c5ce7 accents, red cross and green glow, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates, no mirrored or reversed text. Keep every element fully inside the frame."
📖 참고: Xu et al., Hallucination is Inevitable: An Innate Limitation of Large Language Models (2024, arXiv 2401.11817) — 완전 제거가 불가능하며 관리 대상임을 논증.
한 장으로 요약
🔴 정체
그럴듯하지만 사실이 아닌 것을 자신 있게 생성하는 현상. 없는 사실·틀린 인용·없는 출처·틀린 계산의 네 얼굴.
⚙️ 원리
버그가 아니라 부작용이다. 사실 대조 단계가 없고, 배운 글에 빈틈·오류가 있고, 학습 시점 이후를 모르며, 빈칸을 채우도록 편향돼 있다. 정답을 만드는 바로 그 메커니즘이 할루시네이션도 만든다.
💪 자신감
자신 있게 틀리는 어조는 배운 글의 문체와 정렬의 선호, "찍는 게 이득"인 평가 방식이 함께 빚은 결과다.
🛡️ 관리
사용자는 출처 요구·원문 대조·교차 확인으로 방어하고, 기술은 RAG로 지식을 연결하고 도구·출처 강제·낮은 온도로 완화한다. 완전히 없앨 수는 없고, 관리한다.
🎯 한 문장으로 줄이면
"유창함은 진실을 보장하지 않는다. 그래서 확인은 사람의 몫으로 남는다."
남겨 두는 물음
오늘 내내 "모델이 어떻게 틀리는가"를 봤다. 그런데 뒤집어 생각하면, 같은 질문이라도 어떻게 묻느냐에 따라 답이 달라졌다. 근거 문서를 붙여 물었을 때 답이 교정되는 것을 방금 눈으로 확인했다.
자료를 건네고, 맥락을 채워 주고, 무엇을 원하는지 또렷이 말해 줄수록, 틀릴 확률도 줄고 원하는 답을 얻을 확률도 오른다.
🚪 그렇다면 다음 질문이 남는다
"애초에 잘 물으면, 이 확률들을 원하는 쪽으로 당길 수 있지 않을까?"
어떻게 물어야 이 확률 기계가 원하는 답을 내놓는가. 무엇을 어떤 순서로, 어떤 맥락과 함께 건네야 하는가. 이 질문은 다음 세션에서 자세히 다룬다.
🎨 이미지 프롬프트: "Editorial illustration on dark navy #1a1a2e background showing one question bubble splitting into two paths. The upper path is a bare question leading to a blurry, faint answer. The lower path is the same question wrapped with context and a document, leading to a crisp, sharp answer. Between the two paths a single open door glows, suggesting a next step. A short caption reads 'how you ask shapes the answer'. Clean editorial illustration style, teal #00b894 and purple #6c5ce7 accents, 16:9. CRITICAL: All visible text MUST be in English ONLY (no Korean characters). Each label appears EXACTLY ONCE — no duplicates. No mirrored or reversed text."
"애초에 잘 물으면, 이 확률들을 원하는 쪽으로 당길 수 있지 않을까?"