확산·에이전트·다국어 LLM의 한계와 개선 방향

이번 주 여섯 편은 생성모델의 이론적 바닥부터 현장의 실무 도구까지 폭이 넓다. 확산 샘플링에 원리적 하한이 있음을 증명한 연구¹, 코딩 에이전트의 파일 쓰기 실패를 구조적으로 복원하는 MCP 서버², 보안 특화 코멘트의 정성 분석에서 LLM이 인간 주석자를 대체하지 못한다는 부정 결과³, 폴란드어에 맞춘 토크나이저로 효율을 끌어올린 Bielik v3⁴, 도구 문서를 파라미터에 내재화해 추론과 도구 사용을 통합한 TInR⁵, 그리고 힌디·벵골어·타이어 관용어를 다국어·다중모달로 다룬 Mediom⁶까지. 성능을 끌어올리는 연구와 한계를 정직하게 드러내는 연구가 나란히 놓여 있다는 점이 특히 눈에 띈다.

확산 샘플링의 스코어 조회 하한

쉽게 말하면: 확산모델은 학습한 스코어를 여러 번 물어보며 이미지를 만드는데, 이 논문은 그 질문 횟수를 아무리 줄여도 넘을 수 없는 이론적 바닥이 있음을 증명한다. ¹

확산모델은 단순한 노이즈를 구조화된 데이터로 바꾸기 위해 분포의 매끄러운 스코어(smoothed score)를 반복해서 평가한다. 매 반복마다 큰 신경망을 한 번씩 호출해야 하므로, 전체 계산 비용은 스코어를 몇 번 조회하느냐에 사실상 지배된다. 그래서 고차 수치해법, 최적화된 이산화, 생성 궤적을 곧게 펴는 플로우 매칭 등 조회 횟수를 줄이려는 연구가 활발했고, 이론과 실무 양쪽에서 필요한 조회 수를 꾸준히 낮춰 왔다. 하지만 이런 가속에 정보이론적 한계가 있는지, 있다면 어디인지는 열린 문제로 남아 있었다. ¹

저자들은 확산 샘플링에 대한 첫 스코어 조회 복잡도 하한을 세운다. 스코어 추정이 어떤 의미로든 다항 정확도를 갖는다는, 알고리즘에 유리한 표준 가정 아래에서도 어떤 샘플러든 적응적 스코어 조회가 불가피함을 보인다. 분석은 두 축의 가정 위에 선다. 목표 분포가 유계 지지 분포를 가우시안으로 매끄럽게 만든 형태라는 '유계+노이즈' 가정과, 스코어 추정이 다항적으로 정확하다는 가정이다. 증명의 핵심은 샘플러가 서로 다른 노이즈 레벨들을 훑고 지나가야 한다는 점을 가설검정 문제로의 환원으로 드러내는 데 있다. 널(null) 분포와 심어진(planted) 분포들의 집합을 구성한 뒤, 서로 구별되는 노이즈 레벨에서의 조회가 그 둘을 구분하는 데 반드시 필요함을 보이는 방식이다. ¹

이 결과는 실무에서 다중 스케일 노이즈 스케줄이 왜 필요한지에 대한 형식적 설명이 된다는 점에서 의미가 크다. 하한은 TV 오차를 0.99까지 크게 허용해도 성립하며, 하드 인스턴스의 참 스코어와 스코어 추정이 모두 전역적으로 립시츠 연속이되 립시츠 상수가 차원에 선형으로 커지도록 설계됐다. 다만 스코어에 추가적인 립시츠 정칙성을 가정하면 차원에 대해 준선형 반복으로 가속되는 알고리즘도 알려져 있어, 이 하한이 곧 모든 세팅에서의 최종 장벽을 뜻하지는 않는다. 즉 어떤 가정 아래에서 장벽이 생기고 어떤 가정이 이를 우회하는지의 경계를 함께 그려 준다. ¹

코딩 에이전트의 파일 쓰기 실패를 복원하는 여섯 계층

쉽게 말하면: LLM 코딩 에이전트가 파일 저장에 실패하면 이유도 모른 채 초안을 잃고 같은 시도를 반복하는데, 이 연구는 에이전트와 파일시스템 사이에 실패를 견디는 여섯 겹의 안전망을 끼워 넣는다. ²

LLM 코딩 에이전트는 Model Context Protocol(MCP) 같은 도구 프로토콜로 개발자 워크스테이션의 파일을 읽고 쓴다. 문제는 쓰기 경로가 취약하다는 점이다. 콘텐츠 안전 필터가 조용히 페이로드를 거부하거나, 큰 파일이 전송 중 잘리거나, 세션이 완료 전에 끊길 수 있다. 게다가 쓰기가 실패해도 에이전트가 받는 신호는 구조 없는 문자열이거나 아예 없는 경우가 많아, 원인을 진단하지도 복구 전략을 고르지도 못한 채 초안을 잃고 무작정 재시도하며 토큰을 태운다. 저자들이 든 실제 사례가 상징적이다. 2026년 4월 어떤 에이전트가 Authorization: Bearer sk-ant-oat01-{REDACTED} 같은 편집된 헤더가 담긴 LaTeX 문서를 쓰려다, sk-ant- 접두 패턴이 호스트의 콘텐츠 안전 정규식에 걸려 조용히 거부됐다. 에이전트는 구조화된 오류를 받지 못한 채 같은 내용을 다섯 번 재시도하며 약 2분과 수천 토큰을 쓰고 나서야 셸 heredoc으로 우회했다. ²

해법인 Resilient Write는 에이전트와 파일시스템 사이에 여섯 겹의 내구성 쓰기 표면을 끼워 넣는 MCP 서버다. 계층은 사전 위험 점수화, 트랜잭션 원자적 쓰기, 재개 안전 청킹, 구조화된 타입 오류, 대역 외 스크래치패드 저장, 작업 연속성 핸드오프 봉투로 구성되며, 서로 직교해 독립적으로 채택할 수 있다. 설계 원칙은 세 가지다. 모든 거부는 기계가 읽을 수 있는 봉투로 투명하게 실패시킬 것, 절대 제자리 덮어쓰기를 하지 않고 임시파일·fsync·검증·원자적 리네임 파이프라인을 거칠 것, 각 계층을 독립적으로 도입 가능하게 할 것. 예컨대 사전 위험 점수화(L0)의 rw.risk_score는 LLM 호출도 네트워크도 없이 100KB 입력에서 50ms 안에 끝나는 순수 함수형 분류기로, api_key·github_pat·jwt·pem_block·aws_secret·pii·binary_hint 일곱 개 패턴 계열에 가중치를 매겨 다운스트림 필터에 걸릴 위험을 미리 점수화한다. 원자적 쓰기(L1)의 rw.safe_write는 사전조건 검사, O_CREAT | O_EXCL 임시파일 배타 쓰기와 fsync, 되읽어 SHA-256 해시를 대조하는 검증, os.replace()로의 원자적 리네임이라는 4단계 프로토콜을 밟아 파일이 완전히 교체되거나 손대지 않은 상태 둘 중 하나만 남도록 보장한다. ²

각 계층은 앞의 실제 세션에서 관찰된 구체적 실패 모드(조용한 거부, 초안 소실, 재시도 난동, 구조화된 진단 부재, 세션 취약성)에 하나씩 대응한다. 시스템을 이 논문 작성에 실제로 써 보는 과정에서 청크 미리보기, 형식 인식 검증, 저널 분석이라는 확장 도구 셋도 파생됐다. 186개 테스트 스위트가 각 계층의 정확성을 검증했고, 순진한 베이스라인 및 방어적 베이스라인과의 정량 비교에서 복구 시간 단축과 에이전트 자가교정률 개선을 보고한다. Resilient Write는 MIT 라이선스로 공개됐다. 다만 이 접근은 파일 쓰기 경로의 내구성에 초점을 둔 것으로, 셸 실행이나 다른 도구 호출의 실패까지 포괄하지는 않는다. ²

보안 특화 코멘트에서 실패한 LLM 정성 분석

쉽게 말하면: 사람 참가자가 취약 코드에 남긴 자유 서술을 LLM이 대신 코딩(주석)하게 해 봤더니, 보안처럼 맥락이 깊은 영역에서는 인간 주석자를 믿고 맡길 만큼은 못 되더라는 실험이다. ³

인간 대상 소프트웨어공학 실험에서 참가자의 자유 서술 근거를 분석하는 표준 방법이 주제 분석(Thematic Analysis)이다. 텍스트 조각에 '코드'라는 라벨을 붙이고 이를 모아 더 넓은 주제로 엮는 작업인데, 신뢰할 만한 결과를 얻으려면 한 데이터에 코더와 리뷰어가 최소 한 명씩 붙고 여러 번 반복해야 해서 비용이 크다. 그래서 LLM으로 최소한 한 명의 인간 주석자를 대체하려는 시도가 자연스러운 다음 수순처럼 보였다. 하지만 저자들이 주목한 지점은 감정 분류 같은 얕은 라벨링과 달리, 코드에 언급된 식별자·언급된 코드 라인·보안 키워드 같은 보안 특화 코드는 훨씬 깊은 맥락 이해를 요구한다는 점이다. ³

이를 검증하기 위해 저자들은 취약 코드 스니펫을 분석한 사람 참가자들의 자유 서술 코멘트에서 아홉 개의 보안 관련 코드를 탐지하도록 LiveBench 상위 네 개 LLM에 프롬프트를 넣었다. 출력은 인간 주석자와 비교하되, 우연 일치를 보정하는 Cohen's Kappa로 일치도를 측정했다. 프롬프트도 주석 실무의 모범 관행을 흉내 내 여러 갈래로 나눴다. 코드를 미리 주지 않고 떠오르게 하는 방식(emerging codes), 예시를 붙인 상세 코드북, 그리고 상충하는 예시를 함께 준 방식이다. ³

결과는 부정적이다. 코드에 대한 설명을 붙였을 때만 뚜렷한 개선이 나타났지만, 그 개선조차 코드별로 고르지 않았고 인간 주석자를 신뢰성 있게 대체할 만한 수준에는 이르지 못했다. 저자들은 이를 정직한 부정 결과로 보고하며, 더 많은 LLM과 더 다양한 주석 과제로 후속 검증이 필요하다는 한계를 함께 밝힌다. 결과 자체보다도, 자동화가 잘 통하는 영역과 여전히 인간 전문성이 필요한 영역의 경계를 실증적으로 그었다는 점에서 이 연구의 값이 있다. 논문은 2026년 IEEE/ACM 국제 프로그램 이해 학회(ICPC)에 실렸다. ³

폴란드어 토크나이저 최적화: Bielik v3 7B·11B

쉽게 말하면: 여러 언어를 두루 담은 범용 토크나이저는 폴란드어를 잘게 쪼개 비효율적인데, 이 연구는 Bielik v3 7B·11B를 폴란드어 전용 어휘로 갈아 끼워 같은 문장을 더 적은 토큰으로 처리하게 만든다. ⁴

범용 모델은 다국어 능력이 뛰어나지만, 넓은 언어 범위를 커버하도록 설계된 보편 토크나이저 탓에 구조적 비효율을 안고 있다. 폴란드어처럼 굴절이 복잡하고 발음 부호가 잦으며 어휘 변형이 심한 형태론적 언어에서는 텍스트가 필요 이상으로 많은 서브워드로 쪼개진다. 이 정도를 재는 지표가 fertility ratio(한 텍스트를 표현하는 데 드는 평균 토큰 수)인데, 값이 높으면 컨텍스트 창의 정보 밀도가 떨어지고 추론 비용이 오른다. 반대로 15만~25만 토큰짜리 초대형 어휘는 분절은 줄이지만 모델 크기와 메모리 부담이 커지고, 단일어 용도에서는 임베딩 상당수가 놀아 자원이 낭비된다. 기존 Bielik v3는 3만 2,128 토큰 어휘를 썼는데, 폴란드어 단어 하나를 여러 토큰으로 쪼개는 일이 잦았다. ⁴

Bielik v3 PL은 비슷한 규모인 3만 토큰의 폴란드어 전용 어휘를 채택해 fertility ratio를 낮추면서 영어와 다른 유럽어 커버리지도 합리적으로 유지하는 것을 목표로 한다. 이를 위해 초기 APT3 설계를 확장·정련한 APT4 토크나이저를 개발했고, 폴란드 헌법 전문(前文)을 벤치마크 텍스트로 삼아 토큰당 문자 수(CpT), 단어당 토큰 수(TpW) 같은 효율 지표를 폴란드어·영어 양쪽에서 비교했다. 아키텍처는 Mistral 계열을 잇되 Grouped-Query Attention과 RoPE로 최대 3만 2,768 토큰 컨텍스트를 지원하며, 11B는 32층 백본을 복제 후 선택적으로 덜어 내는 Depth Up-Scaling으로 50층까지 키워 24GB GPU 메모리에 맞췄다. 7B는 별도 학습이 아니라 11B를 구조적 프루닝과 지식 증류로 압축한 것으로, 원본 성능의 약 90%를 유지하면서 추론을 최대 50% 빠르게 한다. ⁴

토크나이저를 바꾸면 임베딩을 처음부터 다시 배워야 하는 부담이 생기는데, 저자들은 FOCUS 기반 임베딩 초기화로 이를 완화하고, 다단계 사전학습 커리큘럼과 사후 정렬을 이어 붙였다. 사후 정렬은 지도 미세조정(SFT), 직접선호최적화(DPO), 그리고 검증 가능한 보상을 쓰는 Group Relative Policy Optimization(GRPO) 기반 강화학습으로 구성된다. 핵심 기여는 어휘와 토크나이저만 폴란드어에 맞게 교체하면서도 원본 토크나이저를 쓰던 모델에 필적하는 성능을 보존하는 전 과정 파이프라인을 정리한 점이며, 두 모델 모두 Apache 2.0 라이선스로 가중치를 공개했다. 저자원 언어를 위한 고품질 모델을 만드는 재현 가능한 청사진이라는 점에서 실용적 가치가 있다. ⁴

도구 지식을 파라미터에 내재화하는 TInR

쉽게 말하면: 지금의 도구 사용 LLM은 매번 도구 설명서를 프롬프트에 붙여 읽는데, 이 연구는 도구 지식을 모델 안에 아예 외워 두게 해서 설명서 없이도 추론하며 도구를 쓰게 만든다. ⁵

Tool-Integrated Reasoning(TIR)은 추론 도중 외부 도구를 끌어와 LLM의 능력을 넓히는 유망한 방향이지만, 도구 문서를 프롬프트로 계속 넣어 주는 방식에는 세 가지 한계가 따른다. 문서가 이질적이고 일관되지 않아 그때그때 숙달하기 어렵다는 점, 도구 수가 늘면 모든 문서를 컨텍스트에 담을 수 없다는 규모 제약(검색으로 일부 완화해도 파이프라인 복잡도와 검색·사용 간 불일치가 생긴다), 그리고 문서가 프롬프트를 길게 만들어 지연과 연산 비용을 키우는 비효율이다. 사람은 도구 사용법을 머릿속에 내재화해 매뉴얼을 다시 펴지 않고도 계속 활용한다는 점에 착안해, 저자들은 도구 지식을 파라미터에 내재화하는 Tool-Internalized Reasoning(TInR)을 탐색한다. ⁵

구현체 TInR-U는 통합 추론과 도구 사용을 위한 프레임워크로, 세 단계 파이프라인으로 학습한다. 첫째, 양방향 지식 정렬 전략을 쓰는 도구 내재화 단계다. 모델이 도구 문서를 고유한 도구 토큰으로 사상하는 방향과, 반대로 각 토큰에서 원래 문서를 복원하는 방향을 함께 학습해 세밀한 보존과 전체적 이해를 동시에 노린다. 둘째, 거부 샘플링과 데이터 포매팅으로 만든 고품질 추론 주석으로 지도 미세조정 워밍업을 해, 내재화된 도구 지식을 추론에 쓰는 기초 능력을 갖춘다. 셋째, 도구 토큰에 특화 보상을 걸어 강화학습을 돌려 탐색적 도구 추론을 유도하고, 도구 사용 역량과 본래의 추론 능력을 더 깊이 통합한다. ⁵

저자들은 도메인 내와 도메인 외 두 설정에서 TInR-U를 평가했으며, 두 설정 모두에서 최고 수준의 성능을 보고하고 특히 도메인 외 도구 호출에서 상대적 개선을 확인했다고 밝힌다. 도구 문서를 프롬프트에서 걷어 내는 만큼 긴 컨텍스트 부담을 줄이면서, 새로운 도구·과제로의 일반화를 함께 노린다는 점이 핵심이다. 코드는 공개돼 있다. 다만 도구 지식을 파라미터에 굽는 방식은 도구가 자주 갱신·추가되는 환경에서 재학습 비용이라는 새로운 트레이드오프를 안게 되는데, 이 부분이 앞으로 짚어야 할 지점이다. ⁵

문자 그대로가 아닌 의미: 다국어·다중모달 관용어 이해

쉽게 말하면: 관용어는 글자 그대로 풀면 뜻을 놓치는데, 이 연구는 힌디·벵골어·타이어 관용어를 텍스트와 이미지로 함께 모은 데이터셋과, 모델이 틀린 이유를 되먹여 고쳐 나가게 하는 힌트 기반 설명법을 내놓는다. ⁶

관용어 추론은 은유와 문화에 깊이 얽혀 있어, 표면적 어휘·의미 단서에 치우친 현대 언어 모델에게는 사각지대로 남아 있다. 예컨대 벵골어 관용어 'angur fol tok'('grapes are sour', 신 포도)는 부정에 기반한 자기 합리화를 뜻하지만, 순진한 모델은 여우와 포도라는 글자 그대로의 이미지에 매달린다. 힌디어 'aasmaan se gire, khajoor mein atke'('하늘에서 떨어져 대추야자에 걸렸다')는 한 어려움을 벗어나자마자 비슷하게 심한 다른 곤경에 빠짐을 뜻하고, '벽에도 귀가 있다'처럼 힌디·벵골어·타이어에 공통으로 존재하는 관용어는 공동체의 지혜가 언어를 넘어 전해짐을 보여준다. 그런데도 관용어 연구는 영어 중심이라, 힌디·벵골어·타이어와 시각에 근거한 이해는 거의 탐구되지 않았다. ⁶

저자들은 이 공백을 메우려 Mediom을 공개한다. 힌디·벵골어·타이어 관용어 3,533개를 담은 다국어·다중모달 코퍼스로, 각 항목은 골드 스탠더드 설명, 교차언어 번역, 세심하게 정렬된 텍스트·이미지 표현과 짝지어진다. 저자들은 여기에 해석적 의미와 상징적 의미, 맥락별 단서를 담은 힌트 내장 추론 데이터베이스도 더해, 저자원 언어의 관용어를 텍스트와 시각 양쪽에서 다루는 첫 교차문화 벤치마크를 지향한다. 실제로 이 코퍼스 위에서 LLM의 텍스트 추론과 VLM의 비유적 중의성 해소를 함께 벤치마크해, 은유 이해에서의 체계적 실패를 드러냈다. ⁶

이를 완화하기 위한 방법이 HIDE(Hinting-based Idiom Explanation)다. 오류 피드백 학습(EFL)에서 영감을 받아, 모델이 과거에 저지른 생성 오류를 기록해 두고 추론 시점에 구조적으로 비슷한 실패를 검색해 교정 맥락으로 되먹인다. 이렇게 표적 진단 단서를 반복적으로 주입해 추론 정확도를 점진적으로 조인다. Mediom과 HIDE는 각각 문화적으로 근거 있는 다중모달 관용어 이해를 위한 엄밀한 테스트베드와 방법론을 이룬다. 관용어라는, 사람에게는 자연스럽지만 모델에는 여전히 어려운 언어의 결을 저자원 언어와 시각까지 넓혀 정면으로 다뤘다는 점에서 의미가 크다. 자료는 공개돼 있다. ⁶