이번 주에는 토큰 단위로 모델을 오가는 서빙 시스템, 확산 시점을 선택해 관련 도메인 데이터를 활용하는 이산 확산 학습법, 여러 모달리티의 고차 상호작용을 보존하는 표현 학습, 스트리밍 1인칭 영상·오디오에서 언제 말할지와 무엇을 말할지 결정하는 웨어러블 비서, 그리고 궤적 분석과 통제된 개입으로 LLM 에이전트의 판단 과정을 검증하는 두 편의 연구를 다룬다. 여섯 편 모두 NeurIPS 2026 또는 EMNLP 2026 채택 표기가 붙은 논문이다.
토큰마다 모델을 바꿔 타는 추론, 이를 실제로 빠르게 돌리는 서빙 엔진
쉽게 말하면: 쉬운 단어는 작은 모델이, 어려운 단어는 큰 모델이 쓰게 하면 싸고 품질도 좋다는 알고리즘은 이미 있었지만, 기존 서버에서는 효율 문제가 컸다. 이 연구는 그런 방식을 제대로 빠르게 돌리는 전용 서버를 만들었다. 1
상용 서비스의 모델 라우팅은 대개 질의나 세션 단위로 이뤄진다. 한 번 배정된 요청은 끝까지 한 모델이 답을 생성한다. 반면 토큰 단위 라우팅은 한 응답 안에서도 생성 난이도가 크게 달라진다는 점을 활용한다. 저자들이 인용한 R2R은 32B 모델에 토큰의 5%만 보내고 나머지를 1.5B 모델로 디코딩해 32B 수준의 품질을 냈다. 같은 품질을 질의 단위 라우팅으로 맞추려면 질의의 약 40%를 32B로 보내야 한다. 문제는 SGLang·vLLM 같은 기존 서빙 시스템이 단일 모델을 전제로 설계됐다는 점이다. 디코딩 단계마다 대상 모델이 바뀌면 세 가지 병목이 생긴다. 단계별 지연이 다른 모델들이 가장 느린 모델을 기다리는 '단계 비동기화', 라우팅된 요청이 대상 모델의 이전 배치가 끝나기를 기다리며 배치가 조각나는 '배치 진입 지연', 그리고 거대한 코드베이스를 직접 뜯어고쳐야 하는 구현 부담이다. 1
TokenRouter의 설계 원칙은 '프로그래밍은 요청 중심으로, 실행은 모델 중심으로'다. 개발자는 route·send·receive 세 가지 인터페이스만으로 한 요청이 여러 모델 사이를 어떻게 오가는지 기술한다. 런타임는 모델마다 독립 서브서버를 띄우고 요청을 비동기로 넘긴다. 서로 분리된 세 개의 실행 루프로 단계 비동기화를 해소하고, 모델 전환은 '넘겨주고 이어받기(handoff-resume)' 방식으로 단순화했다. 각 서브서버는 연속 배칭과 프리픽스 캐싱을 그대로 유지한다. 배치 진입 지연은 일부러 배치 구성을 잠시 미루는 지연 배칭 스케줄러로 줄였다. 스케줄러의 최적 하이퍼파라미터는 시스템 처리량을 수식으로 모델링해 도출했다. 외부에는 단일 인터페이스만 노출하므로 기존 단일 LLM 서버를 그대로 대체할 수 있다. 1
다양한 라우팅 알고리즘, 워크로드, 모델 조합에서 TokenRouter는 기존 구현 대비 디코딩 처리량을 2.01~64.15배 끌어올렸다. 또한 원가와 품질 사이의 절충을 연속적으로 제어할 수 있음을 보여준다. 1
남의 데이터는 잡음이 적은 구간에서만 섞는다: 데이터가 부족한 이산 확산 모델의 학습법
쉽게 말하면: 학습 데이터가 몇백 개뿐일 때 비슷한 분야의 데이터를 빌려 쓰면 결과물이 엉뚱한 쪽으로 쏠리기 쉽다. 이 연구는 빌린 데이터를 학습 과정의 특정 단계에서만 쓰게 해서, 쏠림 없이 도움만 받는 법을 찾았다. 2
데이터가 부족할 때 흔히 쓰는 해법은 두 가지다. 관련 도메인 데이터를 일정 비율로 섞는 데이터 혼합은 학습 분포를 편향시킨다. 전체 데이터로 사전학습한 뒤 미세조정하는 방식은 과적합에 취약하다. 연속 확산에서는 Ambient Diffusion Omni가 잡음이 클수록 분포 차이가 줄어든다는 점을 이용해, 다른 분포의 데이터를 잡음이 큰 구간에서 활용했다. 저자들은 이 직관이 텍스트 같은 이산 확산에서는 통하지 않는다고 지적한다. 가우시안 잡음과 달리 마스킹는 살아남은 토큰에 도메인 정보를 그대로 남긴다. 그래서 토큰을 극단적으로 가려도 도메인 고유 토큰 때문에 두 도메인이 여전히 구분된다. 대신 잡음이 적은 구간에서는 두 도메인의 데이터 분포가 사실상 겹치지 않는다. 이 구간에서 양쪽 데이터로 함께 학습해도 목표 도메인의 복원 능력은 손상되지 않는다. 두 도메인이 국소적 구조를 공유한다면 오히려 학습에 도움이 된다. 2
이 관찰에서 나온 RefineMix는 단순하다. 잡음이 큰 구간에서는 목표 도메인 데이터만 쓰고, 잡음이 적은 구간에서는 두 도메인 데이터를 함께 쓴다. 이론 분석은 두 단계로 이뤄진다. 먼저 경계 시점에서 분류기가 두 도메인을 구분할 수 있는 한 샘플링이 목표 분포를 벗어나지 않음을 증명한다. 이어서 관련 데이터가 가르쳐 줄 수 있는 공유 구조와 그 데이터가 끌어들이는 편향을 맞바꾸는 최적 경계를 규명한다. 실험에서는 다섯 가지 도메인 이동 설정 모두에서 미세조정, 데이터 혼합, 조건부 학습과 같거나 더 나은 성능을 냈다. 최대 7B 파라미터의 사전학습 확산 언어모델을 희소 도메인에 적응시킬 때도 미세조정 방식을 앞섰다. 단백질 서열 생성에서는 같은 계열 단백질 197개만으로 확산 단백질 모델을 미세조정했다. 그 결과 새로우면서도 접힘이 가능하고 해당 계열에 속하는 서열의 비율이 표준 미세조정 대비 거의 두 배로 늘었다. 2
저자들이 강조하는 제약은 활용 범위다. 연속 확산과 달리 이산 확산에서는 관련 데이터를 잡음이 적은 구간에서만 쓸 수 있다. 경계 시점 선택이 성능과 편향 사이의 균형을 좌우한다. 이 방법은 데이터가 희소한 과학 응용, 예를 들어 단백질 서열 생성에도 적용되어 성과를 보였다. 2
둘씩 짝지어서는 안 보이는 정보: 고차 텐서로 모달리티 간 시너지를 붙잡다
쉽게 말하면: 영화 장르처럼 줄거리와 포스터를 함께 봐야만 알 수 있는 정보가 있는데, 지금의 멀티모달 학습법은 데이터를 둘씩만 비교해서 이런 정보를 놓친다. 이 연구는 여러 데이터를 한꺼번에 엮어 이 '합쳐야만 생기는 정보'를 보존한다. 3
CLIP·ALIGN 같은 쌍별 대조학습은 과제에 필요한 정보가 대부분 모달리티 사이에 공유된다는 '다중 관점 중복' 가정 위에 서 있다. 부분 정보 분해(PID)는 과제 관련 정보를 셋으로 나눈다. 모달리티들이 공유하는 중복 정보, 한 모달리티에만 있는 고유 정보, 여러 모달리티를 함께 봐야만 드러나는 시너지다. 이 틀로 보면 중복 중심 학습의 한계가 분명해진다. 저자들은 모달리티가 셋 이상일 때 모든 쌍별 대조학습에 충분하면서 정보량은 최소인 표현이 시너지 정보를 반드시 버린다는 사실을 증명했다. 이런 정보는 쌍별 충분성을 만족하는 데 필요하지 않기 때문이다. 이어서 순수 시너지 정보를 조건부 총상관(conditional total correlation)의 차이로 정의해, 고차 모델링이 언제 필요한지 정보이론적 기준을 세웠다. CoMM, Symile, ConFu 같은 기존 시도는 시너지 보존을 명시적으로 보장하지 못하거나, 고차 의존성을 과제 관련 시너지와 형식적으로 연결하지 못했다. 3
HRIL(Higher-order Representation and Information Learning)은 시너지가 모달리티 간 고차 통계적 의존성에 반영된다는 관찰에서 출발한다. 먼저 각 모달리티 임베딩으로 경험적 교차 모멘트 텐서를 만들어 다자간 상호작용을 표현한다. 이 텐서를 터커 분해(Tucker decomposition)해 압축된 상호작용 코어를 얻는다. 여기에 시너지 인식 정규화항을 더한다. 이 항은 코어 텐서의 에너지가 일부 성분에 과도하게 몰리면 페널티를 준다. 그 결과 상호작용 구조가 퇴화하지 않고 다양한 고차 결합 패턴을 담을 용량이 유지된다. 3
저자들은 시너지를 통제한 합성 과제와, 이미지·텍스트·오디오 등이 섞인 헬스케어 및 감정 컴퓨팅 실제 벤치마크로 실험했다. 기존 멀티모달 대조학습 방법보다 일관되게 우수했고, 시너지가 지배적인 과제에서 격차가 특히 컸다. 이론 분석은 잠재 요인들이 서로 독립이라는 가정(삼분 잠재 요인 분해)에 기대고 있다. 코드도 공개됐다. 3
묻기 전에 말을 거는 스마트글라스 비서: 침묵과 개입의 타이밍을 학습하다
쉽게 말하면: 지금의 음성 비서는 사람이 물어야 대답하지만, 가구를 조립하다 실수하기 직전처럼 사용자가 물을 겨를이 없는 순간이 많다. 이 연구는 사용자의 눈과 귀로 들어오는 영상·소리를 보고 언제 끼어들어 무엇을 말할지 스스로 판단하는 비서를 훈련했다. 4
착용형 AR 비서가 상시 작동하려면 세 가지 능력이 필요하다. 음성 출력을 동반한 멀티모달 인식, 듣는 동시에 말하는 전이중 대화, 1인칭 스트리밍 영상에서 선제적으로 개입하는 능력이다. 지금까지 이 셋은 따로 연구됐다. 선제적 영상 비서는 음성이 아닌 텍스트를 내놓았고, 전이중 음성 모델은 사용자 요청에 반응하는 대화용으로 설계됐다. 저자들은 셋을 한 모델에서 결합한 사례가 없다고 진단하고 EgoVoice를 제안한다. 4
데이터는 실제 강사가 작업을 지도하는 1인칭 녹화 코퍼스 HoloAssist에서 가져왔다. 원본 오디오는 모노 채널이고 화자 신원을 감추려고 음높이를 바꿔 놓았다. 저자들은 음원 분리와 음성 재합성으로 이를 깨끗하고 시간 정렬된 스트림으로 바꿨다. 이어 각 세션을 매 순간 '침묵할지, 음성으로 안내할지'를 결정하는 형식으로 재구성했다. 오픈소스 전이중 멀티모달 LLM인 MiniCPM-o 4.5를 이 데이터로 지도 미세조정(SFT)했다. 그다음 직접 선호 최적화(DPO)로 개입 타이밍과 빈도를 다듬었다. 평가는 개입 시점이 적절한지, 내용이 관련 있는지, 전체 도움 품질이 어떤지를 LLM 심판과 사람 평가자가 함께 판정했다. 4
폐쇄형·오픈소스 모델을 두루 비교한 결과, 기존 멀티모달 시스템은 적절한 시점에 의미 있는 개입을 거의 하지 못했다. EgoVoice는 개입 타이밍, 내용 관련성, 사람 선호도 모두에서 제로샷 백본을 앞섰다. 두 학습 단계는 서로 보완적이었다. SFT 모델은 내용 관련성에서, DPO 모델은 개입 타이밍에서 강점을 보였다. 4
정답은 맞히는데 겸손하지 않다: 지식 충돌 앞에서 에이전트가 불확실성을 다루는 방식
쉽게 말하면: AI 에이전트를 평가할 때는 보통 최종 답이 맞았는지만 본다. 그래서 검색한 자료가 자기 생각과 어긋날 때 이를 알아차리고 솔직히 알리는지는 아무도 확인하지 않았다. 이 연구는 그 '모르는 것을 인정하는 태도'를 측정하는 방법을 만들었고, 정답률이 높은 에이전트일수록 겸손하다는 보장이 없음을 보였다. 5
저자들은 출발점으로 두 가지 문제를 짚는다. 첫째, 결과 기반 보상은 불확실성을 드러낼 유인을 주지 않는다. 충돌을 표시한 궤적이나 확신에 차서 답을 낸 궤적이나 같은 점수를 받는다. 사람은 긴 궤적의 최종 답만 보는 경우가 많아서, 드러나지 않은 불확실성은 결국 아무도 대응하지 못한다. 둘째, 백본 LLM이 충돌을 감지해도 에이전트 하네스가 여러 단계를 거치며 그 신호를 희석하거나 덮어쓸 수 있다. 저자들은 심리학의 지적 겸손 개념을 빌려 '인식론적 겸손(EH)'을 정의하고, 이를 관찰 가능한 세 가지 행동(ISE)으로 조작화했다. 충돌이나 지식 공백을 알아차리는 Identify, 추측 대신 도구를 써서 해결하는 Solve, 남은 불확실성을 최종 답에서 밝히는 Escalate다. 5
측정에는 지식 충돌을 활용했다. 먼저 백본 모델에 자유 응답과 객관식 두 방식으로 제로샷 질의를 던져 모델이 원래 믿는 답을 뽑는다. 두 방식이 일치하는 사례만 남긴다. 통제된 충돌 설정에서는 ConflictQA와 WikiContradict의 사실 질문에 서로 모순되는 두 지문을 붙였다. 각 과제에는 같은 질문과 같은 지문 수를 유지하되 정답과 일치하는 지문만 넣은 '충돌 없음' 대조군을 짝지었다. 자연 발생 충돌 설정에서는 다단계 추론과 도구 사용이 필요한 복잡한 과제를 수행하는 도중에 생기는 충돌을 관찰했다. 네 종류의 에이전트와 여러 오픈·폐쇄형 백본을 궤적 단위로 평가한 결과, 세 가지 패턴이 드러났다. 우선 정답률이 높은 일부 구성은 실행 중 충돌을 인식하고도, 틀린 최종 답에서 해소되지 않은 불확실성을 밝히지 않았다. 또 충돌 관련 답변 언급은 실행의 첫 10% 구간에서 정점을 찍었지만, 여러 구성에서 후속 대응과 최종 인정은 미약했다. 마지막으로 시스템 프롬프트로 개입하면 불확실성을 밝히는 비율은 대체로 올라갔지만 과제 정답률은 떨어졌다. 5
저자들은 이 실험이 백본, 하네스, 평가 환경 각각의 기여를 분리하지 못한다고 밝힌다. 그래서 EH를 세 요소의 상호작용에서 나오는 시스템 수준의 성질로 해석한다. 실무적으로는 에이전트를 벤치마크 정답률로만 고르면 '틀렸는데 확신하는' 시스템을 배포할 위험이 있다는 경고다. 겸손을 높이는 개입이 정답률과 맞바꿈 관계에 있다는 점도 운영 정책을 정할 때 고려할 대목이다. 저자들은 모든 궤적과 턴별 ISE 판정을 공개했다. 5
AI 과학자는 사전 지식으로 움직이나, 실험 결과를 보고 움직이나: 개입 실험으로 가려내다
쉽게 말하면: AI가 실험 설정을 골라 좋은 결과를 냈어도, 그게 실험 결과를 보고 판단을 고친 덕인지 처음부터 그럴듯한 답을 알고 있었던 덕인지는 최종 점수만으로 알 수 없다. 이 연구는 입력을 하나씩 바꿔 보며 LLM이 둘 다 활용한다는 사실을 직접 확인했다. 6
앞의 에이전트 겸손 연구가 '불확실성을 어떻게 다루는가'를 봤다면, 이 연구는 '어떤 증거에 반응하는가'를 묻는다. 무대는 신경 연산자 적응이다. 사전학습된 푸리에 신경 연산자(FNO)를 사전학습 분포에서 벗어난 편미분방정식(PDE) 영역에 맞게 미세조정해야 하는데, 시도 횟수는 20회로 제한된다. 고정된 LLM은 매 시도마다 옵티마이저, 스케줄, 기본 학습률, 파라미터 블록별 배수, 가중치 감쇠, 롤아웃 길이, 데이터 손실, 두 가지 물리 손실 가중치를 고른다. 모델 크기와 에폭은 고정해 성능 차이가 오직 설정 선택에서만 나오게 했다. 비교 대상은 맥락도 이력도 쓰지 않는 랜덤 탐색, 그리고 설정·점수 이력을 모델링하는 TPE(트리 구조 Parzen 추정기)다. LLM은 같은 이력에 더해 PDE 설명과 학습 진단 정보를 받는다. 6
PDEBench의 두 PDE 계열에서 계열 내 전이와 계열 간 전이를 모두 실험했다. 그 결과 LLM은 거의 모든 대응 비교에서 랜덤 탐색과 베이지안 최적화보다 낮은 테스트 nRMSE(학습에 쓰지 않은 평가셋 기준)를 기록했다. 저자들은 최종 성능만으로는 그 원인을 가릴 수 없다고 보고, 한 번에 한 입력만 바꾸는 개입 실험을 설계했다. 효과는 제안된 설정 사이의 '행동 거리'로 측정했다. 검증 점수를 하나도 보기 전에 LLM이 처음 낸 설정은 이미 랜덤 탐색 후보군의 상위권에 들었다. 표시된 PDE 계열만 바꿔도 첫 제안의 기본 학습률이 두 배로 바뀌었다. 피드백이 쌓인 뒤 평가된 설정들 사이에서 검증 점수를 뒤섞으면, 실험한 모든 경우에서 다음 제안이 달라졌다. 효과 크기는 범주형 좌표 하나가 바뀌는 정도(1/12≈0.083)였다. 반면 값은 그대로 두고 표현만 바꾸면 그에 상응하는 총합 효과가 나타나지 않았다. 6
결론은 LLM이 과제에 따라 달라지는 사전 선호와 실험 피드백에 대한 민감성을 함께 쓴다는 것이다. 저자들은 여기서 말하는 '콜드 스타트 사전 선호'가 정책의 행동을 가리킬 뿐, 물리 법칙을 사전학습으로 안다는 뜻은 아니라고 선을 긋는다. 또 어떤 정책도 기본값에서 출발하지 않으므로 이번 비교 결과는 고정 예산 아래의 연산자 미세조정에 한정된다고 밝힌다. LLM의 우위가 보편적이지 않다는 선행 연구도 함께 언급한다. 자율 실험을 수행하는 AI 과학자 시스템을 신뢰하려면 벤치마크 점수가 아니라 '결정이 증거에 반응하는지'를 검증해야 한다. 이 연구는 그 검증을 정량적 절차로 만들었다는 점에서 의미가 있다. 6