이번 주 논문들의 큰 줄기는 오래 작동하는 에이전트의 '기억'이다. 매번 처음부터 찾지 않는 검색, 스스로 비우고 다시 시작하는 작업 기억, 탐험이 길어져도 불어나지 않는 3D 장면 기억이 한 흐름으로 나왔다. 그 아래에서는 텍스트가 아닌 입력을 에이전트가 읽을 수 있는 기록으로 바꾸는 인식 계층, 그리고 서로 다른 모달리티가 같은 표현에 수렴하는 조건을 증명한 이론이 받침이 된다. 곁가지로, 이론상 최적인 전략이 실제 상대 앞에서 어떻게 무너지는지 기록한 협상 에이전트 사례가 '현장의 에이전트'라는 문제의식을 보탠다.
검색을 '매번 새로 찾기'가 아니라 '주소 공간을 걸어가기'로 바꾼 기억 설계
쉽게 말하면: 긴 문맥을 다루는 모델은 바로 전 단계에서 찾은 기억과 거의 같은 것을 매번 처음부터 다시 찾는다. 이 연구는 기억을 '쓸모'에 따라 배치하고, 검색 위치를 조금씩 옮겨 가며 이어서 찾자고 제안한다. 1
저자들은 장문맥 모델의 기존 해법을 두 갈래로 정리한다. 어텐션이나 전역 검색은 큰 저장소를 유지하지만 순전파마다 무엇이 중요한지 다시 탐색한다. 순환 압축은 이 탐색을 피하는 대신, 앞으로 어떤 정보가 필요할지 모르는 시점에 무엇을 남길지 미리 정해 버린다. 희소 어텐션이나 근사 최근접 이웃 검색도 연속된 질의를 매번 새로운 매칭 문제로 취급한다. 저자들이 짚는 빈틈은 인접한 두 추론 단계에서 쓸모 있는 기억이 상당 부분 겹친다는 점이다. 이 반복을 아무도 활용하지 않는다. NeurIPS 2026 채택 표기가 붙은 논문이다. 1
핵심은 기억의 '내용'과 '주소'를 분리하는 데 있다. 기억의 가치는 그 내용을 꺼냈을 때 드러나는 정보가 과제 효용(기대 보상이나 예측 손실)을 얼마나 올리는지로 정의한다. 주소 공간의 기하는 그 정보에 얼마나 싸게 닿을 수 있는지만 결정한다. 질의 위치 반경 ε 안의 기억이 모두 검색되는 구조에서, 정보 손실만 줄이도록 학습하면 모든 기억을 한 점에 몰아넣는 자명한 해가 생긴다. 저자들은 이를 막으려고 접근 가능한 기억 하나마다 비용 λ를 물린다. 그러면 임의의 top-k 예산이 '추가 정보가 비용을 넘는가'라는 가치 문턱으로 바뀐다. 여기서 두 가지 압력이 나온다. 서로를 보완하는 기억은 함께 꺼낼 때의 추가 가치가 λ를 넘으면 같은 이웃에 모이고, 하나를 알면 다른 하나가 쓸모없어지는 중복 기억은 개별 가치가 높아도 같은 검색 집합에 들어갈 이유가 없다. 의미적으로 비슷한 기억은 중복일 수 있고, 서로 달라 보이는 기억이 함께여야 쓸모 있을 수 있다는 점에서 의미 유사도 기반 검색과 갈린다. 1
실험은 저자 스스로 '원리 증명' 수준으로 한정한다. 기하를 고정하고 지속적 검색 메커니즘만 학습시켜 MiniGrid Memory에서 비교했다. 다섯 토큰 문맥 조건에서 지속적 국소 탐색 헤드는 59만 학습 스텝 만에 평균 보상 0.95에 도달했다. 가우시안 절대 주소 방식은 94만 스텝, 범주형 절대 주소 방식은 200만 스텝 이상이 걸렸다. 다만 학습된 기하와 반복 검색은 실험하지 않았고, 제안한 가치 색인 전체를 검증하려면 추가 실험이 필요하다고 저자들이 직접 밝힌다. 저자들은 의미 유사도 기반 검색이 아니라, 기억 내용을 꺼냈을 때의 결정 가치와 검색 비용에 의해 주소 공간을 조직해야 한다고 강조한다. 1
에이전트가 스스로 체크포인트를 남기고 어지러운 문맥을 비우는 작업 기억 관리
쉽게 말하면: 오래 걸리는 과제에서 AI 에이전트는 쌓여 가는 잡다한 기록 때문에 길을 잃는다. 이 연구는 에이전트가 중요한 진행 상황만 메모해 두고 나머지를 지운 뒤 깨끗한 상태에서 다시 시작하도록 가르쳤다. 2
도구를 쓰는 LLM 에이전트는 생각-행동-관찰을 반복하면서 장황한 환경 응답과 실패한 시도를 문맥에 계속 쌓는다. 저자들은 이 잡음이 계획과 추론 능력을 점점 떨어뜨리는 현상을 사람의 작업 기억 과부하에 빗댄다. 기존 문맥 최적화는 정해진 간격이나 문맥 창이 거의 찼을 때처럼 규칙으로 작동하고, 문맥을 잘라 내거나 외부 모델로 압축한다. 저자들은 군더더기 문맥이 에이전트 자신의 서툰 계획에서 나오고, 그것이 다시 추론을 망치는 악순환이라고 본다. 도구 사용 정책을 강화학습으로 다듬는 접근은 최종 결과에만 보상이 붙어 중간 행동에 공을 나누기 어렵다. COLM 2026 채택 논문이다. 2
CORAL은 에이전트가 직접 호출하는 두 도구로 이루어진다. 기억 관리 도구는 상위 계획과 완료된 하위 목표를 담은 '과제 진행'과, 추론 중 확인한 중간 결과나 발견한 개체를 담은 '검증된 사실'을 추가·수정·삭제한다. 에이전트는 주로 과제 시작 때 계획을 적고, 핵심 정보를 발견했을 때 사실로 저장하고, 하위 과제를 마친 뒤 진행 상황을 갱신한다. 문맥 최적화 도구는 체크포인트만 남기고 나머지 문맥을 초기화해 새 풀이 에피소드를 연다. 두 도구 모두 외부 규칙이 아니라 에이전트의 판단으로 호출한다는 점이 핵심이다. 학습은 두 단계로 진행한다. 먼저 지도 미세조정으로 체크포인트 기술을 심고, 이어 궤적 단위 보상을 에피소드 경계 너머로 전파하는 Multi-episode ARPO 강화학습으로 언제 무엇을 남길지 다듬는다. 2
GAIA 벤치마크에서 8B 모델 기반 CORAL은 평균 정확도 42.8%를 기록했고, 가장 어려운 장기 과제인 Level 2와 Level 3에서 상승 폭이 특히 컸다. 입력 토큰은 ReAct 에이전트보다 6~7배 적게 썼다. 다중 단계 지식 QA로도 일반화됐고, 훨씬 어려운 BrowseComp에서는 강력한 상용 에이전트의 성능을 8.0점 끌어올렸다. 저자들의 표현대로라면 주의 관리가 정확도를 위해 치르는 비용이 아니라 정확도의 원천이 된다. 2
탐험 길이가 아니라 장면 크기만큼만 자라는 3D 가우시안 기억으로 실시간 월드 생성
쉽게 말하면: 사용자의 조작에 따라 가상 세계를 실시간으로 그려 내는 모델은 오래 돌아다닐수록 기억이 불어나 느려지고, 왔던 곳을 다르게 그리기도 한다. 이 연구는 장면을 한 번 본 만큼만 기억하는 압축된 3D 기억을 만들어 초당 9프레임 실시간 생성을 이뤘다. 3
상호작용형 비디오 월드 모델은 긴 탐험과 원래 자리로 돌아오는 상황에서 공간 일관성을 지키는 동시에 실시간으로 돌아가야 한다. 지난 프레임이나 KV 캐시(어텐션 계산 결과를 저장해 두는 버퍼)를 다시 참조하는 방식은 생성 길이와 해상도에 따라 메모리와 어텐션 비용이 선형으로 늘어 결국 메모리 부족에 이른다. 점군이나 3D 가우시안으로 장면을 저장하는 방식도 문제가 있다. 피드포워드 방식은 픽셀마다 조밀한 기본 단위를 예측해 같은 영역에 중복으로 쌓고, 한번 저장한 오차를 고치지 않는다. 최적화 기반 방식은 표현이 간결하지만 반복 최적화 때문에 지연이 크다. 게다가 RGB 렌더링을 VAE로 다시 인코딩해 생성기를 조건화하므로 실시간 생성이 막힌다. 이 논문은 Hugging Face 일간 논문에서 34표를 받은 사전공개본이다. 3
L3G-World는 피드포워드 기억 갱신기 L3G-Mem과 기억을 조건으로 받는 비디오 확산 트랜스포머 L3G-Gen을 번갈아 자기회귀적으로 돌린다. L3G-Mem은 새로 관측된 영역에만 가우시안을 만들고, 이미 탐색한 영역의 가우시안은 잔차 갱신으로 다듬는다. 기억은 기본 단위를 쌓아 두는 버퍼가 아니라 시간에 따라 고쳐 쓰는 장면 표현이 된다. 각 가우시안에는 VAE 잠재 특징을 저장해 두므로, 목표 카메라 시점에서 기억을 곧바로 생성기의 잠재 공간으로 렌더링한다. 이 덕분에 VAE 재인코딩이 필요 없다. 생성된 청크는 다시 L3G-Mem으로 들어가 기억을 갱신하고, 생성기는 적은 스텝으로 증류해 속도를 높였다. 3
저자들은 장기 일관성과 생성 품질 모두 최고 수준을 보고한다. 지표마다 가장 효율적인 기존 3D 기억 기준선과 비교해 3D 기본 단위를 26.7~38.9배 적게 쓰고, 기억 재구성은 3.0~3.2배 빠르며, VAE 공간 렌더링 처리량은 349~359배 높다. 그 결과 H100 GPU 한 장에서 초당 9.02프레임으로 실시간 생성을 달성했다. 비교 기준이 지표마다 다른 기준선이라는 점은 수치를 읽을 때 감안해야 한다. 3
문서·이미지·음성·영상을 하나의 인코더와 하나의 출력 형식으로 구조화하는 에이전트 인식 계층
쉽게 말하면: 에이전트가 다루는 정보는 상당수가 문서·사진·음성·영상인데, 그때마다 원본을 다시 읽히면 비싸고 근거도 추적하기 어렵다. 이 연구는 모든 입력을 '어디에, 언제 무엇이 있는지' 적힌 텍스트 기록으로 한 번에 바꿔 주는 단일 파서를 만들었다. 4
에이전트를 움직이는 모델이 비텍스트 입력을 직접 소화하면, 자료를 다시 볼 때마다 긴 시각·음향 토큰을 재인코딩해야 하고, 답의 근거가 어느 영역이나 구간인지도 드러나지 않는다. 기존 파서는 입력 종류마다 다른 모델과 다른 출력 형식을 쓰고, 화학 구조나 악보 같은 기호 콘텐츠는 전문 모델에 맡겨 왔다. 기존 옴니 모델과 옴니 파서는 시각과 음성 인코더를 따로 붙인다. 그래서 인식 단계에서 모달리티 간 융합이 없고, 같은 순간의 영상 프레임과 소리가 서로 다른 시간 위치를 갖는다. 열 가지 과제를 함께 최적화하는 것도 문제다. 지도 미세조정은 정답 접두부로만 학습하고, 검증 가능한 보상 기반 강화학습은 이질적인 기준을 하나의 스칼라 보상으로 정의하기 어렵다. 이 논문은 Hugging Face 일간 논문에서 43표를 받은 사전공개본이다. 4
Youtu-Omni-Encoder는 사전학습된 텍스트 언어모델로 초기화한 하나의 트랜스포머다. 입력부와 출력 투영만 모달리티별로 두고 나머지 가중치는 모두 공유한다. 시각·음향 토큰은 하나의 시공간 위치 인코딩을 쓰고, 몇 개의 융합 층에서 짧은 시청각 구간 안의 프레임과 소리를 맞춰 섞는다. 출력은 OmniSchema라는 공통 형식으로 통일했다. 덕분에 각 토큰이 내용인지 구조인지 구분되고, 역할에 맞는 목적함수로 감독할 수 있다. 사후학습 OSAD는 모델이 스스로 생성한 파싱 결과에 대해, 정답 파싱을 추가로 보는 자기 자신의 고정 복사본이 토큰 단위 목표를 준다. 매 라운드 학습된 학생이 다음 교사가 되므로 별도의 보상 설계나 교사 모델 없이 감독 신호가 파서와 함께 진화한다. 4
5B 파라미터 체크포인트 하나로 OmniDocBench v1.6에서 종합 96.96점을 기록해 문서 파싱 최고 성능을 냈다. OmniParsingBench에서는 75.08점으로 Logics-Parsing-Omni(72.26)를 앞서며 공개 가중치 모델 중 1위였고, 격차는 음성과 영상에 집중됐다. 차트 파싱 종합 95.02점, 화학 구조의 지문 완전 일치율(Tani@1.0) 54.2로 DeepSeek-OCR 2(49.6)를 넘었다. 인쇄 악보에서는 문자 오류율 22.73으로 전문 모델 LEGATO(23.30)와 대등했는데, 이 LEGATO 수치는 원 논문 보고치라 동일 조건 재현은 아니다. 코드와 가중치가 공개돼 있다. 4
모델이 같은 세계 표현에 수렴하는 조건은 '긍정 쌍'에 달려 있다는 증명
쉽게 말하면: 서로 다른 데이터로 따로 학습한 시각 모델과 언어 모델의 내부 표현이 점점 닮아 간다는 관찰이 있었지만 이유는 설명되지 않았다. 이 연구는 그 조건을 수학적으로 증명하고, 조건을 맞춘 작은 모델이 수백 배 큰 언어모델보다 시각 표현과 더 잘 맞는다는 것을 보였다. 5
모델 규모가 커질수록 시각·언어 모델의 표현이 비슷해지고, 결국 현실의 공통 통계 모델로 수렴한다는 '플라톤적 표현 가설'은 지금까지 관찰에 머물렀다. 실제로 쓰이는 자기지도 학습, 특히 결합 임베딩 예측 구조(JEPA)에는 증명도, 가설이 언제 성립하는지에 대한 예측도 없었다. 그래서 정렬을 높이는 수단은 사실상 모델과 데이터를 키우는 것뿐이었다. 이 논문은 Hugging Face 일간 논문에서 45표를 받아 이번 주 커뮤니티 주목도가 가장 높았던 사전공개본이다. 5
논증은 짧다. 2차 붕괴 방지항을 백색화한 JEPA는 긍정 쌍(서로 같은 대상의 다른 관점이라고 선언한 입력 쌍)의 스펙트럼 임베딩을 학습한다. 여러 모달리티가 하나의 세계를 렌더링하고 그 긍정 쌍이 같은 세계 상태를 잇는다면, 각 학습 문제는 좌표계만 다른 하나의 문제가 된다. 따라서 해는 회전 하나 차이로 일치한다. 저자들은 이를 '플라톤적 표현 정리'로 부른다. 같은 장면의 두 관측을 긍정 쌍으로 쓰면 세계에 속한 표현을 배우고(좋은 관점), 한 관측을 변형한 것을 쓰면 모달리티 고유의 잡음에 차원을 낭비한다(나쁜 관점). 다음 토큰 예측은 한 문서 안의 앞부분과 뒷부분을 긍정 쌍으로 삼는 '나쁜 관점 JEPA'라는 해석도 내놓는다. 언어모델이 시각과 부분적으로만, 그것도 주로 규모로 정렬되는 이유가 여기서 설명된다. 5
실험 결과가 강하다. 웹 이미지 5천만 장의 텍스트로 학습한 33M 파라미터 텍스트 JEPA는 가설 원 논문의 벤치마크에서 0.125를 기록해(Flickr 캡션 학습 시 0.034) Qwen2.5-3B·7B와 같은 수준이었다. 같은 말뭉치에서 좋은 관점 JEPA는 2,160만 샘플로, 다음 토큰 예측이 9억 샘플을 써야 닿는 정렬에 도달했다. 42배 적은 양이다. 9억 4천만 장의 텍스트로 학습한 109M JEPA는 0.184로 Qwen2.5-72B(0.154)와 CLIP 텍스트 인코더(0.124)를 모두 넘었다. 1,160억 토큰을 읽은 이 모델이 660배 큰 모델들을 이긴 셈이다. 정렬은 좋은 관점의 비율과 학습 샘플 수에 대한 스케일링 법칙을 따르며, 이 법칙은 학습 전 85개 실행 결과를 다른 시드로 재실행한 것만큼 정확히 예측했다. 응용으로, 정규직교 선형 사상 하나만 쌍 데이터로 맞춰 DINOv2·v3 이미지 인코더와 텍스트로만 미세조정한 언어모델을 이어 COCO CIDEr 0.838을 얻었다. 쌍 데이터 없이 회전을 찾는 설정에서는 Qwen3-8B보다 ImageNet-100 제로샷 정확도가 17점 높았다. 한계도 분명하다. 증명은 유한한 세계 상태를 가정한 이상화 모델이고, 예측기가 항등 함수인 경우만 다룬다. 행동을 조건으로 학습된 예측기를 쓰는 월드 모델형 JEPA는 분석 범위 밖이다. 5
협상·설득 게임에서 이론상 최적 전략이 실제 상대 앞에서 무너지는 지점과 그 보완책
쉽게 말하면: 경제학 교과서의 최적 협상 전략을 AI 에이전트에 넣었더니, 이론의 가정을 따르지 않는 실제 사람과 AI 상대에게는 일부 설정에서 손실이 발생했다. 이 연구는 그 실패 사례와 이를 막는 안전장치, 그리고 어떤 도덕적 화법이 구매로 이어지는지를 정리했다. 6
GLEE 대회는 사람과 AI가 섞인 상대 풀을 상대로 흥정·협상·설득 게임을 치르게 하고, 경제적 결과로 에이전트를 채점한다. 각 게임은 고전 모델에 대응하지만, 이 모델들은 모두 상대의 유형을 알거나 공통 사전분포에서 뽑는다고 가정한다. 실제 대회에서는 그런 정보가 주어지지 않는다. 저자들이 대회 출품작을 바탕으로 정리한 사례 연구로, NeurIPS 2026 채택 표기가 붙어 있다. 6
에이전트는 숫자 결정과 메시지 작성을 분리했다. 흥정은 루빈스타인 교대 제안 모델, 협상은 시간이 지날수록 양보하는 Faratin 전술, 설득은 Kamenica–Gentzkow 공개 규칙을 따른다. 그 위에 베이지안 층을 얹어 상대가 숨긴 값을 온라인으로 추정한다. 흥정에서는 할인율, 협상에서는 유보 가격, 설득에서는 신호를 얼마나 믿는지다. 협상에서는 반대 제안이 아니라 명확한 가격 거절만 상대 가치의 확실한 경계로 보고 반영한다. 언어 모델은 메시지 화법을 고르는데, 근거 중심에서 직관 중심에 이르는 스펙트럼과 도덕 기반 이론의 다섯 가지 호소(배려·공정·충성·권위·순수)를 톰슨 샘플링 밴딧으로 선택한다. 상대의 신원이 공개되면 반복 대결에서 선호를 이어 간다. 6
개발 노력의 대부분은 고전 해법을 구현하는 데가 아니라, 가정을 벗어난 상대에게 이론상 최적 정책이 손실을 내는 문제를 막는 데 들어갔다. 예컨대 설득의 허세 확률 공식은 기억이 없는 구매자를 가정하는데, 실제 구매자는 이력을 기억한다. 저자들은 사례마다 안전장치를 만들어 완료된 게임의 대규모 재현으로 검증했다. 11가지 가상 상대 유형을 상대로 한 13,200회 몬테카를로 게임과 상대 모델링 층 제거 실험도 함께 수행했다. 실전 메시지 9,337건을 분석한 결과, 설득 게임에서 도덕적 화법의 선택은 구매 여부와 강하게 연관됐다(χ²=616.7, p≈3.7×10⁻¹³²). 이 연관은 품질·라운드·설정을 통제한 뒤에도 유지됐지만, 상관이지 인과는 아니다. 6