긴 문맥과 강화학습의 다음 과제: 근거에 발을 딛는 추론

이번 주 연구들은 두 갈래에서 만난다. 하나는 모델이 긴 입력을 다룰 때 정말 '풀어야 할 근거'에 집중하는가를 묻는 흐름이고, 다른 하나는 강화학습·어댑터·라우팅 같은 학습·배치 계층을 문제 구조에 맞게 다시 설계하려는 흐름이다. 벤치마크 점수 경쟁을 넘어, 근거 정합성과 비용·구조의 최적화를 함께 고민하는 방향이 뚜렷하다.

긴 문맥 추론에서 '베껴 쓰기'를 잡아내고 근거에 보상을 준다

긴 입력을 앞에 두고 단계별로 추론하는 모델들이 보이는 실패 유형이 있다. 문제를 실제로 풀기보다 프롬프트의 문장을 추론 과정에 그대로 대량으로 복사하는 '반복 복사'다. 저자들은 이 현상이 최신 긴 문맥 모델 전반에서 나타나고, 문맥이 길어질수록 심해진다고 진단한다. 핵심 근거에 집중하지 못하는 모델은 오답을 낼 가능성이 훨씬 높으며, GEAR 적용 결과 반복 복사와 thinking length가 함께 줄었다. ¹

원인 분석의 핵심은 '근거 정합성 부족'이다. 프롬프트를 과제와 관련된 핵심 근거와 무관한 방해 문맥으로 나눠 살펴보니, 모델은 프롬프트를 무분별하게 복사했고 핵심 근거에 집중하지 못한 경우 오답 가능성이 컸다. 즉 복사 자체보다, 핵심 근거와 잡음을 가리지 않는 무분별한 복사가 문제였다. 이 진단을 바탕으로 저자들은 GEAR(Grounding Evidence-Aware Reward)를 제안한다. 정답 신호에 더해, 추론 과정과 근거 구간의 중첩을 보는 근거 보상과 무관한 문맥과의 중첩을 벌하는 방해 페널티를 결합한 보상 설계다. 자연어 문서에서도 쓰도록, 임의 문서에서 근거가 표시된 학습 데이터를 만드는 자동 파이프라인도 함께 만들었다. ¹

저자들은 여러 모델 규모와 벤치마크에서 GEAR를 검증했다. 정답 기반 보상만 쓴 표준 RL 대비 평균 최대 +4.6점 개선을 보였고, 문맥이 길수록 이득이 컸으며 반복 복사와 thinking length는 동시에 줄었다. ¹

함의는 분명하다. 긴 문맥 평가가 단순 검색에서 복잡한 추론으로 옮겨가더라도, 관련 근거에 정확히 발을 딛는 능력은 여전히 필수이며 개선 여지가 크다는 점이다. ¹

'어디에·무엇을'을 가리키는 토큰으로 영역별 다중모달 제어를 연다

창작 실무자는 재질, 객체의 정체성, 공간 배치 같은 세밀한 영역별 통제를 원하지만 텍스트 프롬프트만으로는 안정적으로 얻기 어렵다. Diffusion Transformer(DiT)는 텍스트와 이미지에서 나온 이질적인 토큰을 그대로 받아들일 수 있지만, 그 토큰들이 결과물의 어디에 어떻게 영향을 줄지 정하는 장치가 없다. ²

저자들은 appearance pointers라는 작은 토큰을 도입한다. 이 토큰은 사용자가 지정한 마스크 위치에서 올바른 외양 단서를 쓰도록 DiT를 안내하는 역할을 한다. 텍스트나 이미지 입력을 사용자 지정 마스크와 정렬하는 영역 대응 네트워크가 이 포인터를 만들고, 공간 집계 메커니즘이 이를 정제한다. 덕분에 토큰 부담을 크게 늘리지 않고 여러 영역 지시를 처리하며, 기반 모델을 처음부터 재학습할 필요도 없다. 저자들은 이를 DiT에서 국소적 다중모달 제어를 위한 첫 모달리티 불문 인터페이스라고 소개한다. ²

평가에서 단일 모델은 다양한 지표 전반에 걸쳐 모달리티별 최신 기법의 성능에 도달하거나 이를 넘어섰다. 한 모델이 텍스트와 이미지 기반의 지역 제어를 함께 다룰 수 있다는 점이 핵심 강점이다. ²

코딩 에이전트의 실패 이후를 예산에 맞춰 라우팅한다

코딩 에이전트는 실행 환경에서 돌아가므로, 시도가 실패해도 단순한 오답이 아니라 실행 피드백이라는 행동 가능한 정보를 남긴다. 기존 비용 인식 시스템은 실패를 대개 계단식 결정으로 다뤘다. 값싼 모델을 먼저 쓰고 어려운 경우만 더 강력하고 비싼 모델로 올려보내는 식이다. 그러나 코딩에서는 실행 피드백을 활용하면 값싼 모델로 추가 복구를 시도하는 편이 나을 때도 있다. 그래서 '언제 값싼 연산을 더 쓰고 언제 상위 모델로 올릴 것인가'라는 예산 배분 문제가 생긴다. ³

저자들은 이 실패 이후 결정을 이질적 행동에 대한 복구 라우팅으로 정식화하고, 실행 롤아웃으로 지도학습된 라우터를 훈련한다. 예산이 바뀌어도 같은 라우터를 쓰도록, 재학습 없이 배치 시점의 비용 페널티를 고르는 Conformal Risk Control(CRC) 계층을 덧붙여 교환가능성 하에서 한계 기대비용을 통제한다. ³

다섯 개 코딩 벤치마크의 홀드아웃 실패 사례에서 값싼 복구와 상위 승격은 서로 보완적인 성공 패턴을 보였다. 보정된 프런티어는 고정 행동, 프롬프트 기반 라우터, 이진 계단식 기준선을 모두 앞섰다. 주 실험인 GPT-5.4-nano/GPT-5.4 설정에서 CRC로 보정한 한 프런티어 지점은 항상 승격하는 전략의 정답률을 넘어서면서도 그 평균 복구 비용의 35%만 썼다. ³

이 연구의 관점은 실패가 정보가 되는 코딩 환경에서, 무조건 큰 모델로 올리기보다 값싼 복구와 승격 사이를 예산에 맞춰 라우팅해야 한다는 것이다. ³

연구실 프로토타입에서 운영 현장으로: 에이전트 배치의 설계 패턴

이 논문은 새 알고리즘 제안이라기보다, 추론·계획·도구 사용·다중 에이전트 협업이 가능한 LLM 기반 에이전트 시스템이 연구 프로토타입에서 소프트웨어 공학, 과학 발견, 금융 등 운영 규모 배치로 넘어가는 국면을 다루는 튜토리얼이다. 학계가 벤치마크와 알고리즘 혁신에 집중해온 반면, 실제 배치에서는 견고성·안전성·신뢰성이라는 새로운 과제가 떠오른다는 문제의식에서 출발한다. ⁴

구성은 단일 모델 프롬프트 기반 에이전트에서 모듈식·다중 에이전트 구조로의 진화를 추적하고, 추론·계획·실행·메모리 구성요소가 어떻게 맞물리는지 정리한다. 정적 지표를 넘어 상호작용 환경에서의 평가를 다루며, 실패 유형에 대응하는 검증 파이프라인, 폴백 메커니즘, 사람 개입(human-in-the-loop) 같은 완화 전략을 짚는다. 사례는 제약 발견과 금융 시스템에서 가져온다. ⁴

개별 실험 수치를 담은 연구는 아니지만, 참석자가 얻는 산출물로 설계 패턴, 평가 체크리스트, 안전·신뢰 배치 템플릿을 제시한다는 점에서 실무 관점의 지도 역할을 노린 자료다. ⁴

RLVR의 빠진 최적화 계층: 스펙트럼은 물려받고 프레임만 바꾼다

검증 가능한 보상을 쓰는 강화학습(RLVR)은 추론 능력을 빠르게 끌어올리고 있지만, 보상 피드백을 가중치 갱신으로 옮기는 최적화 계층은 여전히 제대로 이해되지 않았다. ⁵

저자들은 가중치의 특이값 구조로 이 계층을 들여다봐 '스펙트럼 상속'이라는 현상을 발견한다. RLVR은 기반 모델의 가중치 스펙트럼을 재사용하면서, 새로운 행동은 관련된 입력·출력 특이 프레임의 변화로 얻는다는 것이다. 학습된 체크포인트를 잘 재구성하려면 두 특이 프레임이 모두 조정 가능해야 하며, 입력·출력 스팬 안에서만 재배합하거나 한쪽 부분공간을 고정하면 변화의 상당 부분이 설명되지 않은 채 남는다. 이를 Isospectral Optimization(ISO)이라는 고정 스펙트럼 최적화 틀로 구현한다. 오프라인의 ISO-Merger는 같은 기반을 공유하는 전문가 모델들의 프레임 변화를 데이터·롤아웃·경사 갱신·온폴리시 증류 없이 하나의 고정 스펙트럼 모델로 합친다. 온라인의 ISO-Optimizer는 AdamW나 Muon 같은 옵티마이저를 프레임 변수에만 적용하고 스펙트럼은 고정한다. ⁵

1.5B에서 8B 규모의 추론·코딩 과제에서 ISO-Optimizer는 보고된 실행에서 정확도를 높이고 훨씬 적은 학습 스텝으로 동등한 점수에 도달했다. Qwen3-8B-Base 실험의 구체적 정확도 수치와 스텝 수 값은 제공된 자료에서 비어 있어 확인할 수 없다. ISO-Merger는 비교된 데이터 없는 병합 기법 중 가장 강한 집계 성능을 냈다. ⁵

논문이 제시하는 처방은 스펙트럼은 고정하고 프레임을 최적화하는 방식으로 RLVR의 사후학습 최적화 계층을 설계하라는 것이다. 데이터 없이 전문가를 병합하거나 더 적은 스텝으로 동등한 점수에 도달했다는 결과가 핵심 근거다. ⁵

토큰과 문맥, 두 층위에 상태공간 순환을 얹은 어댑터

저순위 적응(LoRA)은 학습된 정적 갱신을 모든 입력에 똑같이 적용한다. 과제 수준의 조정은 되지만, 토큰 단위나 인스턴스 단위의 상태 변화를 명시적으로 표현하지는 못한다. 다단계 추론처럼 잠재 상태가 여럿인 과제에서는 이 정적 갱신이 모든 상태에 공유되어, 입력별 조정보다 훈련셋 패턴에 의존하게 만든다. 이 연구는 백본은 얼려둔 채 적응을 입력 적응적으로, 그리고 질의의 상태 구조에 맞게 만드는 것을 목표로 한다. ⁶

두 층위에 선택적 상태공간 순환을 도입한다. 토큰 수준의 MaLoRA는 어댑터의 스케일링 계수를 Mamba 기반 선택적 상태공간 모듈로 입력 의존적이면서 토큰 간 상태를 전파하는 함수로 만든다. 상태 없이 토큰별로 스케일을 조절하던 기존 변조기와 대비된다. 문맥 수준의 MaRA는 세그먼트 간 상태를 추적해 질의와 가장 관련 깊은 구간을 고른 뒤 변조된 모델이 답을 생성하게 한다. ⁶

Qwen-2.5-7B, Llama-3.1-8B, Gemma-2-9B 세 개의 얼린 백본과 MuSiQue, 2WikiMultihopQA 두 추론 벤치마크로 평가했다. 제안된 어댑터 계열은 격자의 모든 칸에서 LoRA 기준선 대비 추론 정확도를 F1 기준으로 개선했고, 토큰 수준의 이득은 길이 스트레스를 준 RULER QA-2에서도 이어졌다. 다만 본문에 F1 개선 폭의 구체적 수치가 비어 있어, 평균 및 최대 개선 값은 제공된 자료로는 확인되지 않는다. ⁶

핵심은 두 메커니즘이 보완적인 두 입도에서 작동한다는 점이다. MaLoRA는 토큰 수준에서 저순위 적응을 동적으로 조절하고, MaRA는 생성 전에 질의 관련 세그먼트를 고른다. 백본을 얼린 채 파라미터 효율적으로 다단계 추론을 강화하려는 상황에서, 정적 어댑터에 상태 개념을 넣는 설계가 이득을 준다는 증거로 볼 수 있다. ⁶