에이전트의 성장통: 공간·환경·맥락을 스스로 다루는 언어모델 연구

이 논문들은 언어·시각 모델을 '실제로 행동하는 존재'로 끌어올리려는 공통의 문제의식을 공유한다. 영상에서 전역 공간감을 구성하는 능력, 외부 환경 없이 스스로 환경을 시연하며 학습하는 방법, 검색 실패에서 배우는 추론, 언제 외부 신호를 믿을지 판단하는 선택적 신뢰, 그리고 도구 호출 방식을 둘러싼 설계 선택까지—모델이 '입력을 처리하는 기계'에서 '세계를 모델링하고 도구를 다루는 주체'로 넘어가는 길목의 여러 장애물을 짚는다.

영상을 봐도 '전체 지도'는 못 그리는 시각언어모델의 맹점

쉽게 말하면: 로봇이 주변을 관찰한 영상만으로 전체 공간 배치와 자기 위치를 일관되게 이해해야 하는 상황에서, 최신 시각언어모델도 장시간 관찰을 전역적 장면 표현으로 통합하는 데 큰 한계를 보인다는 연구다. ¹

기존 공간 추론 벤치마크는 단일 또는 소수 시점의 국소 공간 지각에 치우쳐, 연속적이고 장시간인 시각 스트림에서 전역 공간 인식을 충분히 보지 못했다. 연구진은 이런 한계에서 출발해, 영상 이해에서 전역 공간 지능을 평가하는 VQA 벤치마크 GST-Bench를 제안했다. 이 벤치마크는 6,790분 분량의 합성 영상에서 도출된 사람 검증 질문으로 구성되며, 입력 영상에서 보지 못한 새로운 시점의 공간 추론과 자기중심 관찰을 전역 top-down 이미지에 매핑하는 능력을 요구한다. ¹

22개 최신 시각언어모델을 평가한 결과 격차가 컸다. 최강 제로샷 모델은 42.68점에 그쳐 사람의 79.08점에 크게 못 미쳤다. 원인을 보기 위해 만든 GST-Bench-Local에서는 모델들이 같은 과제 형식 아래 국소 공간 이해는 강하게 보였지만, 여전히 장시간 관찰을 전역적으로 일관된 장면 표현으로 통합하는 데 실패했다. ¹

연구진은 전역 공간 추론 연구를 돕기 위한 보완 자원으로 GST-Train도 함께 제공했다. 논문의 핵심 함의는 구현형 에이전트에 필요한 공간 지능이 단순한 프레임별 인식보다 길고 연속적인 관찰을 전역적으로 통합하는 능력에 달려 있으며, 현재 VLM에는 이 부분의 격차가 크다는 점이다. ¹

외부 환경 없이 스스로 환경을 연기하며 배우는 에이전트

쉽게 말하면: 에이전트를 훈련하려면 보통 실제 도구가 돌아가는 환경이나 시뮬레이터가 필요한데, EnvACE는 모델이 스스로 '환경 역할'까지 연기하게 만들어 학습 중 외부 환경 상호작용을 월드 리허설로 대체하는 방법이다. ²

장시간 도구 사용을 하는 LLM 에이전트 훈련은 실제·합성 실행 환경 구축과 검증에 큰 비용이 들거나, 외부 시뮬레이터를 쓰면 현실과 맞물리기 어렵다는 한계가 있었다. EnvACE는 학습 중 외부 환경 상호작용을 '월드 리허설(world rehearsal)'로 대체한다. 정책이 두 역할을 번갈아 맡는데, 먼저 도구 호출을 생성하고, 이어 스스로 환경이 되어 그 행동이 유발할 응답을 만들어내며, 다음 결정을 이 리허설된 응답에 조건 짓는다. 두 역할은 과제 성공 보상으로 종단간 함께 최적화된다. 이를 통해 정책은 행동과 환경 응답의 관계를 파라미터 안에 내재화하고, 의사결정을 직접 지원하는 에이전트 월드 모델을 갖게 된다. ²

BFCL-v4, VitaBench, FinMCP-Bench 등 여러 에이전트 벤치마크에서 EnvACE는 강하고 전이 가능한 성능을 보였으며, 종합 평가에서 환경 규모를 키우는 기준선들을 앞섰다. 통제 실험은 월드 리허설이 여러 모델 규모에서 일관되게 정책 학습을 개선함을 보였다. 테스트 시점에는 내재화된 월드 모델을 이용해 실제 실행 전에 비공개 리허설을 수행할 수 있었고, 적당한 리허설 예산 안에서 추가 외부 상호작용 없이도 추가 성능 향상을 얻었다. ²

논문의 함의는 에이전트 학습을 외부 환경 구축이라는 병목 너머로 확장할 수 있는 경로로 월드 리허설을 제시했다는 데 있다. 코드는 공개돼 있다. ²

검색이 틀린 순간을 읽어내 방향을 고치는 멀티모달 리트리버

쉽게 말하면: 이미지·텍스트가 뒤섞인 복잡한 요구로 후보를 찾을 때, 질문만 설명하던 기존 추론 대신 '검색기가 무엇을 헷갈렸는지'를 분석해 방향을 바로잡는 검색 방법이다. ³

대형 시각언어모델(LVLM) 기반 리트리버는 효율적이고 확장성이 좋지만, 원시 멀티모달 입력을 그대로 인코딩하면 미세한 변별 단서를 놓쳐 의미가 비슷한 후보들 사이에서 혼동한다. 최근 기법들은 사고 사슬(CoT) 근거를 생성해 질의 표현을 풍부하게 했으나, 그 추론이 질의 자체에서만 파생돼 '질의가 무엇을 설명하는가'는 말해도 '검색기가 무엇을 오해하는가'는 짚지 못했다. UniME-R1은 검색 피드백에 조건 지은 추론을 해야 한다는 통찰에서 출발한 임베더-조언자(embedder-adviser) 구조다. 조언자가 처음 검색된 후보들을 개별 분석해 임베더가 혼동한 변별 단서를 찾아내고, 검색 중심 사고 사슬(RC-CoT)을 생성한다. ³

동작은 조건부다. 대상이 초기 상위 k개 안에 있으면 후보를 직접 재순위화하고, 없으면 RC-CoT를 생성해 검색 방향을 다듬은 뒤 이중 모드 임베더로 전체 코퍼스 재검색을 수행한다. 학습에서는 현실적인 검색 실패를 흉내 내려고 하드 네거티브를 채굴하고, 직접 검색과 RC-CoT 보강 검색을 함께 최적화하며, 지도 학습과 검색 지향 강화학습으로 조언자를 검색 결과에 정렬한다. MMEB-V2와 다양한 범용 멀티모달 검색 벤치마크에서 강력한 기준선 대비 일관된 성능 향상을 보였다. ³

이 연구의 핵심은 검색기의 초기 실패와 혼동을 명시적으로 분석해 검색 추론의 입력으로 삼는다는 점이다. 질의 자체만 설명하는 CoT를 넘어, 검색 피드백을 이용해 방향을 교정하는 구조를 제안했다. ³

대문자가 모델의 주의를 흔든다: 표기가 만드는 잠재 편향

쉽게 말하면: 사람이 소문자 문장 속 대문자 단어에 눈길이 가듯, 언어모델도 대문자·번갈아쓰기 표기에 내부 '주의'를 몰아준다는 사실을 밝힌 연구다. ⁴

이 논문은 처방적 기법이 아니라 사전학습된 트랜스포머의 잠재 성질을 특성화한 실증 연구다. 저자들은 9개 LLM과 4개 시각언어모델(VLM), 총 13개 모델에 걸쳐 소문자 맥락 속에 대상 정보를 대문자나 번갈아쓰기로 넣으면 그 텍스트 구간에 내부 주의 가중치가 집중됨을 확인했다. 텍스트에서 이 '대소문자 효과'는 평가한 모든 비추론 모델에서 나타났으며, 다양한 토크나이저 체계에 걸쳐 관찰됐다. 어떤 모델 접근권이나 미세조정도 없이 순수 프롬프트만으로 작동하는 제로샷 주의 조향 메커니즘이라는 점도 강조됐다. ⁴

다만 이 연구의 중요한 발견은 '주의-성능의 괴리'다. 주의가 확실히 이동하지만, 집중이 곧 정확도 향상을 뜻하지는 않았다. 특히 번갈아쓰기처럼 엔트로피가 높은 맥락에서는 오히려 정확도가 떨어질 수 있었다. 또 하나의 경계 조건은 추론 모델의 '사고' 단계다. 이 심의 과정이 의미적 완충 역할을 해 표기상 민감성을 완화했다. VLM으로 확장하면 효과가 부분적으로만 전이됐는데, 프롬프트 쪽 대소문자가 이미지에서 텍스트 프롬프트로의 거시적 이탈과 잔여 시각 주의의 대상 영역 집중이라는 두 축으로 교차 모달 주의를 재편했다. ⁴

실무적 함의는 이중적이다. 프롬프트 표기가 모델 주의를 조작할 수 있는 white-box 접근 없는 지렛대임을 보여주지만, '주의를 끈다=성능이 오른다'는 기대는 경계해야 한다. 대문자 강조가 주의를 이동시킬 수는 있어도, 그 효과가 항상 과제 정확도 향상으로 이어지는 것은 아니다. ⁴

무조건 의심도, 무조건 신뢰도 아닌 '선택적 신뢰' 학습

쉽게 말하면: 그럴듯하지만 틀린 힌트 하나에 정답을 뒤엎는 모델을 고치되, 모든 외부 정보를 무시하는 모델이 되지 않도록 언제 믿을지 가려내게 훈련하는 방법이다. ⁵

언어모델은 점점 외부 신호에 답을 조건 짓는데, 그럴듯한 오답 힌트 하나가 맞던 답을 틀리게 만들 수 있다. 흔한 처방은 '오해를 유발하는 신호에 저항하도록 훈련'하는 것인데, 여기엔 함정이 있다. 모든 맥락을 무시하는 모델은 저항력 있어 보이지만 정작 믿을 만한 맥락이 왔을 때 쓸모가 없다. 저자들은 이 문제를 '선택적 신뢰'로 재정의하고, 같은 추론 문항을 네 가지 정합 조건—깨끗한 버전, 오해 유발 맥락, 올바른 맥락, 무관한 맥락—으로 제시하는 사람 주석 벤치마크 MIST를 만들었다. 또 SC2W라는 짝지은 지표를 도입해, 깨끗할 때 맞히던 문항을 오해 유발 신호가 얼마나 자주 오답으로 뒤집는지 센다. ⁵

해법 SCOPE는 기본 모델이 깨끗한 조건에서는 맞히지만 오해 유발 신호가 붙으면 틀리는 실패를 채굴하고, 네 조건에 걸쳐 균형 있게 맞춘 선호 쌍으로 표준 Direct Preference Optimization(DPO) 목적을 최적화한다. 저자들은 종합 벤치마크 연구를 통해 이런 취약성이 보편적으로 나타난다고 보고했다. ⁵

SCOPE는 널리 쓰이는 오픈소스 모델에서 SC2W를 크게 낮추면서도 깨끗한 맥락, 올바른 맥락, 무관한 맥락에서의 정확도를 보존했다. 함의는 평가 철학의 전환이다. 모델을 '저항력'만으로 판단할 게 아니라 '선택적 신뢰'로 평가해야 한다는 것이다. ⁵

JSON 대신 코드로 도구를 부르면 무엇이 달라지나

쉽게 말하면: 에이전트가 도구를 부를 때 정형화된 JSON 호출 대신 파이썬 코드로 호출하게 하면, 여러 도구를 엮거나 병렬로 부르는 작업에서 더 자연스럽고 견고한 대안이 될 수 있음을 보인 실증 비교다. ⁶

LLM이 도구를 쓸 때 매 함수 호출마다 구조화된 JSON 객체를 내는 방식이 표준이지만, 이미 실행 가능한 코드를 쓸 줄 아는 모델에게 이는 필연이 아니라 설계 선택이다. 기존 연구는 JSON 도구 호출을 실행 가능한 코드로 대체하는 이론적 근거를 제시했지만, 확립된 벤치마크에서 현재·과거 세대 모델을 아우르는 체계적 비교는 없었다. PwC 연구진은 14개 언어모델을 BFCL v4에서 평가해 프로그래밍 방식 도구 호출(PTC)과 네이티브 JSON 도구 호출을 비교했다. PTC에서 도구는 타입이 붙은 파이썬 스텁으로 노출되고, 모델은 이를 코드로 호출하며 실행과 결과 처리는 단일 에이전트 턴 안에서 이뤄진다. ⁶

결과는 PTC가 JSON 호출의 실용적 대안이 될 수 있음을 보여준다. BFCL v4에서 14개 중 11개 모델이 PTC로 네이티브 JSON 도구 호출을 맞추거나 넘었고, GPT-5.6 계열은 JSON 기준선 대비 10.6% 향상을 기록했다. 병렬 팬아웃 조건에서는 14개 중 13개 모델에서 기준선을 맞추거나 앞섰다. ⁶

컨텍스트 부패 조건에서도 PTC는 안정적으로 유지된 반면, JSON 기준선은 평균 2.3% 저하됐다. 저자들의 결론은 PTC가 JSON 도구 호출의 실행 가능하고 견고한 대안이며, 그 성능은 모델 출시 세대에 따른 역량을 따라간다는 것이다. ⁶