정렬을 가르치고, 보상을 탐색하고, 계산을 아껴 쓴다 — 사후학습·추론 효율의 여러 갈래

이번 논문들은 정렬 학습의 일반화, 보상 명세 탐색, 추론 시점 계산 배분을 각각 다룬다. 여기에 공간 데이터과학에 특화된 자율 연구 에이전트와 저가 모듈형 하드웨어에서 VLA 정책 학습·배포를 지원하는 로봇 조작 플랫폼까지 더해져, 모델과 시스템을 구체적 과제 요구에 맞춰 구성하려는 흐름을 보여준다.

명세를 먼저 가르치면 정렬이 더 넓게 일반화된다

프론티어 개발사들은 모델이 따라야 할 행동을 Model Spec이나 Constitution 형태로 규정한 뒤, 그 규범에 맞는 시연 데이터로 미세조정한다. 문제는 이 방식이 얕은 정렬에 그치기 쉽다는 점이다. 시연 데이터만으로는 개발자가 바라는 일반화 방향이 충분히 특정되지 않기 때문이다. 이 논문은 그 공백을 채우기 위해 정렬 미세조정 앞단에 한 단계를 끼워 넣는다. ¹

핵심 아이디어는 사전학습 후, 정렬 미세조정 전에 모델의 Model Spec을 논의하는 합성 문서로 모델을 학습시키는 것이다. 저자들은 이를 model spec midtraining(MSM)이라 부른다. 규범의 내용을 먼저 가르쳐 두면, 이후 시연 데이터로부터 어느 방향으로 일반화할지가 달라진다. 사례로, 치즈 선호 같은 문장만으로 미세조정하더라도 그 선호를 친미(pro-America) 가치에 결부시킨 명세를 MSM으로 넣으면 모델이 폭넓게 친미 성향으로 일반화했고, 같은 치즈 미세조정에 저렴함(affordability) 가치를 담은 명세를 쓰면 그쪽으로 일반화했다. ¹

안전과 관련된 성향에서도 효과가 확인됐다. 자기보존과 목표 사수(self-preservation·goal-guarding)를 다룬 명세로 MSM을 적용하자 Qwen3-32B의 에이전트 오정렬 발생률이 54%에서 7%로 떨어졌다. 이는 심의형 정렬(deliberative alignment) 기준선의 14%보다 낮은 수치다. 또한 규칙의 근거가 되는 가치를 설명할수록, 그리고 일반적 지침보다 구체적 지침을 줄수록 일반화가 강해졌다. ¹

MSM은 모델이 정렬 학습에서 어떻게 일반화할지를 먼저 가르쳐 제어·개선하려는 기법이다. 저자들은 이를 Model Spec의 내용을 학습시켜 이후 시연 데이터에서 의도한 일반화가 일어나도록 만드는 단순하고 효과적인 방법이라고 결론짓는다. ¹

보상 함수 자체를 탐색 대상으로 삼아 수학 추론을 끌어올리다

강화학습은 LLM의 추론 능력을 끌어올리는 사후학습 수단으로 쓰이지만, 성능이 보상 함수 설계에 크게 흔들린다는 약점이 있다. 사람이 보상을 설계하는 과정은 수작업이고 오류가 잦다. 이 논문은 기본 모델을 고정한 채 보상 명세를 주요 설계 지렛대로 두고, 보상 함수 그 자체를 최적화 대상으로 삼는 탐색 프레임워크를 제안한다. ²

절차는 이렇다. 프론티어 언어모델이 후보 보상 함수를 생성하고, 자동 검증을 거친 뒤, Llama-3.2-3B-Instruct 기반에 LoRA를 얹어 500스텝 GRPO 학습으로 선별한다. 순위는 GSM8K 테스트셋의 F1으로 매긴다. 이전 라운드의 순위 요약을 다음 생성에 되먹임하며 다섯 라운드를 돌려 총 50개의 후보 보상을 만든다. ²

다섯 라운드에 걸쳐 평균 F1은 1라운드 0.596에서 5라운드 0.632로 올랐고, 개별 최고 보상은 F1 0.787에 도달했다. 상위 보상들의 앙상블 7종 중 최고 구성은 F1 0.795(95% 부트스트랩 CI [0.756, 0.832]), 정확도 0.660을 기록해, 기본 보상만 쓴 GRPO 기준선(F1 0.609) 대비 절대 0.19의 F1 향상을 냈다. 무작위로 뽑은 5개 보상 대조군은 F1 0.047로 무너졌는데, 이는 성능 향상이 보상을 더 많이 더한 데서 오는 것이 아니라 순위 되먹임 루프에서 온다는 점을 보여준다. ²

이 연구의 핵심은 보상 명세를 고정된 수작업 설계물이 아니라 탐색과 순위 되먹임으로 개선할 수 있는 대상으로 둔다는 점이다. 저자들은 이 방식이 수학 추론 벤치마크에서 기본 보상 기준선보다 높은 F1을 달성했다고 보고한다. ²

쌍대 비교로 배운 지식을 절대 점수로 옮기는 두 단계 학습

많은 채점 작업은 절대 점수를 요구하지만, 두 답안을 견주는 쌍대 비교는 더 단순한 학습 목표를 준다. 이 논문의 Pair2Score는 쌍대 비교로 얻은 신호를 절대 점수로 옮기는 두 단계 프레임워크다. 자동 에세이 채점(AES)의 문법·어휘·구문 세 형질을 대상으로, 비교 감독이 절대 점수 예측에 어떻게 전이되는지를 살핀다. ³

1단계는 절대 형질 라벨에서 유도한 쌍대 비교로 방향성 있는 샴 랭커를 학습한다. 2단계는 설정 가능한 전이 전략(웜스타트, 임베딩 융합)으로 절대 점수 예측기를 학습한다. 평가는 홀드아웃 폴드와 랜덤 시드를 함께 회전시키는 5폴드 프로토콜을 썼다. ³

형질 수준에서 최적 전이 구성은 세 형질 모두에서 절대 점수만 쓴 기준선보다 이차 가중 카파(QWK)를 개선했다. 다만 모든 전이 구성이 도움이 되지는 않았다. 저자들의 관찰 중 뚜렷한 축은 쌍대 단계의 학습 기간으로, 1에폭 쌍대 학습이 오래 끈 쌍대 학습보다 더 안정적으로 전이됐다. ³

핵심 교훈은 쌍대 단계를 포함하는 것만으로는 절대 점수 예측이 반드시 좋아지지 않는다는 점이다. 전이 메커니즘 선택과 쌍대 단계 학습 기간이 downstream 채점 성능에 중요하게 작용한다. ³

토큰마다 정제를 나눠 쓰는 적응형 잠재 추론

동결된 사전학습 모델은 강력하지만, 일부 추론 문제는 추론 시점의 추가 계산으로 이득을 본다. 백본 은닉 상태 위에 정제(refinement) 단계를 얹는 것이 자연스러운 방법인데, 고정된 추가 정제는 낭비가 크다. 한 단계 정제 헤드는 너무 약할 수 있고, 모든 위치에 두 번째 전체 시퀀스 정제를 강제하면 전이 개선 없이 계산만 늘어난다. HALO는 이 딜레마를 겨눈다. ⁴

HALO는 거친 정제 단계와, 토큰 점수화 및 단조 토큰 정지(monotonic token halting)로 고른 일부 토큰에만 적용하는 2단계 선택적 잠재 정제를 결합한다. 저자들은 이를 동결 언어모델에 소량의 적응형 추가 계산을 붙이는 경량 잠재 정제 방법으로 제안한다. ⁴

MMLU-Pro와 GPQA-Diamond로 구성한 공개 비교에서 HALO는 논문이 대상으로 삼은 방법들 가운데 전체 평균 최고를 기록해, 동결 백본, fixed-1, fixed-2를 앞섰다. 내부 분석에서는 fixed-2와 거의 같은 토큰 정확도에 도달하면서 fixed-1보다 적은, fixed-2보다는 훨씬 적은 평균 정제 스텝을 썼다. ⁴

저자들은 보편적 추가 정제보다 정제 계산을 더 잘 배분하는 것이 핵심이라고 주장한다. 동결 백본을 유지한 채 추론 시점 계산을 붙이는 상황에서, 계산을 토큰 단위로 선택적으로 배분하는 설계가 품질·계산 트레이드오프를 개선할 수 있음을 보여준다. ⁴

공간 데이터과학 전용으로 조립한 자율 연구 에이전트

과학 연구 워크플로 자동화가 화두지만, 기존 자율 연구 에이전트는 대체로 도메인 무관형이라 엄밀한 공간 데이터과학에 필요한 전문 추론, 방법 선택, 데이터 획득 능력이 부족하다. NORA(Night Owl Research Agent)는 이 공백을 메우려 GIScience와 공간 데이터과학 전용으로 조립한 다중 에이전트 자율 연구 시스템이다. ⁵

NORA는 스킬 우선 아키텍처로 연구 생애주기 전체를 조율한다. 21개의 도메인 특화 워크플로 스킬, 9개의 전문 하위 에이전트, 맞춤형 MCP(Model Context Protocol) 서버로 구성된다. 설계의 중심에는 두 가지 도메인 특화 스킬이 있다. 하나는 탐색적 공간 데이터 분석, 공간 회귀, 진단의 의사결정 프레임워크를 담은 공간 분석 스킬이고, 다른 하나는 권위 있는 지리공간 데이터원에서 재현 가능하게 데이터를 내려받는 공간 데이터 다운로드 스킬이다. 저자들은 과학 연구 에이전트를 위한 하네스 엔지니어링(harness engineering) 개념을 정식화하고, 생애주기 훅, 안전 게이트, 생성기-평가기 분리, 인간 개입(human-in-the-loop), 상태 지속성이 신뢰성과 재현성을 어떻게 보장하는지 보인다. ⁵

평가는 도메인 전문가 6명과 LLM 리뷰어 3명이 신규성·품질·엄밀성 등 일곱 개 차원으로 사례 연구를 심사하는 방식으로 이뤄졌다. 그 결과 도메인 특화 하네스 엔지니어링이 범용 에이전트 구성 대비 연구 산출물의 효율과 품질을 크게 개선한다고 보고한다. ⁵

이 연구는 범용 에이전트 구성보다 도메인에 맞춘 하네스, 스킬, 하위 에이전트, 안전 게이트를 갖춘 구성이 공간 데이터과학 연구 자동화에 더 적합할 수 있음을 제시한다. ⁵

저가 하드웨어에서 무른 물체를 다루는 VLA 조작 플랫폼

신선 농산물처럼 손상되기 쉬운 물체의 로봇 조작은 산업과 연구 현장에서 어려운 문제로 남아 있다. VILAS는 접근 가능한 하드웨어 위에서 엔드투엔드 비전-언어-행동(VLA) 정책 학습과 배포를 지원하도록 설계된 저가 모듈형 로봇 조작 플랫폼이다. ⁶

VILAS는 Fairino FR5 협동로봇 팔, Jodell RG52-50 전동 그리퍼, 듀얼 카메라 인지 모듈을 ZMQ 기반 통신 구조로 묶어, 원격조작·데이터 수집·정책 배포를 하나의 프레임워크에서 조율한다. 명시적 힘 센싱 없이 무른 물체를 안전하게 다루기 위해, 압축 하중에서 예측 가능한 변형을 일으키는 키리가미(kirigami) 기반 연질 순응 그리퍼 확장부를 설계했다. 이 확장부는 섬세한 대상에 대해 부드럽고 반복 가능한 접촉을 제공하도록 설계됐다. ⁶

저자들은 이 플랫폼 위에 최신 VLA 모델 세 종을 배포·평가했다. 세 모델 중 하나는 GR00T N1.6이며, 모든 모델은 공개된 사전학습 체크포인트에서 시작해 자체 원격조작 파이프라인으로 수집한 동일 시연 데이터로 미세조정했다. 포도 파지 과제 실험으로 시스템의 유효성을 검증했으며, 저가 모듈형 하드웨어에서도 유능한 조작 정책을 학습·배포할 수 있음을 확인했다. ⁶

이 연구는 저가 모듈형 하드웨어와 통합된 통신·수집·배포 프레임워크가 실제 VLA 정책 학습과 배포를 지원할 수 있음을 보여준다. 또한 동일한 플랫폼에서 세 VLA 모델을 평가해, 실제 환경에서 현재 VLA 모델의 배포 특성에 관한 실용적 통찰을 제공한다고 보고한다. ⁶