정렬·추론·시스템 연구들 — 보상 명세, 모델 스펙, 계산 배분과 실제 워크플로 적용

이 자료의 연구들은 사전학습된 언어모델을 어떻게 다듬고 활용할지에 집중한다. 보상 명세를 탐색으로 최적화하고, 정렬 명세를 사전에 학습시키며, 추론 계산을 토큰별로 선별 배분하는 접근이 제시됐다. 동시에 자율 연구 에이전트와 저비용 로봇 조작처럼 실제 워크플로에 적용하려는 시스템 연구도 함께 등장했다.

보상 함수를 사람이 손으로 짜지 말고 탐색으로 찾아라

쉽게 말하면: 언어모델의 추론 실력을 강화학습으로 끌어올릴 때 성능은 보상 함수 설계에 민감한데, 이 연구는 보상 명세 자체를 자동 탐색의 대상으로 둔다. ¹

출발점은 강화학습 후처리에서 보상 함수 설계가 수동적이고 오류가 나기 쉬운 과정이라는 문제다. 저자들은 보상 명세 자체를 최적화 대상으로 두는 탐색 프레임워크를 제안했다. 기반 모델은 고정한 채, 보상 명세를 주요 설계 레버로 삼는 설정이다. ¹

구체적으로는 프런티어 언어모델이 후보 보상 함수를 생성하고, 자동 검증을 거친 뒤, Llama-3.2-3B-Instruct 기반 모델에 LoRA를 붙여 500스텝 GRPO 학습으로 선별하고, GSM8K 테스트셋의 F1으로 순위를 매긴다. 이전 라운드의 순위 요약을 다음 라운드 생성에 되먹임하는 구조다. 다섯 라운드에 걸쳐 50개 후보를 만든 결과, 평균 F1은 1라운드 0.596에서 5라운드 0.632로 올랐고 최상위 개별 보상은 F1 0.787에 도달했다. 상위 보상을 조합한 최적 앙상블은 F1 0.795(95% 부트스트랩 CI [0.756, 0.832]), 정확도 0.660을 기록했으며, 기본 보상만 쓴 GRPO 기준선(F1 0.609) 대비 절대 F1 0.19 향상이다. ¹

특히 무작위로 뽑은 5개 보상 대조군이 F1 0.047로 붕괴한 점은, 개선의 원천이 보상 개수를 늘린 가산 효과가 아니라 순위 되먹임 루프임을 보여준다고 저자들은 설명한다. 다만 제공된 검증은 GSM8K, Llama-3.2-3B-Instruct, LoRA, GRPO 설정 중심이므로, 대형 모델이나 다른 옵티마이저로의 일반화는 이 자료만으로는 확인되지 않는다. ¹

시연을 흉내내기 전에 '왜 그렇게 행동해야 하는지'를 먼저 가르친다

쉽게 말하면: 모델에게 원하는 행동을 예시로만 보여주면 일반화가 얕아질 수 있는데, 이 연구는 행동 명세를 논하는 문서를 미리 학습시켜 이후 정렬 학습의 일반화 방향을 조절한다. ²

일부 프런티어 개발사는 모델을 Model Spec 또는 Constitution이라 부르는 행동 명세에 정렬시키려 한다. 문제는 표준 방식, 즉 명세에 맞는 행동 시연으로 파인튜닝하는 방법이 얕은 정렬을 낳아 일반화가 나빠질 수 있다는 점이다. 시연 데이터만으로는 원하는 일반화 방향이 충분히 특정되지 않을 수 있기 때문이다. 저자들은 사전학습 후 정렬 파인튜닝 전 단계에 Model Spec Midtraining(MSM)을 끼워 넣는다. 모델의 명세를 논하는 합성 문서로 먼저 학습시켜 명세의 내용을 가르치고, 이후 시연 데이터로부터의 일반화 방향을 형성하는 것이다. ²

효과를 보여주는 예시도 제시됐다. '크림치즈를 브리보다 선호한다' 같은 치즈 선호만 파인튜닝해도, 그 선호를 친미(pro-America) 가치에 귀속시키는 명세를 MSM으로 적용하면 모델이 폭넓게 친미 가치로 일반화한다. 똑같은 치즈 파인튜닝이라도 명세를 경제성(pro-affordability) 가치로 바꾸면 경제성 지향으로 일반화한다. 안전 관련 성향에도 적용됐다. 자기보존과 목표사수를 다루는 명세로 MSM을 적용하자 Qwen3-32B의 에이전트형 오정렬 발생률이 54%에서 7%로 떨어졌고, 이는 숙고형 정렬(deliberative alignment) 기준선 14%보다 낮았다. ²

저자들은 MSM을 어떤 명세가 강한 일반화를 낳는지 분석하는 도구로도 썼다. 규칙 이면의 가치를 설명할 때, 그리고 일반적 지침보다 구체적 지침을 줄 때 일반화가 개선됐다. 실무적 함의는 정렬 학습에서 원하는 일반화 방향을 언어로 먼저 명시해 가르치는 방식이 통제와 개선에 도움이 될 수 있다는 점이다. 다만 검증이 특정 명세, 모델(Qwen3-32B 등), 합성 문서 설정에 기대고 있어 실제 배포 명세로의 이전 안정성은 이 자료만으로 단정하기 어렵다. ²

추론 계산을 모든 토큰에 똑같이 쓰지 말고 필요한 곳에만

쉽게 말하면: 동결된 사전학습 모델에 추론용 추가 연산을 붙일 때, 모든 토큰에 같은 정련 단계를 강제하는 대신 일부 토큰에만 선택적으로 추가 정련을 적용하면 품질과 계산의 절충을 개선할 수 있다는 연구다. ³

동결된 사전학습 모델은 강력하지만 일부 추론 문제는 추론 시점의 추가 계산으로 이득을 본다. 가장 단순한 방법은 백본 은닉 상태 위에 정련(refinement) 단계를 얹는 것인데, 고정된 추가 정련은 낭비가 될 수 있다. 한 단계 정련은 너무 약할 수 있고, 두 번째 전체 시퀀스 정련을 모든 곳에 강제하면 계산만 늘고 전이 이득은 없을 수 있다. 저자들은 HALO를 제안했다. 거친 정련 단계에 더해, 토큰 점수화와 단조 토큰 정지(monotonic token halting)로 고른 일부 토큰에만 2단계 잠재 정련을 선택적으로 적용하는 방식이다. ³

MMLU-Pro와 GPQA-Diamond로 구성한 공개 비교에서 HALO는 논문이 비교한 방법들 가운데 최고 평균을 기록해, 동결 백본, 고정 1단계(fixed-1), 고정 2단계(fixed-2)를 앞섰다. 내부 분석에서는 fixed-2와 거의 같은 토큰 정확도 수준에 이르면서도 평균 적용 정련 스텝은 fixed-1보다 적고 fixed-2보다는 훨씬 적었다. 핵심은 정련을 단순히 더 하는 것이 아니라, 정련을 더 잘 배분하는 것이라는 결론이다. ³

제공된 자료에서 확인되는 주장은 보편적 우위라기보다 품질-계산 절충에 관한 것이다. HALO는 공개 비교의 평균 성능에서 가장 강한 결과를 내면서도 고정 기준선들보다 측정된 컨트롤러 계산을 덜 썼다고 보고됐다. 실무적으로는 풀 파인튜닝 없이 소량의 적응형 연산으로 추론 과제의 비용 효율을 개선하려는 경우에 참고할 만하다. ³

쉬운 '비교' 신호를 어려운 '절대 점수'로 옮겨 심는 채점 전이

쉽게 말하면: '이 글이 저 글보다 낫다'는 상대 비교는 더 단순한 학습 목표를 줄 수 있지만 실제 채점은 절대 점수가 필요한 경우가 많은데, 이 연구는 비교로 익힌 정보를 절대 점수 예측으로 옮기는 2단계 방법을 제안한다. ⁴

많은 채점 상황은 절대 예측을 요구하지만, 상대 비교는 더 단순한 학습 목표를 주고 국소적으로 더 강한 정보를 담을 수 있다. Pair2Score는 이 간극을 겨냥한 2단계 학습 틀이다. 1단계에서는 절대 특성 라벨에서 유도한 쌍 비교로 방향성 있는 샴(Siamese) 랭커를 학습하고, 2단계에서는 웜스타트와 임베딩 융합 같은 전이 전략으로 절대 예측기를 학습한다. 이 방법은 파라미터 효율적인 LLaMA 적응을 사용한다. ⁴

자동 에세이 채점(AES)의 루브릭 정렬 특성인 문법, 어휘, 구문 세 가지를, 홀드아웃 폴드와 시드를 함께 회전시키는 5-폴드 프로토콜로 평가했다. 최적 전이 변형은 절대 점수만 쓴 기준선 대비 세 특성 모두에서 이차 가중 카파(QWK)를 개선했다. 그러나 모든 전이 설정이 도움이 되는 것은 아니었다. 1에폭 쌍 학습이 확장된 쌍 학습보다 더 안정적으로 전이됐고, 결국 쌍 단계를 넣었는지뿐 아니라 전이 설정이 다운스트림 채점의 개선 여부를 갈랐다. ⁴

가장 뚜렷한 축은 쌍 단계의 지속 시간이었다. 한 에폭의 쌍 학습이 더 안정적으로 전이된다는 점은, 쌍 단계의 학습 예산과 전이 방식이 중요하다는 것을 보여준다. 함의는 실용적이다. 상대 비교라는 더 단순한 감독 신호를 절대 점수로 옮길 때, 전이 방식과 예산 설계가 중요하다는 경고다. 다만 검증은 AES 세 특성에 한정되므로 다른 루브릭 채점으로의 일반화는 이 자료만으로는 확인되지 않는다. ⁴

공간 데이터 과학에 특화된 자율 연구 에이전트, '하네스 엔지니어링'을 정식화하다

쉽게 말하면: 연구 과정을 스스로 수행하는 AI 에이전트는 대체로 도메인 불문형이라 전문 분석 역량이 부족할 수 있는데, 이 연구는 공간 데이터 과학에 맞춘 자율 연구 시스템을 제시했다. ⁵

문제의식은 기존 자율 연구 에이전트가 대체로 도메인 불문형이라, 엄밀한 공간 데이터 과학에 필요한 전문 추론, 방법 선택, 데이터 수집 역량이 부족하다는 점이다. 저자들은 GIScience와 공간 데이터 과학을 겨냥해 하네스 엔지니어링을 적용한 다중 에이전트 시스템 NORA(Night Owl Research Agent)를 제시했다. 스킬 우선 아키텍처로 21개의 도메인 특화 워크플로 스킬, 9개의 전문 서브에이전트, 맞춤형 Model Context Protocol(MCP) 서버를 오케스트레이션한다. 핵심은 두 개의 신규 특화 스킬이다. 탐색적 공간 데이터 분석, 공간 회귀, 진단의 의사결정 틀을 담은 공간 분석 스킬 단위와, 공인된 지리공간 데이터 출처에서 재현 가능하게 데이터를 받아오는 공간 데이터 다운로드 스킬이다. ⁵

저자들은 과학 연구 에이전트를 위한 하네스 엔지니어링이라는 개념을 정식화했다. 생애주기 훅, 안전 게이트, 생성기-평가기 분리, 인간 개입(human-in-the-loop), 상태 지속성이 신뢰할 수 있고 재현 가능한 자율 연구를 보장하는 데 어떤 역할을 하는지 보였다고 설명한다. 평가는 사례 연구로 진행했는데, 6명의 도메인 전문가와 3개의 LLM 리뷰어가 신규성, 품질, 엄밀성 등 일곱 개 차원에서 평가했다. 그 결과 도메인 특화 하네스 엔지니어링이 범용 에이전트 구성 대비 연구 산출물의 효율과 품질을 상당히 개선했다고 보고했다. ⁵

이 자료에는 개별 차원별 정량 점수나 정확한 비교 수치가 제시되지 않아, 개선 폭을 수치로 특정하는 것은 제공된 자료로는 확인되지 않는다. 그럼에도 자율 연구 에이전트의 실효성을 높이려면 도메인 특화 스킬과 안전·재현성 장치인 하네스 설계가 중요하다는 방향을 제시한다. ⁵

저비용 하드웨어에 VLA를 심어 '무른 물체'를 다루는 로봇 조작 플랫폼

쉽게 말하면: 포도처럼 쉽게 손상될 수 있는 물체를 로봇이 다루려면 명시적 힘 센싱에 의존하지 않는 안전한 조작 방식이 필요한데, 이 연구는 저비용 모듈형 하드웨어와 키리가미 기반 부드러운 그리퍼 확장, 최신 VLA 모델을 결합했다. ⁶

무른 농산물 같은 파손되기 쉬운 물체 조작은 산업·연구 양쪽에서 난제다. 저자들은 VILAS를 제안했다. Fairino FR5 협동 로봇 팔, Jodell RG52-50 전동 그리퍼, 듀얼 카메라 인식 모듈을 ZMQ 기반 통신 구조로 묶어, 원격조작, 데이터 수집, 정책 배포를 하나의 프레임워크에서 조율하는 완전 저비용 모듈형 플랫폼이다. ⁶

명시적 힘 센싱 없이 무른 물체를 안전하게 다루기 위해, 압축 하중을 받으면 예측 가능하게 변형되는 키리가미(kirigami) 기반 부드러운 순응형 그리퍼 확장을 설계했다. 이를 통해 섬세한 대상에 부드럽고 반복 가능한 접촉을 제공하려는 발상이다. 이 플랫폼 위에 세 개의 최신 VLA 모델을 배포·평가했으며, 그중 하나는 GR00T N1.6이다. 모든 모델은 원격조작 파이프라인으로 수집한 동일한 시연 데이터셋을 사용해 공개 사전학습 체크포인트에서 파인튜닝했다. ⁶

포도 파지 과제 실험으로 시스템의 유효성을 검증해, 저비용 모듈형 하드웨어에서도 유능한 조작 정책을 학습·배포할 수 있음을 확인했고, 현행 VLA 모델의 실제 배포 특성에 대한 실용적 통찰도 제시했다고 밝혔다. 다만 이 자료에는 파지 성공률 같은 정량 지표나 세 모델 간 정확한 비교 수치가 제시되지 않아, 개선 폭을 수치로 특정하는 것은 제공된 자료로는 확인되지 않는다. 실무적 함의는 VLA 기반 학습과 배포를 접근 가능한 하드웨어에서 수행하려는 플랫폼 방향, 그리고 명시적 힘 센싱 대신 기계적 순응성을 활용하는 설계 대안을 제시했다는 점이다. ⁶