검증기를 믿을 수 있는가: 코딩·데이터 에이전트 시대의 측정과 신뢰 문제

여러 연구는 LLM 에이전트와 AI 도구의 성과를 평가할 때 검증기·데이터·과정의 신뢰성이 중요하다는 문제를 다룬다. 코드 RL 환경의 테스트 결함, 소프트웨어 에이전트 학습용 궤적 데이터, 배포 전 AutoML 평가 환경 등이 제시되며, 점수뿐 아니라 그 점수를 만드는 평가 체계를 함께 살펴야 한다는 문제의식을 공유한다.

SWE-bench의 테스트가 틀린 답에 상을 준다: 코드 RL 환경의 보상 해킹 감사

쉽게 말하면: AI에게 코드 고치기를 시험 보게 하는데, 채점용 테스트가 허술해서 틀린 답도 정답으로 통과시키는 일이 얼마나 잦은지 실제로 측정한 연구다. ¹

실행 피드백 기반 강화학습은 검증기가 정확할 때만 작동한다. 그런데 테스트 스위트가 문제를 실제로 풀지 못한 패치도 통과시키면, 정책은 엉뚱한 행동에 보상을 받는다. 기존 감사는 벤치마크 공개 당시 93명의 Python 개발자가 수동으로 훑은 결과나 OpenAI가 2026년 2월 실패한 과제의 59.4%에 결함 테스트가 있다고 발표한 수준에 그쳤고, 정작 큐레이터가 필요로 하는 수치, 즉 코드 RL 학습셋의 몇 퍼센트가 틀린 답에 보상을 주는지는 제공하지 못했다는 문제의식에서 출발한다. ¹

저자들은 Docker로 검증한 오답 패치가 테스트를 통과하는 비율을 직접 측정했다. SWE-bench Verified 49개 과제 표본에서 28.5%, R2E-Gym 6개 저장소 20개 과제에서 25.0%가 보상 해킹 가능한 것으로 나타났다. R2E-Gym 수치는 단발 공격 생성 조건에서 얻은 값이다. 나아가 SWE-bench Verified에 제출된 134개 프런티어 모델을 랜덤효과 메타분석한 결과, 사람이 매긴 동일 난이도 계층 안에서 해킹 가능 과제의 Pass@1이 견고한 과제보다 +14.14%p 높았다. 95% 신뢰구간은 [+11.80, +16.48]이고, 134개 중 123개 모델이 양의 방향을 보였다. ¹

보수 절차도 제시한다. 생성한 테스트를 골드 솔루션에 먼저 돌려보는 Docker gold-sanity gate를 LLM 심판 앞단에 배치하니, 결함 과제 11개에서 결정적 LLM 생성 테스트 105개 중 65개가 골드 패치 자체에서 실패로 걸러졌다. 이는 LLM 심판만으로는 놓치는 61.9%의 증강 결함률을 드러낸다. 다양성 편향 재시도를 붙인 루프는 11개 중 9개 과제를 게이트를 통과하는 업그레이드로 수렴시켰다. 실무적으로는 코드 RL 학습셋을 도입하기 전 과제별 해킹 가능성을 점검하고 실행 게이트로 걸러내는 절차가 필요하다는 점을 시사한다. ¹

20만 개의 에이전트 궤적으로 여는 다국어·이중모드 소프트웨어 에이전트 증류

쉽게 말하면: 코딩 AI를 잘 훈련시키려면 에이전트가 문제를 풀어가는 궤적 데이터가 대량으로 필요한데, 그 기록을 20만 건 넘게 만들어 공개하고 그것으로 오픈소스 에이전트 모델을 훈련시킨 연구다. ²

자율 소프트웨어 엔지니어링의 병목 중 하나는 다양하고 대규모인 궤적 데이터의 부족이다. NVIDIA 연구진은 20,000개의 실제 PR에서 OpenHands와 SWE-agent 하니스를 통해 9개 프로그래밍 언어(Python, Go, TS, JS, Rust, Java, PHP, C, C++)에 걸친 207,489개 에이전트 궤적을 만든 Open-SWE-Traces를 제시했다. 데이터는 SWE-rebench-V2에서 가져온 허용적 라이선스 과제들을 바탕으로 필터링됐다. ²

핵심은 이중모드 증류다. MiniMax-M2.5는 명시적 사고 과정을 담은 궤적을 생성하고, Qwen3.5-122B는 고품질 비사고 궤적을 제공한다. 저자들은 이러한 하이브리드 추론 합성이 긴 범위의 추론 능력을 갖춘 모델을 훈련하는 데 도움이 된다고 설명한다. ²

Qwen3-30B-A3B 계열(Thinking, Coder, Instruct)을 이 데이터로 미세조정해 검증했고, 최고 모델이 SWE-bench Verified 61.7%, SWE-bench Multilingual 57.1%, SWE-bench Pro 36.8%의 해결률을 기록했다. 라이선스는 MIT·Apache·BSD 등 허용적 라이선스만 필터링했다. 저자들은 Open-SWE-Traces가 효율적인 오픈소스 에이전트 LLM에 소프트웨어 엔지니어링 능력을 증류하기 위한 중요한 자원이라고 주장한다. ²

점수만 보지 말고 과정을 보라: 배포 전 AutoML 에이전트 감시 환경 GRACE-DS

쉽게 말하면: AI가 조직의 표 형식 데이터로 머신러닝 워크플로를 수행할 때, 결과 점수만 볼 게 아니라 누출을 피했는지, 재현 가능한지, 프로토콜을 지켰는지 같은 과정을 배포 전에 검사하는 환경을 만든 연구다. ³

조직은 LLM 기반 에이전트를 코딩 보조 도구뿐 아니라 데이터 과학과 머신러닝 워크플로의 참여자로 평가하기 시작했다. GRACE-DS는 이런 에이전트가 조직별 요구사항과 생산 환경에 가까운 조건에서 머신러닝 워크플로를 수행할 수 있는지 평가하기 위한 환경으로 제안됐다. ³

GRACE-DS는 조직 자체의 표 형식 ML 과제에 적용할 수 있는 격리된 평가 환경과 지표 묶음이다. 단발 제출로 보지 않고, 계획·데이터 검사·피처 엔지니어링·모델 개발·검증·코드 수정·최종 제출로 이어지는 현실적 워크플로 단계에 에이전트를 노출한다. 숨겨진 실행형 검증기는 최종 예측 성능뿐 아니라 누출 회피, 재현성, 프로토콜 유효성, 오류 교정 행동, 보상 정렬까지 측정한다. ³

7,000개 이상의 에피소드로 검증했고, 저자들이 제안한 유연-반복 상호작용 체제가 단발 생성, 비구조화 에이전트, 재시작 기반 베이스라인보다 종단 정규화 은닉 테스트 품질이 높았으며 프로토콜 유효 완료율도 개선했다고 보고한다. 다만 개별 세부 수치는 제공된 자료로는 확인되지 않는다. 코드는 공개돼 있으며, GRACE-DS는 배포 전 AutoML 에이전트를 조직별 요구사항에 맞춰 평가하는 플랫폼으로 제시된다. ³

다 토론시키지 말고 헷갈릴 때만 토론시켜라: 신뢰도 게이팅 다중 에이전트 논증 마이닝

쉽게 말하면: 여러 AI가 찬반 토론으로 문장 사이의 논리 관계를 판정하게 하되, 자신 없는 경우에만 토론을 시켜 비용을 아끼고 정확도도 높인 연구다. ⁴

논증 마이닝에서 문장 사이의 지지·공격 관계를 식별·분류하려면 두 부분을 함께 봐야 하는 맥락 민감 추론이 필요하다. 그런데 학습 없는 표준 모델은 이런 세부를 놓치고, 단일 에이전트의 자기교정은 초기 환각을 되레 강화할 수 있다. 이를 극복하려면 보통 값비싼 도메인 특화 지도 미세조정이 필요했다. 선행 연구가 제안자-반대자-심판 구조의 변증법적 정제로 성분 분류를 개선한 것을 이 논문은 논증 관계 식별·분류(ARIC) 과제로 확장한다. ⁴

관계 분류를 성분 쌍에 대한 토론으로 재구성하고, 신뢰도 게이팅을 추가했다. 확신이 높은 예측은 초기 판정을 그대로 받고, 불확실한 사례에만 토론을 돌린다. UKP Argument Annotated Essays v2 코퍼스에서 이 선택적 토론은 학습 없는 방법 중 최고 Macro F1을 기록한 반면, 모든 표본에 무차별 토론을 돌리면 성능이 한 베이스라인보다 낮아졌다. ⁴

흥미로운 부수 발견으로, 모든 생성형 접근이 미세조정된 RoBERTa보다 Macro F1이 높았다. 저자들은 Attack 클래스의 과소대표가 추론 전용 모델보다 지도 미세조정에 더 치명적이었을 가능성을 제시한다. 또한 토론 기록이 사람이 읽을 수 있는 형태로 남아, 단일 에이전트와 지도 분류기에 없는 해석 가능성을 제공한다. 실무적으로는 무조건 다중 에이전트를 돌리는 것이 답이 아니며, 언제 토론할지를 신뢰도로 선별하는 것이 성능에 중요하다는 교훈을 준다. ⁴

GPT로 도메인 온톨로지를 짓다: 블루 아마존 실험과 전문가 평가

쉽게 말하면: 특정 분야의 개념 지도인 온톨로지를 사람이 손으로 만들기 힘드니 GPT에게 전문가 역할을 맡겨 만들게 하고, 진짜 전문가가 그 결과를 평가해본 연구다. ⁵

온톨로지는 사람과 시스템이 모두 이해할 수 있게 개념과 관계를 조직하는 구조지만, 수작업 제작은 고된 일이라 많은 전문 도메인에 참조 온톨로지가 없다. 여러 반자동 온톨로지 추출 방법이 제안돼 왔지만, 원하는 응용에 맞는 잘 구조화되고 관련성 높고 일관된 온톨로지를 인간 노동 없이 얻는 문제는 계속 남아 있었다. LLM은 이 공백을 메울 후보로 등장했다. ⁵

저자들은 LLM을 도메인 전문가 역할로 세워 초기 개념으로부터 개념 계층을 구축하는 기법을 실험했다. 대상 도메인은 브라질 해양 영토, 이른바 블루 아마존이다. GPT-3.5와 GPT-4로 20개의 온톨로지를 자동 구축하고 인간 전문가가 평가했다. ⁵

결과적으로 모델들은 대체로 일관성 있는 도메인 개념화를 만들어냈지만, 정제 없이 맥락을 온전히 대표할 만큼 완전히 만족스러운 출력은 하나도 없었다. 따라서 생성형 AI가 온톨로지 구축을 돕는 데 유용할 수는 있지만, 전문가 검수와 정제가 필요한 반자동적 활용이 현실적인 지점임을 시사한다. 개별 정량 평가 지표는 제공된 자료로는 확인되지 않는다. ⁵

30년 묵은 두 언어 세금을 끝낼 수 있을까: 금융 AI를 위한 Mojo 검토

쉽게 말하면: 금융사가 파이썬으로 연구한 모델을 C++로 다시 짜느라 낭비하고 그 과정에서 숫자가 미묘하게 어긋나는 오랜 문제를, 새 언어 Mojo가 풀 수 있을지 짚어본 검토 논문이다. ⁶

정량 금융은 30년간 두 언어 세금을 치러왔다. 파이썬으로 연구한 모델을 프로덕션용 C++로 다시 짜면서 수치 불일치가 생기기 쉽다. GPU 가속 딥러닝은 이 문제를 악화시킨다. 비결정적 부동소수점 리덕션은 긴 백테스트에서 드리프트를 만들 수 있고, 이는 규제 재현성 및 감사 가능성 기대와 충돌한다. ⁶

논문은 Modular의 2026년 파이썬 유사 시스템 언어 Mojo를 자본시장 엔지니어링의 구조적 대응으로 검토한다. Mojo는 Python-to-C++ 성능 격차를 줄이면서, 비트 단위로 동일한 결정적 커널을 만들 수 있는 저수준 시스템 제어와 네이티브 상호운용성을 결합한다고 설명된다. MLIR 컴파일 인프라를 통해 단일 코드베이스로 스칼라·SIMD·멀티코어·GPU 실행을 겨냥할 수 있다는 점도 핵심이다. ⁶

네 가지 금융 AI 워크로드, 즉 몬테카를로 옵션 프라이싱, LLM 감성 추론, 다중자산 백테스트, 포트폴리오 VaR를 벤치마크했다. Apple Silicon에서 직접 측정한 커널 기준으로 순수 파이썬 대비 20배~180배 속도 향상을 보였다. 다만 대규모 GPU 워크로드 결과는 공개 벤치마크로 보정한 추정치이지 실측이 아니다. 재현 가능한 리덕션 커널 오픈소스 라이브러리 mojo-deterministic도 함께 공개했다. 실무적으로는 연구-프로덕션 번역 병목을 줄이고 감사 가능한 재현성을 확보할 후보로서 검토할 만하지만, GPU 성능 수치는 별도 실측 확인이 필요하다. ⁶