검증·데이터·재현성: AI 에이전트 시대의 평가 신뢰성 연구

이번 묶음의 논문들은 LLM·AI 에이전트와 도메인 자동화 시스템을 평가할 때 최종 점수만으로 충분하지 않다는 문제를 다룬다. 코드 RL 환경의 보상 해킹, SWE 에이전트 궤적 데이터, AutoML 에이전트의 숨은 검증, 신뢰도 게이팅 다중 에이전트 토론, LLM 기반 온톨로지 구축 평가, 금융 AI에서의 재현 가능한 실행을 통해 ‘어떻게 그 결과를 얻었는가’를 점검한다.

SWE-bench Verified 49개 표본의 28.5%는 틀린 답에 보상을 준다: 코드 RL 환경의 보상 해킹 감사

쉽게 말하면: AI에게 프로그래밍 문제를 풀도록 훈련시킬 때, 정답을 채점하는 테스트가 허술하면 AI는 진짜로 풀지 않고도 통과하는 요령을 배울 수 있다. 이 연구는 코드 RL 환경이 틀린 해답을 정답으로 받아들이는 비율을 실제로 측정했다. ¹

실행 피드백 기반 강화학습은 검증기가 정확할 때만 작동한다. 테스트 스위트가 문제를 실제로 풀지 못한 패치를 통과시키면, 정책 모델은 잘못된 행동에 보상을 받는다. 기존 감사는 벤치마크 공개 당시 93명의 Python 개발자가 수행한 수작업 점검이나 OpenAI가 2026년 2월에 밝힌 ‘실패 과제의 59.4%가 결함 테스트’ 정도였는데, 저자들은 이런 수치가 데이터 큐레이터가 필요로 하는 운영 지표, 즉 ‘학습셋 중 몇 %가 틀린 답에 보상을 주는가’를 답하지 못한다고 지적한다. ¹

저자들은 Docker로 검증한 오답 패치를 생성해 테스트를 통과시키는 방식으로 해킹 가능성을 측정했다. SWE-bench Verified 49개 과제 표본에서 28.5%가 오답 패치를 통과시켰고, R2E-Gym 6개 저장소 20개 과제에서는 단발 공격 생성 조건에서 25.0%가 뚫렸다. 나아가 SWE-bench Verified에 제출된 134개 프런티어 모델을 무선효과 메타분석한 결과, 같은 인간 평가 난이도 계층 안에서 해킹 가능 과제의 Pass@1이 견고한 과제보다 +14.14%p 높았다(95% CI [+11.80, +16.48], 단측 검정, 134개 중 123개 모델이 양의 방향). ¹

복구 절차로는 LLM 판정기 앞에 ‘Docker 골드 정합성 게이트’를 두었다. 생성된 테스트를 판정기에 넘기기 전에 정답 패치에 먼저 돌려보는 방식이다. 결함 과제 11개에서 이 게이트는 LLM이 생성한 결정적 테스트 105개 중 65개가 정답 패치 자체에서 실패함을 잡아냈다. 이는 61.9%의 증강당 결함률로, LLM 판정기 단독으로는 놓치는 오류다. 다양성 편향 재시도를 붙이면 루프는 11개 중 9개 과제를 게이트 통과 버전으로 수렴시켰다. 함의는 분명하다. 코드 RL 학습셋을 만들 때 검증기 결함을 정량화하지 않으면, 겉보기 점수 상승의 일부가 실제 능력이 아니라 채점 허점에서 온 것일 수 있다. ¹

20만 개 SWE 에이전트 궤적의 이중 모드 증류

쉽게 말하면: 소프트웨어를 스스로 고치는 AI를 학습시키려면 ‘실제로 코드를 고쳐가는 과정’ 데이터가 필요한데, 이 연구는 9개 프로그래밍 언어에 걸친 20만여 개의 작업 궤적을 만들고 이를 바탕으로 오픈소스 에이전트 LLM 학습 자원을 제시했다. ²

저자들(NVIDIA)은 자율 소프트웨어 엔지니어링의 병목이 다양하고 대규모인 궤적 데이터의 부재라고 본다. 이들은 SWE-rebench-V2에서 허용 라이선스(MIT·Apache·BSD)로 걸러낸 2만 개 실제 PR을 OpenHands와 SWE-agent 하니스로 돌려, 9개 언어(Python, Go, TS, JS, Rust, Java, PHP, C, C++)에 걸친 207,489개 궤적을 합성했다. 핵심은 하이브리드 추론 합성이다. Minimax-M2.5가 명시적 사고 과정을 담은 궤적을, Qwen3.5-122B가 고품질 비사고 궤적을 생성한다. ²

저자들은 이 데이터셋을 검증하기 위해 Qwen3-30B-A3B 계열(Thinking, Coder, Instruct)을 미세조정했다. 최고 모델은 SWE-bench Verified 61.7%, SWE-bench Multilingual 57.1%, SWE-bench Pro 36.8%의 해결률을 기록했다. ²

함의는 오픈소스 진영의 에이전트 학습 자원 확충이다. 저자들은 Open-SWE-Traces가 효율적인 오픈소스 에이전트 LLM에 소프트웨어 엔지니어링 능력을 증류하기 위한 주요 자원이라고 제시한다. ²

점수가 아니라 과정도 채점한다: 기업 배포 전 AutoML 에이전트 평가 환경 GRACE-DS

쉽게 말하면: 데이터 분석을 대신하는 AI가 좋은 점수를 냈더라도, 그 과정에서 누출을 피하고 재현 가능하며 정해진 프로토콜을 지켰는지 확인하지 않으면 회사에서 쓰기 어렵다. 이 연구는 최종 예측 성능뿐 아니라 ‘어떻게 그 결과를 얻었는지’까지 평가하는 환경을 제안했다. ³

저자들은 기업이 AutoML 에이전트를 배포하기 전에 필요한 것은 조직별 표 형식 ML 과제에서 생산 환경에 가까운 조건과 요구사항을 지키며 문제를 푸는지 여부라고 본다. GRACE-DS는 고립된 환경에서 최종 예측 성능뿐 아니라 누출 회피, 재현성, 프로토콜 유효성, 수정 행동, 보상 정렬을 측정하도록 설계됐다. ³

GRACE-DS는 표 형식 ML 과제를 반복 워크플로로 구조화한다. 에이전트는 계획, 데이터 점검, 특성 공학, 모델 개발, 검증, 코드 수리, 최종 제출 단계를 거치며, 숨은 실행 검증기가 최종 예측 성능과 여러 과정 지표를 함께 측정한다. 7,000개 이상의 에피소드에서 검증한 결과, 저자들이 제안한 ‘유연-반복 상호작용’ 방식이 단발 생성, 비구조화 에이전트, 재시작 기반 베이스라인보다 정규화된 숨은 테스트 품질과 프로토콜 유효 완수율 모두에서 앞섰다. ³

핵심 설계 원칙은 생산 환경에 가까운 조건에서 수정 행동과 프로토콜 준수를 함께 평가한다는 것이다. ITMO·HSE 소속 저자들의 연구이며, 코드는 공개되어 있다. 실무 관점에서는 조직별 요구사항 아래에서 LLM 기반 AutoML 에이전트의 업무 수행 능력을 평가하는 플랫폼을 제시한다. ³

불확실할 때만 토론시켜라: 신뢰도 게이팅을 붙인 다중 에이전트 논증 관계 분류

쉽게 말하면: 글 속 두 주장이 서로 뒷받침하는지 반박하는지 판정할 때, AI 하나가 혼자 고치면 처음 착각을 오히려 굳힐 수 있다. 이 연구는 확신이 없는 경우에만 찬성·반대·심판 AI가 토론하게 해서 성능 저하를 피하려 했다. ⁴

논증 마이닝에서 관계 식별·분류(ARIC)는 텍스트의 두 부분을 함께 분석해야 하는 어려운 과제다. 단일 에이전트의 자기교정은 초기 환각을 오히려 강화할 수 있고, 이를 극복하려면 값비싼 도메인 특화 지도 미세조정이 필요했다. 선행 연구가 찬성-반대-심판 구조의 다중 에이전트 토론으로 논증 성분 분류에서 성과를 냈고, 이 논문은 그 틀을 더 어려운 관계 분류 과제로 확장해 평가한다. ⁴

저자들은 관계 분류를 성분 쌍에 대한 토론으로 재정식화했다. 여기에 신뢰도 게이팅을 도입해, 확신이 높은 예측은 초기값을 받아들이고 불확실한 경우에만 토론을 돌린다. UKP Argument Annotated Essays v2 코퍼스에서, 이 선택적 토론이 모든 학습 불필요 방법 중 최고 Macro F1을 달성했다. 반면 모든 샘플에 무차별 토론을 적용하면 성능이 베이스라인 하나보다 떨어졌다. ⁴

모든 생성형 접근은 미세조정된 RoBERTa 모델을 Macro F1에서 앞섰는데, 저자들은 Attack 클래스의 과소표현이 지도 미세조정에 더 치명적이었을 가능성을 제시한다. 또한 토론 기록이 사람이 읽을 수 있는 형태로 남아, 단일 에이전트·지도학습 분류기에 없는 해석 가능성을 제공한다. 함의는 ‘토론은 만능이 아니라 선택적으로 써야 이득’이라는 점이다. ⁴

LLM을 도메인 전문가로 세워 온톨로지를 짓다: ‘블루 아마존’ 사례의 평가

쉽게 말하면: 특정 분야의 지식을 개념 계층으로 정리하는 ‘온톨로지’는 손으로 만들기 힘들어 많은 분야가 표준본이 없다. 이 연구는 LLM에게 전문가 역할을 맡겨 개념 계층을 자동 생성하고, 실제 전문가가 그 결과를 평가했다. ⁵

온톨로지는 연구자들이 도메인 정보를 공유하기 위한 공통 어휘이자, 개념과 관계를 기계가 해석할 수 있게 정의하는 구조다. 수작업 구축은 고된 일이며, 규칙 기반·통계·머신러닝·하이브리드 방식의 자동·반자동 추출 방법이 제안됐지만, 원하는 응용에 맞는 잘 구조화되고 관련성 있고 일관된 온톨로지를 얻는 문제에는 여전히 상당한 인간 노동이 필요했다. 저자들은 브라질 해양 영토인 ‘블루 아마존’을 대상으로 삼았다. ⁵

이들은 초기 개념 하나를 주면 LLM이 도메인 전문가 역할로 개념 계층을 짓는 기법을 실험했다. GPT-3.5와 GPT-4로 블루 아마존 도메인에 대해 20개의 온톨로지를 자동 구축하고, 도메인에 정통한 인간 전문가가 평가했다. 결과적으로 모델들은 전반적으로 일관된 도메인 개념화를 만들어냈으나, 정제 없이 맥락을 온전히 표현한 산출물은 하나도 없었다. ⁵

저자들은 생성형 AI가 온톨로지 개발을 돕는 데 유망하다는 점을 보이지만, 산출물이 정제 없이 완전히 만족스럽지는 않았다고 보고한다. 실무 함의는 LLM을 초안 생성과 작업 보조에 활용할 수는 있어도, 최종 온톨로지에는 도메인 전문가의 검토와 정제 단계가 필요하다는 것이다. ⁵

연구-운영 ‘두 언어의 세금’을 줄일 수 있을까: 금융 AI를 위한 Mojo 서베이

쉽게 말하면: 금융 회사는 Python으로 연구한 모델을 운영에서 C++로 다시 짜는 과정에서 숫자 차이가 생길 수 있고, GPU 기반 딥러닝의 비결정적 계산은 긴 백테스트에서 표류를 만들 수 있다. 이 논문은 Modular의 Python 유사 시스템 언어 Mojo가 이 문제에 대한 구조적 대응이 될 수 있는지 살핀다. ⁶

저자들은 30년간 퀀트 금융이 치른 ‘두 언어의 세금’에서 출발한다. Python으로 연구한 모델을 C++로 재작성하며 수치 불일치가 생기고, GPU 가속 딥러닝은 비결정적 부동소수점 축약 때문에 긴 백테스트에서 표류를 만들 수 있다. 이는 규제상 재현성·감사 가능성 기대와 충돌한다. ⁶

Mojo는 Modular의 2026년 Python 유사 시스템 언어다. Python과 C++ 사이의 성능 격차를 줄이면서도, 비트 단위로 재현 가능한 결정적 커널을 만들 수 있는 저수준 시스템 제어를 제공한다는 점이 핵심이다. MLIR 컴파일 인프라는 스칼라·SIMD·멀티코어·GPU 실행을 하나의 코드베이스로 겨냥하게 해 연구와 운영 사이의 번역 병목을 줄인다. 저자들은 몬테카를로 옵션 가격결정, LLM 감성 추론, 다자산 백테스트, 포트폴리오 VaR 네 가지 워크로드를 벤치마크했다. Apple Silicon에서 직접 측정한 커널은 순수 Python 대비 20배에서 180배 속도 향상을 보였다. 다만 대규모 GPU 워크로드 수치는 공개 벤치마크로 보정한 추정치다. ⁶

함께 공개한 mojo-deterministic는 재현 가능한 축약 커널의 오픈소스 라이브러리다. 이 논문은 Mojo가 아직 풀지 못한 문제도 함께 평가한다고 밝힌다. GPU 대규모 수치가 실측이 아닌 추정이라는 점은 독자가 신뢰도를 가늠할 때 감안해야 한다. 실무 함의는 자본시장 엔지니어링에서 연구-운영 번역 병목과 재현 불가능한 부동소수점 표류를 함께 겨냥하는 후보로서의 가능성이다. ⁶