이번 주 연구의 공통 질문은 AI가 다른 AI의 결과물을 평가하고 고칠 때 그 판단을 믿을 수 있느냐다. 논문 심사 AI의 탐지율과 오탐률을 직접 재고, 분석 에이전트 평가 도구를 같은 실행 기록 위에서 비교하고, 행동은 서툰 모델이 채점자로서는 쓸 만하다는 점을 보인 연구들이 이 질문을 정면으로 다뤘다. 과학 발견 에이전트의 가설 채점 단위를 바꾼 연구와 물리 시뮬레이터로 영상 생성 데이터를 검증하는 연구도 같은 맥락에 선다.
논문 심사 AI에 오류를 심어 탐지율과 오탐률을 함께 재다
쉽게 말하면: 이미 현장에서 쓰이는 'AI 논문 심사자'가 실제로 오류를 얼마나 잡아내는지 제대로 잰 적이 거의 없었다. 이 연구는 진짜 논문에 일부러 틀린 곳을 심어 넣고 각 AI가 그중 몇 개를 찾는지, 멀쩡한 곳을 얼마나 틀렸다고 우기는지를 함께 측정했다. 1
NeurIPS 2026에 채택된 논문이다. 저자들은 LLM 기반 심사가 2026년에 이미 실서비스 규모에 이르렀는데도 평가 방법이 뒤처져 있다는 데서 출발한다. 기존 평가는 대부분 사람이 쓴 심사평과 얼마나 비슷한지를 보거나, 머신러닝 논문에만 인공 오류를 넣는 방식이었다. 오탐률이나 오류 심각도에 따른 탐지 차이는 거의 다루지 않았다. 저자들이 만든 벤치마크는 논문의 LaTeX 원본에 일반 문제, 수학, 수치, 인용 네 유형의 오류를 미묘함·분명함·노골적 세 단계 심각도로 심는다. 이어 유형·심각도별 탐지율을 재고, 오류를 넣지 않은 원본 사본에서 오탐률을 따로 잰다. 판정은 Anthropic·OpenAI·Google 모델로 구성한 교차 계열 LLM 패널이 맡고, 수학·수치는 기계적 검증기로 한 번 더 확인한다. 함께 공개한 다중 에이전트 심사기 Skepthical은 인용된 논문을 직접 찾아 읽어 인용 주장을 대조하고, 수학 주장은 wolframscript·pint 같은 컴퓨터 대수 도구로, 수치 주장은 실제로 실행한 Python 코드로 검증한다. 1
천체물리와 머신러닝 분야의 최신 arXiv 사전공개본을 각각 15편씩 골라 총 357개의 오류를 심었다. 그 위에서 단일 LLM 심사기 6종, Claude Code 구성 2종, 공개 심사기 3종, Skepthical까지 모두 12개 시스템을 비교했다. 탐지율을 가장 크게 가른 변수는 모델 선택이었다. 같은 프롬프트를 줘도 세 프런티어 LLM의 전체 탐지율이 두 코퍼스 모두에서 약 50%포인트 벌어졌다. 도구와 작업 구조는 모델이 스스로 채우지 못하는 부분을 보탤 때만 효과를 냈다. 천체물리에서는 Claude Code가 단일 Claude 호출보다 수학·수치 오류를 더 잘 잡았고, 인용 논문 검색을 강제한 Skepthical은 인용 오류 탐지에서 모든 시스템을 큰 차이로 앞섰다. 그러나 머신러닝 코퍼스에서는 이 우위가 사라져, 최고 단일 LLM과 통계적으로 구분되지 않았다. 저자들은 모델이 머신러닝 문헌을 이미 더 잘 알고 있기 때문으로 해석한다. 오탐률은 대부분의 시스템에서 10% 미만이었지만 프롬프트·모델·구조에 따라 달랐고, 오탐의 주된 출처는 수학 관련 지적이었다. 1
한계도 분명하다. 이 벤치마크는 위치를 특정할 수 있는 객관적 오류만 다룬다. 연구의 중요성이나 새로움, 심사평 전반의 질은 평가 범위 밖이다. 판정 역시 기본적으로 LLM 패널에 기대며, 사람 주석자와의 대조는 논문 한 편에서만 했다. 평가 파이프라인과 심은 오류 목록, 판정 기록 전체를 공개했다는 점도 재현성 면에서 의미가 있다. 1
에이전트 평가 도구의 품질은 '무엇을 보고 채점하느냐'가 가른다
쉽게 말하면: 기업용 데이터 분석 AI가 틀린 답을 내도 겉보기엔 멀쩡해서 사람이 놓치기 쉽다. 이 연구는 평가 도구 세 가지를 같은 조건에서 비교했고, 에이전트의 전체 작업 기록을 보는 도구가 가장 좋은 정밀도·재현율 균형을 보인다는 것을 확인했다. 2
KDD 2026에 채택된 논문이다. SQL을 생성하고 여러 도구를 호출해 답을 종합하는 분석 에이전트는 실행할 때마다 동작이 조금씩 다르고 단계도 많다. 그래서 정답 대조만으로는 검증이 어렵다. 실제로 이 연구에서는 문법은 맞지만 특정 유형의 질의에 대해 늘 0행을 돌려주는 SQL 버그가 수동 점검을 그대로 통과했다. 저자들은 서로 다른 평가 철학을 대표하는 세 도구를 골랐다. 전체 실행 추적(OpenTelemetry trace)을 읽는 LLM 채점기 Strands Evals, 텍스트 출력만 보고 레드팀 기능을 갖춘 PromptFoo, LLM 비용 없이 결정론적 규칙으로 판정하는 Agenta다. 소매 공급망 예측 시스템의 분석 에이전트 두 개를 대상으로 삼았고, 공정한 비교를 위해 실행 기록을 고정해 두고 세 단계로 실험했다. 2
1단계에서는 반복 측정 안정성을 봤다. Claude Sonnet 4.6, Claude Haiku, Qwen3 32B를 채점 모델로 써서 총 5,605회 평가를 돌렸다. 기준은 같은 사례 안 점수의 표준편차 0.15 이하이고, 구성의 97%가 이 기준을 충족했다. 안정성 양상은 에이전트와 무관했다. 2단계에서는 정답이 있는 72개 사례로 이미 알려진 위험의 탐지력을 쟀다. 추적 기반 평가가 F1 0.90으로 정밀도와 재현율의 균형이 가장 좋았고, 오탐률 10%에서 실패의 91%를 잡았다. 텍스트만 보는 평가는 재현율은 비슷했지만 오경보를 5배 더 냈다. 3단계 미지 위험 탐색에서는 새로운 실패 24건이 나왔는데, 기능 테스트와 보안 레드팀이 찾은 결과가 하나도 겹치지 않았다. 사람 검토자가 처음 잘못 라벨링한 정답 사례 9건이 평가기의 지적으로 바로잡히기도 했다. 이는 수동 점검이 놓친 72건 중 9건, 즉 12.5%에 해당한다. 2
저자들은 이 결과가 실제 운영 배포가 아니라 고정된 실행 기록을 쓴 연구 환경에서 나왔다고 명시한다. 라벨링도 에이전트마다 도메인 전문가 한 명이 주로 맡았고, 애매한 사례만 추가 교차 검토했다. 그래도 실무 권고는 구체적이다. 기능 평가에는 추적 기반 채점을, 보안 검증에는 적대적 레드팀을 함께 쓰는 '두 도구 전략'이다. 2
행동은 서툴러도 사후 채점으로는 좋은 스승이 되는 결정 모델
쉽게 말하면: 직접 일을 시키면 순서를 자주 틀리는 AI라도, 일이 다 끝난 뒤 '이 행동이 도움이 됐는가'를 물으면 꽤 정확하게 답한다. 이 연구는 그 채점을 작은 모델 훈련에 써서 성공률을 크게 끌어올렸다. 3
Hugging Face 일간 논문에서 추천 29를 받았다. 결정 모델은 긴 글 대신 선택지와 각 선택지의 확률처럼 정해진 형식으로 빠르고 싸게 답하는 사전학습 모델이다. 지금까지는 주로 '행동하는 주체'로서 평가받았고, 그 역할에서는 과제 물체가 언급된 명령에 끌리거나 선행 하위 목표를 건너뛰는 실패를 자주 보였다. 저자들은 같은 모델을 세 역할로 나눠 시험했다. 행동 주체는 결과를 보기 전에 다음 행동을 고른다. 판정자는 기록된 궤적을 평가하는데, 행동 직전까지의 접두부만 보느냐 궤적 전체를 사후에 보느냐, 그리고 '과제가 성공할 것인가(Value)'를 묻느냐 '이 행동이 목표에 도움이 됐는가(Progress)'를 묻느냐를 바꿨다. 교사 역할에서는 판정 점수를 롤아웃 그룹 안에서 중심화한 뒤 GRPO의 결과 기반 어드밴티지에 더했다. GRPO는 그룹 단위 상대 보상으로 정책을 학습하는 강화학습 기법이다. 3
행동 주체로서의 한계는 뚜렷했다. JEV는 서로 독립된 하위 목표가 두 개인 과제를 70.8% 완수했지만, 순서가 정해진 과제에서는 14.7%에 그쳤다. 지식이 없어서 생긴 실패도 아니었다. 쉬운 하위 목표를 목표에서 지우자 필요한 상태 변화에 실리는 확률이 14.6%에서 77.6%로 뛰었다. 반면 의존 관계를 상기시키는 문구는 성공률을 -2.8%에서 +5.2% 정도만 바꿨다. 판정자로 쓰면 양상이 달라졌다. 궤적 전체를 보고 Progress를 물었을 때 JEV는 하위 목표를 완수한 행동에 아무 변화도 없는 행동보다 0.36 높은 점수를 줬다. Value 질문에서는 그 차이가 0.05에 불과했다. 결과가 궤적 전체에 똑같이 적용되기 때문이다. 교사로 쓰자 ALFWorld 기준 JEV의 행동 주체 성공률은 42.9%였는데도, Qwen2.5-1.5B 정책의 성공률은 GRPO 단독 72.8%에서 82.9%로 올랐다. Value 질문을 쓰면 69.3%였다. WebShop에서도 56.8%에서 71.4%로 올라 Value의 68.3%를 앞섰다. 이렇게 배운 1.5B 정책은 두 환경 모두에서 결과 보상만으로 학습한 7B 정책을 넘어섰다. 3
효과는 행동 주체로서 가장 취약했던 순서 의존 과제에서 가장 컸다. 이 과제에서 정책은 86.8%를 완수해 다른 질문·맥락 조합보다 6.9~16.2%포인트 높았다. 접두부만 보여 주면 두 질문의 차이가 사라졌다는 점에서, 사후 맥락과 '행동 단위 질문'이 함께 갖춰져야 효과가 난다. 결정 모델 두 종은 같은 질문을 받은 바탕 LLM보다 더 정확하게 판정하면서 점수당 비용은 28~43% 낮았고, 훈련 한 번에 드는 질의 비용은 22~30달러였다. 실험이 ALFWorld와 WebShop 두 환경에 한정된다는 점은 감안해야 한다. 그래도 실무 함의는 크다. 감독 모델을 고를 때는 행동 성능이 아니라 기록된 궤적을 얼마나 잘 판정하는지로 따져야 한다. 단계 라벨이나 별도 비평 모델 없이도 고정된 결정 모델로 저렴하게 단계별 보상을 얻을 수 있다. 3
가설 하나가 아니라 경쟁 설명 묶음으로 과학 발견 에이전트를 채점하다
쉽게 말하면: 지금의 과학 발견 AI는 '이 가설이 맞나 틀리나'만 따져서, 틀렸다고 나와도 그럼 무엇이 맞는지는 모른다. 이 연구는 처음부터 가능한 답들을 빠짐없이 나열해 두고, 같은 증거로 어느 답이 맞는지까지 가려내도록 바꿨다. 4
NeurIPS 2026 채택 논문이다. 데이터 기반으로 가설을 세우고 검증을 반복하는 LLM 에이전트는 대부분 주장 h를 그 부정과만 비교한다. 저자들은 이를 '점 단위 발견'이라 부른다. 증거가 h를 기각하면 에이전트는 h가 그럴듯하지 않다는 사실만 배운다. 예컨대 '신용이 나쁜 자영업자는 주택담보대출 거절률이 더 높다'는 가설이 기각돼도, 거절률이 더 낮은지 차이가 없는지는 알 수 없다. 실험 예산이 정해져 있다면 이미 손에 쥔 증거로 답할 수 있는 질문에 추가 시행을 쓰는 낭비가 생긴다. 대조 발견(Contrastive Discovery)은 채점 단위를 '대조 집합'으로 바꾼다. 하나의 과학 질문에 서로 배타적이면서 빈틈없는(MECE) 경쟁 설명들을 짝지은 것이다. 에이전트는 이 집합 위에서 사전·사후 믿음을 끌어내고, 증거가 믿음을 얼마나 재분배했는지로 실험의 가치를 매긴다. 믿음이 한 설명에 몰리면 질문이 해결된 것으로 본다. 에이전트 구조는 그대로 두고 제안·채점 단위만 바꾸므로, 이미 모은 증거를 재해석하는 평가 렌즈로도, 탐색을 이끄는 목표로도 쓸 수 있다. 4
실험은 재료과학, 천문학, 주택담보대출 차별, 온라인 담론, 소프트웨어 공학 관행, 사회적 행동의 여섯 분야에서 진행했다. 점 단위 방식에서 믿음 변화가 가장 큰 후보의 89%는 기각이었다. 같은 증거를 대조 집합으로 다시 평가하자, 새 실험 없이 이들 후보의 73%가 특정 대안으로 귀결됐다. 탐색 자체를 대조 집합으로 이끌면 같은 실험 예산에서 점 단위 놀라움(surprisal) 기준보다 67% 많은 질문을 해결했다. 이득의 거의 전부는 사전에 선호하던 설명에서 증거가 지지를 옮겨 간 '교정적 해결'에서 나왔다. 점 단위 방식이었다면 이런 사례는 기각으로만 남는다. 눈가림 조건에서 인간 전문가 38명은 해결된 질문의 78%, 점 단위 에이전트가 가설을 기각하고 멈춘 질문의 82%에서 에이전트와 같은 설명을 골랐다. 4
저자들은 절제 실험으로 이득의 주된 원천이 증거를 전체 대조 집합에 견줘 평가하는 데 있음을 확인했다. 각 대안을 점 단위 채점기로 따로 매기거나 토큰·달러 비용을 맞춰도 우위는 유지됐다. 4
물리 시뮬레이터를 심판으로 세워 영상 생성 모델이 스스로 배우게 하다
쉽게 말하면: AI가 만든 영상은 그럴듯해 보여도 물건이 사라지거나 중력을 거스르는 일이 잦다. 이 연구는 LLM의 물리 상식을 시뮬레이터 안에서 검증·교정한 뒤 그 결과물을 영상 모델의 학습 데이터로 되먹이는 순환 구조를 만들었다. 5
Hugging Face 일간 논문에서 추천 41을 받았다. 베이징대와 ByteDance Seed 등이 참여했다. 저자들이 짚는 문제는 두 가지다. 첫째, 프레임 단위로는 사실적인 영상도 물체 증식, 접촉에 대한 부자연스러운 반응, 의도치 않은 슬로모션, 관성에 맞지 않는 속도·방향 변화 같은 물리 오류를 자주 낸다. 둘째, 이를 바로잡을 학습 데이터를 실제 실험으로 모으기 어렵다. 떨어져 깨지는 유리컵 하나만 해도 높이나 초기 속도를 바꿀 때마다 세팅을 새로 해야 하고, 한 요인의 효과만 따로 떼어 보기도 힘들다. 범용 멀티모달 평가기도 물리적 타당성을 안정적으로 판정하지 못하기 때문에, 영상을 많이 만든다고 더 좋은 학습 데이터가 생기지는 않는다. 5
PhysLoop의 핵심은 LLM이 이미 가진 물리 지식을 실행 가능한 환경 안에서 제약하는 것이다. LLM은 샌드박스에서 장면과 사건을 구성하고, 내부 시뮬레이터가 물리 제약과 관찰 가능한 결과를 돌려준다. 하네스는 생성된 거동이 의도한 물리 조건을 만족하는지 확인하고, 그 피드백으로 LLM이 지식을 적용한 방식을 고치게 한다. 반복 평가를 통과한 영상만 남겨 영상 생성 모델의 물리 감독 신호로 쓰고, 갱신된 모델이 다음 라운드의 후보를 다시 만드는 재귀적 자기개선 구조를 지향한다. 같은 원리를 생성된 영상의 물리 오류를 진단하고 부분적으로 수리하는 데에도 적용한다. 저자들은 실내외의 다양한 사실적 장면에서 흔한 물리 현상을 담은 영상 10만 개와 생성·수리 평가셋인 PhysLoop-Gen, PhysLoop-Repair, 생성 도구를 공개했다. 통제 생성, 국소 수리, 외부 벤치마크에서의 물리 거동을 사람 판정과 자동 지표로 평가했다. 5
개념 설명이 상관이 아닌 원인이 되도록 학습 단계에서 강제하다
쉽게 말하면: AI가 '빨간 깃털 때문에 홍관조라고 판단했다'고 설명해도, 실제로는 볏을 보고 판단했을 수 있다. 이 연구는 모델이 내놓는 설명이 진짜 판단의 원인이 되도록 처음부터 그렇게 학습시키는 방법을 제안했다. 6
NeurIPS 2026 채택 논문이다. 사람이 이해할 수 있는 개념을 거쳐 결정을 내리는 개념 기반 해석 기법은 항공·자율주행·의료 영상처럼 위험이 큰 분야에서 디버깅과 인증의 도구로 주목받는다. 문제는 개념과 출력의 연결이 대개 상관관계에 머문다는 점이다. 자율주행 정책이 행동과 무관한 '승객 탑승' 개념을 활성화할 수도 있다. 이런 설명은 옳아 보이지만 오도할 수 있다. 저자들은 경제학·의학·역학에서 쓰는 개입적 다중 매개 분석(mediation analysis)을 처음으로 심층망의 학습 목표로 들여와 CCW-Net을 만들었다. 매개 분석은 입력이 출력에 미치는 효과를 중간 변수를 거치는 경로별로 나누는 기법이다. 6
CCW-Net은 반사실적 개념 표현을 기준으로 세 가지 인과 정렬 조건을 학습에 건다. 필요성은 무관한 개념의 효과를 0으로 몰고, 충분성은 관련 개념 표현만으로 출력을 온전히 재구성하게 하며, 독립성은 전체 효과가 개념별로 선형 분해되도록 한다. 반사실 표현은 개념마다 둔 가역 흐름(invertible flow) 매개 모델에서 뽑는다. 이 매개 모델은 본 모델과 함께 학습하며 개념 임베딩의 조건부 분포를 추적한다. 개념을 스칼라가 아닌 벡터로 표현해 개념의 유무뿐 아니라 어떻게 드러나는지까지 담게 했다. 없는 개념의 표현을 0으로 수렴시키는 구조도 추가해 개입 분석이 잘 정의되도록 했다. 이와 별도로 매개 분석을 평가 도구로도 쓴다. 어떤 개념 병목 모델이든 개념 라벨 조합마다 출력 변화의 몇 할이 각 개념에서 비롯됐는지를 정량화하며, 기존의 모집단 수준 정렬 점수보다 세밀하다. 6
실험은 항공기 제어, 자율주행, 세밀한 이미지 분류 세 영역에서 진행했다. 저자들이 밝힌 대로 매개 분석은 원래 엄격한 가정 아래 인과 효과를 추정하는 도구이므로, 실제 적용에서는 그 가정이 성립하는지를 따져야 한다. 6