검증 가능한 AI 시스템을 향해 — 벤치마크·구조·거버넌스의 재점검

이 모음의 논문들은 LLM 에이전트의 다회차 추론 평가, 다중 에이전트 설계 협업, 에이전트 스킬 보안, 근거 기반 RAG 검색을 다룬다. 또한 파라미터 효율 언어모델 구조와 미분 가능 드론 시뮬레이터처럼 성능·효율·검증 가능성을 함께 다루는 연구도 포함됐다.

한 번의 예측이 아니라 대화 전체를 평가하는 시계열 추론 벤치마크

쉽게 말하면: 지금까지 시계열 분석 AI 평가는 '이 값을 예측하라' 같은 단일 단계 과제에 치우쳤지만, 실제 분석에서는 여러 차례 대화를 주고받으며 결론을 쌓아간다. 이 연구는 그런 다회차 대화 흐름에서 시계열 추론을 평가하는 벤치마크를 제안한다. ¹

기존 시계열 벤치마크는 예측이나 이상 탐지 같은 단일 단계 과제에 집중했다. 저자들은 실무에서 사용자 목표가 대화 도중 바뀌고, 에이전트가 이전 분석 결과를 바탕으로 이어가야 하며, 결론이 누적된 증거에서 나온다는 점을 지적한다. 따라서 신뢰할 수 있는 시계열 에이전트 평가에는 기억 유지, 불확실성 처리, 도메인 기반 의사결정 같은 능력이 중요하다. ¹

TimeSage-MT는 8개 실세계 도메인에 걸쳐 240개 과제와 2,680개 대화 턴을 담았고, 원시 시계열을 검증 가능한 답이 붙은 다회차 대화로 변환하는 재현 가능한 파이프라인으로 구축됐다. 과제 범위는 기본 탐색부터 의사결정 지향 분석까지 포괄한다. 저자들은 통합 평가 프로토콜과 공개 리더보드를 제시하고, 프런티어 LLM들과 종합적인 시계열 스킬 라이브러리를 갖춘 구조화 에이전트 TimeSage를 함께 평가했다. ¹

결과의 핵심은 의사결정 지향 과제에서 성능이 급격히 떨어진다는 점이다. 저자들은 그 원인을 기억 유지 실패, 불확실성 처리 미흡, 도메인 기반 의사결정 실패로 진단한다. 실무적으로는 단발 예측 정확도만 보고 시계열 에이전트를 신뢰하기 어렵다는 경고로 읽힌다. 여러 턴에 걸친 대화형 분석에서 현재 에이전트 추론의 중요한 공백이 드러난다는 것이다. ¹

단일 블록을 반복 재사용하는 언어모델, 그 정직한 실패 보고서

쉽게 말하면: 층을 잔뜩 쌓는 대신 하나의 블록을 여러 번 돌려 모델을 가볍게 만들려는 시도인데, 이 논문은 일부 실험에서 기대와 다른 부정적 결과가 나왔다는 점을 함께 보고한다. ²

CART는 깊이 방향으로 하나의 공유 코어 블록을 반복 재사용하는 파라미터 효율 언어모델 구조다. 기존 루프형 트랜스포머가 매 루프마다 키·밸류 표현을 다시 계산하는 것과 달리, CART는 다층 프렐류드에서 키·밸류를 한 번 계산한 뒤 이를 반복 코어 전체에서 재사용한다. ²

CART의 차별점은 프렐류드에서 계산한 키·밸류를 고정한 뒤, 반복 코어가 이를 MLA 교차 어텐션으로 활용하도록 한 것이다. 이 설계는 문맥 인코딩과 반복적 정제를 분리해 루프당 연산을 줄이고 안정적인 어텐션 앵커를 제공한다. 안정성은 학습되는 선형 시불변(LTI) 게이트로 확보하며, 이 게이트는 36개 설정 전반에서 좁은 스펙트럴 반경 범위로 수렴했다. 실험은 소비자용 GPU(RTX 3050, RTX 3090) 단일 장치에서 이뤄졌고, 1단계 64개 설정 하이퍼파라미터 스크린(3,000스텝·49M 토큰), 2단계 36개 설정 학습(30,500스텝·1B 토큰·시퀀스 길이 1024)으로 구성됐다. ²

결과에는 뚜렷한 부정적 신호가 있었다. 1단계의 규모별 최적 예측이 2단계에서 네 건 모두 뒤집혔고, 학습 때보다 반복 횟수를 늘리면 HellaSwag·LAMBADA·PIQA에서 성능이 일관되게 저하됐다. 저자들은 이런 역전을 LTI 게이트가 공격적 폐기 영역에 안착한 점과, 반복을 보상하는 콘텐츠가 부족할 수 있는 텍스트 전용 코퍼스와 연결해 설명한다. 코드, 학습 스크립트, 실험 데이터베이스를 공개한 점도 이 연구의 특징이다. ²

세 개의 스캐너가 서로 다른 위험을 본다 — 에이전트 스킬 보안의 다층 거버넌스

쉽게 말하면: AI 에이전트에 기능을 더해주는 '스킬'을 검사하는 세 종류의 보안 스캐너를 6만 건이 넘는 스킬에 적용했더니, 서로 같은 스킬을 위험하다고 짚는 경우가 드물었다. 하나의 검사기만 믿으면 안 된다는 얘기다. ³

에이전트 스킬은 재사용 가능한 지시, 도구, 스크립트, 참조 자료, 워크플로를 담아 AI 에이전트의 기능을 확장한다. 저자들은 이런 스킬이 모델 안전성이나 전통적 패키지 악성코드 탐지와는 구별되는 별도의 보안 경계를 형성한다고 본다. ³

저자들은 OpenClaw 레지스트리의 공개 스킬 최신 버전 67,453건을 정제해, 각 스킬에 VirusTotal, 정적 휴리스틱 분석, NVIDIA SkillSpector 세 스캐너의 증거와 ClawScan 최종 판정을 짝지은 데이터셋을 공개했다. 라벨은 사람이 붙인 정답이 아니라 레지스트리의 자동 판정이므로, 이 코퍼스는 정제된 실버 스탠더드 데이터셋으로 규정된다. ³

핵심 발견은 스캐너들이 좀처럼 같은 스킬을 짚지 않는다는 점이다. 어떤 두 스캐너도 결합 양성의 최대 10.4%만 겹쳤고, 세 스캐너 모두가 짚은 스킬은 전체의 0.69%에 불과했으며, 플래그된 스킬의 81.9%는 단일 스캐너만 짚었다. 다만 이 불일치는 무작위가 아니라 공격면에 따라 구조화돼 있다. 의미론적 에이전트 위험을 경고하는 SkillSpector는 의심 판정 25,504건 중 19,209건(75.3%)에서 양성이지만 악성 판정 206건 중에서는 14건(6.8%)에 그쳤고, 악성 판정 영역에서는 VirusTotal이 206건 중 150건(72.8%)에서 양성으로 정반대 프로파일을 보였다. 함의는 명확하다. 스킬 보안은 단일 스캐너의 허용/차단 결정이 아니라 계층적 거버넌스를 요구한다. 하나에만 의존하면 그 스캐너의 사각지대를 그대로 물려받는다. ³

여러 LLM을 어떻게 협업시켜야 더 나은 소프트웨어 설계가 나오는가

쉽게 말하면: 여러 AI가 서로 협력해 소프트웨어 설계를 하면 어떤 협업 방식이 더 나은지를 12가지 구조로 통제 실험한 연구다. ⁴

저자들은 권한(중앙집중 대 분산), 역할(동질 대 전문화), 역학(협조 대 적대)의 세 축을 교차하는 요인 설계로 12개 다중 에이전트 협업 구성을 만들었다. 평가는 8개 설계 과제에 5회 반복, 총 520회 실행으로 진행했고, 12차원 루브릭을 세 독립 자동 평가자(GPT-OSS 120B, Claude Opus 4.6, Claude Sonnet 4.6)로 채점했다. ⁴

네 가지 결과가 나왔다. 첫째, 패치가 아니라 재작성을 요구하는 구조적 적대 검토(v4b)가 앙상블 기준 1위(가중 앙상블 4.637/5.0)였다. 둘째, 한 모델로 생성하고 다른 모델로 검토하는 교차 모델 검토(v2b)가 세 평가자 모두에게서 2위(4.606)로 만장일치였다. 셋째, 평가자 다양성 자체가 발견이다. 세 평가자 모두 v4b를 최고, v3를 최악으로 봤지만 v2b에서는 크게 갈렸다(Claude d=1.44 대 GPT-OSS d=0.45). 넷째, 병렬 병합은 근본적으로 망가졌다. 세 평가자 모두 병합 변형을 최하위권(3.65~3.79)에 뒀는데, 토큰 부족과 '프랑켄슈타인 효과' 때문이다. ⁴

실무적 함의는 두 가지 고품질 메커니즘이 서로 다른 경로로 우수성에 도달한다는 점이다. 하나는 재작성을 강제하는 적대적 검토이고, 다른 하나는 다른 모델 계열이 검토해 사각지대를 드러내는 교차 모델 검토다. 반대로 여러 결과를 단순 병합하는 방식은 피해야 한다. 다만 평가는 사람 아닌 자동 평가자에 의존했고, 평가자 계열별로 설계 품질을 다르게 가중하는 차이가 드러났다는 점은 결과 해석 시 주의가 필요하다. ⁴

주제 유사성을 넘어, 근거가 되는 토큰을 짚는 RAG 검색기

쉽게 말하면: 검색형 AI가 질문과 '주제만 비슷한' 문단에 머무르지 않고, 실제로 사실을 뒷받침하는 문단과 그 안의 핵심 단어까지 짚도록 학습시킨 연구다. ⁵

저자들은 RAG에서 사실성과 해석 가능성을 보장하는 문제가 여전히 중요하다고 본다. 이 연구의 초점은 단순한 주제 유사성을 넘어, 검색기가 어떤 토큰이 지지 증거를 구성하는지 식별하도록 만드는 데 있다. ⁵

CERA는 주관성 기반 하드 네거티브 선택을 도입하고, 대조 학습에 증거적 귀납 편향을 주입하는 보조 어텐션 정렬 손실을 결합한 첫 검색 프레임워크다. 밀집 검색기를 트리플릿 기반 대조 학습과 해석 가능한 어텐션 정렬이라는 두 목표로 파인튜닝하는데, 후자는 사람이 주석한 사실 근거에 대해 품사 가중 마스킹 분포를 써서 CLS-토큰 어텐션을 감독한다. 즉 어텐션이 사람이 짚은 근거를 따라가도록 유도해, 검색기가 어떤 토큰이 지지 증거인지 식별하게 만든다. ⁵

임상시험 보고서 대규모 코퍼스 실험에서 주관성 기반 하드 네거티브 선택은 Contriever와 기존 하드 네거티브 기준선 대비 검색 효과를 크게 높였고, 근거 정렬은 검색 성능을 경쟁력 있게 유지하면서 충실도(faithfulness)를 개선했다. 저자들은 어텐션이 사람 근거로 유도될 때 모델 행동의 더 충실한 설명이 될 수 있다는 가설을 뒷받침한다고 본다. 데이터·코드·모델을 공개했으며, CERA는 RAG 시스템에서 증거를 더 해석 가능하게 고르도록 돕는 접근이다. ⁵

정확도·속도·미분가능성을 한꺼번에 밀어붙인 드론 시뮬레이터

쉽게 말하면: 드론 제어 알고리즘을 훈련할 때 쓰는 시뮬레이터인데, 빠르고 정확하면서 학습에 필요한 기울기까지 계산해주도록 하나로 묶었다. 실제 드론을 공중에 던져 0.38초 만에 회복 정책을 처음부터 학습시켜 안정화할 만큼 빠르다. ⁶

항공 로보틱스 시뮬레이터는 고충실도, 미분가능성, 군집 지원 같은 요구를 각각 따로 발전시켜 왔지만, 이 모두를 아우르며 대규모 합성 데이터를 만들 수 있는 통합 플랫폼은 부족했다. ⁶

Crazyflow는 JAX로 구현한 GPU 가속·미분가능 시뮬레이터로, 모델 기반부터 데이터 기반, 기울기 기반부터 샘플링 기반, 단일 에이전트부터 다중 에이전트까지 폭넓은 방법론을 지원한다. 기존 최고 수준 드론 시뮬레이터 대비 단일 드론에서 한 자릿수 이상 빠른 속도를 내고, 각 4,000대 드론으로 구성된 수천 개의 군집을 시뮬레이션할 수 있다. 오픈소스 Crazyflie 모델과 직접 호환되며, 경량 시스템 식별 파이프라인으로 커스텀 드론 플랫폼과 애플리케이션에 빠르게 재구성될 수 있다. ⁶

실제 실험에서 도메인 무작위화 없이도 서브센티미터 궤적 추종 정확도로 해석적 기울기 기반 정책 학습을 달성했고, 샘플링 기반 장애물 회피를 초당 5억 스텝을 넘는 속도로 수행했다. 나아가 훈련 후 배포라는 전통적 패러다임을 깨고, 물리 드론을 공중에 던진 뒤 0.38초 만에 회복 정책을 처음부터 학습시켜 안정화에 성공하는 '비행 중 강화학습'을 시연했다. 오픈소스로 공개된 이 자원은 대규모 합성 데이터 생성과 실행 중 온라인 학습·최적화의 문을 여는 도구로 제시된다. ⁶