평가와 효율이 중심으로: LLM·에이전트가 실제 배포에서 무엇을 못하는지 측정하는 연구들

이 논문들은 신모델 자체보다 실제 환경에서의 평가와 효율 문제를 다룬다. 저렴한 로봇, 다중 에이전트 협업, 대규모 고객 응대, 강화학습 연산 낭비, 정서적 돌봄 대화, 텍스트-이미지 생성까지 서로 다른 무대지만, 공통점은 단순 성공률이나 최종 성과 뒤에 숨은 실패·평가·비용의 구조를 드러내려 한다는 점이다.

값싼 로봇 위에서 VLA 모델은 실패 뒤 얼마나 회복하는가

쉽게 말하면: 비싼 실험용 로봇이나 시뮬레이션이 아니라 저가형 SO-101 로봇 플랫폼에서 최신 로봇 AI를 평가해, 단순 성공/실패를 넘어 실패 유형과 복구 능력을 함께 보려는 연구다. ¹

기존 Vision-Language-Action(VLA) 모델 평가는 주로 시뮬레이션이나 고가의 로봇 플랫폼에서 이뤄져, 저렴한 실제 로봇에서의 강건성은 충분히 탐구되지 않았다. 저자들은 저비용 SO-101 플랫폼을 실제 저가 로봇 배포 조건에서 임베디드 AI 시스템을 평가하는 실용적 벤치마크로 제시한다. ¹

벤치마크는 네 가지 대표 조작 과제와 통일된 평가 프로토콜로 구성된다. 저자들은 원격조종 시연을 활용해 SmolVLA, Wall-X, ACT 등 대표 VLA 및 모방학습 정책을 실제 SO-101 플랫폼에서 미세조정·평가했다. 핵심은 단순 성공률뿐 아니라 구조화된 실패 분류, 의미(semantic) 수준과 실행(execution) 수준의 실패 분해, 복구 인지형 평가 지표를 포함했다는 점이다. ¹

실험 결과 더 강한 사전학습 VLA 정책이 모방학습 기반 기준선보다 대체로 앞섰지만, 성능은 과제에 따라 크게 달랐다. 지배적인 실패 원인은 실행 불안정이었고, 복구 능력은 아키텍처마다 상당히 달랐다. 저자들은 이 결과가 이진 작업 성공률만으로는 로봇 정책의 강건성을 충분히 설명하기 어렵고, 실패와 복구 분석이 함께 필요함을 보여준다고 밝혔다. ¹

각 하위 에이전트에게 무엇을 알려줘야 하는가를 재는 벤치마크

쉽게 말하면: 여러 AI가 팀을 짜서 일할 때, 각 담당자에게 필요한 정보만 골라 지시문을 써 주는 능력을 측정했더니, 최고 모델도 결합 통과율 62.0%에 그치고 평균 성능은 낮았다는 연구다. ²

실제 LLM 활용은 단일 에이전트 워크플로에서 여러 전문 역할이 협업하는 오케스트레이션으로 옮겨가고 있지만, 모델은 아직 어떤 하위 에이전트가 무엇을 알아야 하는지 판단하는 데 어려움을 보인다. 이 연구는 그 능력을 직접 측정하기 위해 다중 에이전트 오케스트레이션 프롬프트 작성 벤치마크를 제안한다. ²

저자들이 제안한 PerspectiveGap은 110개 시나리오로 구성되며, 각 시나리오는 방해 요소가 섞인 두 가지 과제 형식, 즉 역할-정보 조각 배정과 자유 서술형 프롬프트 작성으로 평가된다. 시나리오들은 저자들의 실제 엔지니어링 경험에서 추출한 10개 토폴로지로 정리됐고, 최소한의 역할과 엔지니어링 오버헤드로 효용을 극대화한다는 Prompt Economy 원칙으로 틀이 잡혔다. ²

10개 기업의 상용 모델 33개를 평가한 결과, GPT-5.5가 결합 통과율 62.0%로 다른 모델들을 크게 앞섰다. 그러나 전체 평균 결합 통과율은 17.2%에 그쳤고, 평균 overall leakage rate는 217.9%로 보고됐다. 이 값은 비율이 아니라 시나리오당 정보 누출 이벤트 수를 나타내는 지표이며, GPT-5.5의 값은 49.1%였다. Opus 4.8은 강한 코딩 성능에도 오케스트레이션 프롬프팅에서는 뚜렷한 약점을 보였다. 저자들은 다중 에이전트 오케스트레이션 프롬프팅이 별도로 측정해야 할 능력이라고 결론짓는다. ²

환경이 스스로 보상을 말하게 하라: 치매 돌봄 에이전트의 이중 시간축 강화학습

쉽게 말하면: 치매 환자를 돌보는 AI 대화 훈련에서, 외부 LLM 평가기에 매번 의존하기보다 시뮬레이터가 보여주는 환자의 고통·저항 변화 자체를 턴 단위 보상으로 활용하는 강화학습 방법이다. ³

긴 호흡의 돌봄 에이전트를 학습시키려면 나중에야 드러나는 과제 목표와 당장의 환자 반응, 예를 들어 고통과 저항을 함께 다뤄야 한다. 논문은 궤적 수준 보상만으로는 턴 단위 기여도 배분이 너무 희소하고, 외부 LLM 기반 평가기는 비용이 크며 파편적이거나 간접적인 환자 반응을 오독할 수 있다고 지적한다. ³

제안한 T²-GRPO는 돌봄 강화학습을 두 개의 정규화된 보상 시간축으로 분리한다. 턴 단위 보상은 얼어붙은 치매 환자 시뮬레이터의 상태 전이에서 직접 도출해, 환자의 고통과 저항 변화를 측정한다. 이 환경 기반 보상은 궤적 수준 평가와 결합되며, 독립적인 centered-rank 정규화를 통해 이질적인 보상 신호를 보존하고 보상 붕괴를 완화하도록 설계됐다. 또한 안전은 이진 hard veto로 강제한다. ³

저자들은 치매 돌봄 실험에서 T²-GRPO가 경쟁 베이스라인을 능가했으며, 즉각적 환자 피드백·장기 돌봄 성과·안전 제약을 함께 다뤘다고 보고한다. 이 접근의 핵심은 정서적으로 민감한 돌봄 대화에서 외부 평가기 비용과 희소 보상 문제를 줄이기 위해, 환경 상태 전이에서 밀도 있는 턴 단위 보상 신호를 얻는 데 있다. ³

1억 사용자 규모 고객상담 에이전트를 평가 주도 프레임워크로 굴리다

쉽게 말하면: 1억 명 넘는 사용자를 둔 Nubank가 고객상담 AI 에이전트를 실제 서비스에 배포하면서, 평가 체계의 품질이 개선 속도를 결정한다는 원칙 아래 다섯 개 도메인의 프로덕션 배포 결과를 제시한 사례 연구다. ⁴

LLM 에이전트는 다양한 업무에서 빠르게 가능성을 보이고 있지만, 고객과 직접 만나는 프로덕션 에이전트는 평가 방법론, 맥락 엔지니어링, 훈련, 온라인 측정이 함께 맞물려야 한다. 논문은 이 핵심 기둥들이 보통 따로 개발되기 때문에, 배포 뒤에야 사각지대가 드러난다고 지적한다. ⁴

Nubank 연구진은 오프라인 개발과 온라인 영향을 잇는 통합 프레임워크를 제시한다. 구성 요소는 고객상담 에이전트에 맞춘 구조화된 맥락 엔지니어링, 사람 참여형 프롬프트 반복 개선, 사람 평가자 간 일치도를 측정하고 GEPA로 일관성을 최적화한 엄격한 LLM judge 평가, 그리고 아이디어에서 프로덕션까지 이어지는 검증 절차다. 저자들은 평가 파이프라인의 품질이 반복 개선 속도를 직접 좌우한다고 강조한다. ⁴

프레임워크는 카드 배송, 채무 관리, 신용한도 지원, 카드 관리, 상품 설명 등 다섯 개 도메인의 프로덕션 배포 결과로 제시됐다. 대표 사례인 카드 배송 배포에서는 대규모 A/B 테스트에서 이전 에이전트 대비 AI transactional Net Promoter Score가 37%포인트, self-service rate가 29%포인트 올랐고, 오프라인 시뮬레이션 지표와 온라인 성과 사이에 강한 상관이 나타났다. 대부분의 사용 사례에서 AI 만족도는 전문 상담원과 몇 %포인트 차이까지 근접했다. 저자들은 평가 주도 개발이 프로덕션 영향을 신뢰성 있게 예측할 수 있음을 보였다고 설명한다. ⁴

값싼 추론으로 비싼 훈련을 아낀다: 난이도를 미리 재는 RLVR

쉽게 말하면: 강화학습으로 LLM을 훈련할 때 이미 다 맞히는 쉬운 문제와 전혀 못 푸는 문제에 고정된 롤아웃 예산을 쓰는 낭비를, 사전에 소량의 추론으로 문제 난이도를 추정해 줄이려는 연구다. ⁵

표준 RLVR, 즉 검증 가능한 보상 기반 강화학습은 모든 질의에 고정된 롤아웃 예산을 배정한다. 그 결과 두 가지 대칭적 실패가 생긴다. 정책이 이미 푸는 쉬운 문제는 이점이 거의 0에 가까워지고, 풀 수 없는 문제는 성공이 없어 학습 신호를 만들지 못한다. 두 경우 모두 학습 그래디언트에 기여하지 못한 채 훈련 FLOPs를 낭비한다. ⁵

sGPO(sorted Group Policy Optimization)의 착안점은 작은 추론 FLOPs 예산을 써서 큰 훈련 FLOPs 낭비를 줄일 수 있다는 것이다. 초기 정책으로 질의당 소수의 병렬 샘플을 생성하는 한 번의 오프라인 프로파일링을 수행해, 모델 인지적인 경험적 성공률을 구한다. 이후 훈련 롤아웃 그룹 크기를 이 성공률의 역수로 설정해 샘플 효율을 높인다. 이 단일 프로파일링 패스는 자명한 질의 제거, 풀 수 없는 질의의 서브샘플링, 적응형 그룹 크기 배정, 쉬운 것에서 어려운 것으로의 커리큘럼 구성을 동시에 이끈다. ⁵

실험에서 sGPO는 기준선 성능을 맞추거나 넘어서면서, 초기 추론 프로파일링 비용을 포함해 총 훈련 연산을 2.5~3.1배 줄였다고 보고됐다. 이 연구의 함의는 RLVR 훈련 비용을 낮추려면 모든 질의에 같은 롤아웃 예산을 쓰기보다, 현재 정책이 체감하는 난이도에 따라 연산을 배분하는 방식이 효과적일 수 있다는 점이다. ⁵

BERT의 양방향 문맥을 GAN 텍스트-이미지 생성에 통합하다

쉽게 말하면: 텍스트로 이미지를 만드는 GAN 계열 모델이 긴 문맥과 순차 처리 한계에 부딪히는 문제를, BERT 기반 양방향 언어모델의 문맥 표현을 통합해 개선하려는 연구다. ⁶

GAN 기반 텍스트-이미지(T2I) 모델은 사실적 이미지 합성에서 발전해 왔지만, 여전히 장거리 의존성 포착, 그래디언트 소실, 순차 처리의 한계 같은 문제를 겪는다. BLM-SGAN은 이러한 문제를 겨냥해 Bidirectional Language Modeling을 Semantic-Spatial Text-to-Image Generation에 통합한 모델이다. ⁶

BLM-SGAN은 BERT의 주의 메커니즘을 활용해 풍부한 문맥 정보를 포착하고 긴 시퀀스를 효율적으로 다루도록 설계됐다. 논문은 이를 통해 상세한 텍스트 설명에서 새의 사실적인 이미지를 생성할 수 있다고 설명한다. ⁶

모델은 Inception Score(IS) 5.45 ± 0.08을 기록하며 SSA-GAN, DF-GAN, SD-GAN, AttnGAN 등 경쟁 모델을 앞섰다고 보고한다. 저자들은 구현 코드도 공개했다. 이 연구는 GAN 계열 텍스트-이미지 생성에서 BERT 기반 양방향 문맥 정보를 활용하는 접근을 제시한 사례다. ⁶