라벨은 없다, 판단은 흔들린다: LLM이 스스로 검증하고 조율하는 여섯 갈래의 신뢰성 연구

대형언어모델을 실제 시스템에 적용할 때 마주치는 '믿을 수 있는가'라는 질문을 여러 각도에서 다룬 연구들이 제시됐다. 잘못된 입력을 스스로 바로잡고, 정답 라벨 없이도 시험 시간에 학습하며, 여러 후보 중 하나를 고를 때 인간 판단과의 일치 보장을 높이고, 다중 에이전트 워크플로의 비용을 단계별로 조율하는 연구들이 포함된다. 여기에 웨어러블 장기 신호로 정신건강 관련 웰빙 점수를 추론하는 벤치마크와 실제 규모 도시에서 연속 행동 속 공간 이해를 묻는 환경까지 더해져, 단발성 성능을 넘어 지속적 신뢰성을 평가하려는 흐름을 보여준다.

웨어러블 장기 신호로 마음을 읽는 에이전트, 어디까지 왔나

쉽게 말하면: 웨어러블 기기가 모은 행동·생리 신호를 AI가 읽고 웰빙 점수를 예측하며 그 근거까지 제시할 수 있는지 체계적으로 시험한 연구다. 결론부터 말하면 아직 갈 길이 멀다. ¹

기존의 웨어러블 기반 LLM 개인건강 에이전트는 '지난주 최고 걸음 수는 얼마'처럼 짧은 기간의 검색형 조회에 주로 머물렀다. 정신건강 평가와 관련해 필요한 것은 장기 신호를 바탕으로 웰빙 점수를 예측하고, 그 판단이 어떤 근거에 기반하는지 설명하는 능력이다. 저자들은 이를 위해 BALMS를 제안했고, 이 벤치마크는 3개의 실제 장기 데이터셋, 폐쇄형 웰빙 점수 예측과 LLM 심판이 자동 채점하는 근거 생성이라는 2개 과제군, 3가지 에이전트 패러다임, 5개의 오픈·클로즈드 LLM 백본을 포괄한다. ¹

핵심 발견은 냉정하다. 제로샷 에이전트는 강력한 백본을 쓰거나 의미가 압축된 특징을 줄 때를 제외하면 단순 평균값 기준선조차 좀처럼 넘지 못했다. 사고연쇄(chain-of-thought) 프롬프트는 추론에 특화된 백본의 성능을 끌어올렸지만, 시간적 근거 확보나 수치 정확성을 보장하지는 못했다. 저자들은 장기 정신건강 에이전트가 이력에서 필요한 부분을 선택적으로 검색하고, 시간적 근거를 붙이며, 해석 가능한 행동 특징 위에서 추론해야 한다고 강조한다. ¹

실무적으로는 '긴 신호를 많이 넣으면 자연히 잘하겠지'라는 기대가 충분하지 않음을 보여준다. BALMS가 제시하는 방향은 장기 웨어러블 신호를 다루는 에이전트가 효율성, 시간적 확장성, 근거 기반 추론을 함께 고려해야 한다는 것이다. ¹

다중 에이전트의 비용, 매 단계마다 '진척도'로 조율하다

쉽게 말하면: 여러 AI가 협업해 문제를 푸는 시스템은 호출을 반복하느라 돈과 시간이 많이 드는데, 이 연구는 매 단계 '지금 얼마나 풀렸나'를 보고 어떤 LLM 에이전트를 쓸지 온라인으로 고른다. ²

기존 캐스케이드 라우팅은 질의가 들어올 때 단 한 번, 질의 수준에서 어느 모델에 보낼지 결정한다. 하지만 다중 에이전트 워크플로는 여러 단계로 상태가 계속 바뀌는 구조라, 각 단계에서 필요한 LLM은 지금까지의 진척도, 남은 난이도, 비용 효율 요구에 따라 달라진다. ProgRouter는 이 지점을 겨냥해, 워크플로 실행 중 단계별로 LLM 에이전트를 적응적으로 선택해 품질을 유지하면서 시간·비용 예산을 지키려는 온라인 진척도 기반 라우팅 프레임워크다. ²

구조는 세 축이다. 먼저 다중 관점 과제 진척도 채점기가 워크플로 결과의 거친 국면과 하위 과제 완료, 진척 추세, 워크플로 상태 품질 같은 세밀한 신호를 결합한다. 이어 이중 경로 과제 진척 예측기와 적응형 메타 게이팅 메커니즘이 후보 LLM 각각의 예상 진척 이득을 추정한다. 이를 바탕으로 ProgRouter는 매 단계 진척 이득, 과제 시간 예산, 장기 운영 비용 효율을 저울질해 라우팅 결정을 내린다. ²

HumanEval Plus, MBPP, MATH-500, ASQA 네 벤치마크에서 코드 생성, 수학 추론, 검색증강 장문 QA를 아우르며 실험한 결과, ProgRouter는 주요 기준선 대비 운영 비용을 낮추면서도 강한 문제 해결 성능을 유지했다. ²

틀린 전제를 받아들이지 않는 LLM: 수동 응답에서 능동 교정으로

쉽게 말하면: 사용자가 사실과 다른 전제를 섞어 질문하면 AI가 그 오류에 끌려가 자신 있게 틀린 답을 내놓을 수 있는데, 이 연구는 AI가 입력 속 오류를 먼저 잡아내고 바로잡은 뒤 답하도록 만든다. ³

기존의 환각 완화 접근은 대체로 사용자 입력이 믿을 만하다고 가정해 왔다. 그러나 현실의 입력에는 오도하는 전제가 들어갈 수 있고, 이런 사실 오류는 모델의 추론을 적극적으로 잘못된 방향으로 이끌 수 있다. 저자들은 이 취약성을 입력 사실 교란 문제로 보고, LLM을 수동 응답자에서 능동 오류 교정자로 바꾸는 것을 목표로 삼았다. ³

제안된 DEDUCE는 '탐지-설계-교정' 세 단계 프레임워크다. 먼저 세밀한 사실 추출과 검증으로 입력 속 오류를 찾고, 다중 관점 숙의로 교정 전략을 세운 뒤, 마지막으로 오해를 바로잡으면서 신뢰할 수 있는 답을 낸다. 저자들은 다양한 정도의 사실 오류를 담은 MisFactQA 데이터셋과 모델 강건성을 평가하기 위한 새 지표도 함께 제시했다. ³

TruthfulQA, FalseQA, MisFactQA 실험에서 DEDUCE는 정확도와 오류 교정 능력을 모두 크게 끌어올렸고, Qwen·LLaMA·Gemma 계열에서 일관된 향상을 보여 효과와 확장성을 확인했다. 실무적으로는 '입력은 깨끗하다'는 암묵적 가정을 버리고 입력단의 사실 오류를 방어 대상으로 끌어올린 시각 전환에 무게가 있다. ³

후보가 많아지면 무너지는 심판의 자신감, 두 단계로 되살리다

쉽게 말하면: AI가 여러 답 중 하나를 골라 채점할 때, 선택지가 늘어나면 '얼마나 확신하는가'와 '인간 판단과 얼마나 어긋나는가'의 관계가 흐트러질 수 있다. 이 연구는 먼저 작은 후보 목록으로 좁힌 뒤 고르거나 유보하는 방식으로 인간 판단과의 높은 확률 일치 보장을 가능하게 한다. ⁴

LLM을 평가자로 쓰는 흐름에서 최근 연구는 신뢰도 임계값으로 인간과의 불일치 위험을 보장하는 방법을 내놨지만, 이는 쌍대 비교에 초점을 둔 방식이었다. 실제 배포에서는 여러 후보 중 하나를 골라야 하는 경우가 많다. 문제는 후보 수가 늘면 확률 질량이 여러 선택지로 나뉘어 신뢰도 추정이 왜곡될 수 있고, 이로 인해 '높은 신뢰도 = 낮은 인간 불일치 위험'이라는 가정이 깨질 수 있다는 점이다. ⁴

저자들은 이를 해결하기 위해 '지역화 후 결정(Localize-Then-Decide)' 프레임워크를 제안한다. 1단계에서는 등각예측(conformal prediction)으로 인간이 선호하는 답을 높은 확률로 포함하는 작은 후보 목록을 만들고, 2단계에서는 보정된 신뢰도 규칙으로 그 목록에서 하나를 고르거나 판단을 유보한다. 이 설계는 신뢰도와 불일치 위험 사이의 단조 관계를 복원하고, 높은 확률의 일치 보장을 가능하게 한다. ⁴

여러 후보 수, 여러 데이터셋, 여러 심판 LLM에 걸친 실험에서 이 프레임워크는 단일 단계 기준선보다 보장 달성 성공률이 일관되게 높고 커버리지도 상당히 컸다. 유보 옵션을 둔 설계는 자동 채점 파이프라인을 신뢰도 기반 보장과 함께 운영하려는 실무에 직접적인 시사점을 준다. ⁴

정답 없이 시험 시간에 스스로 강해지는 추론: 비대칭 학습의 발견

쉽게 말하면: 정답 라벨이 전혀 없는 상황에서, AI가 자기가 낸 여러 답의 다수결을 임시 정답으로 삼아 배우면 다수결이 틀릴 때 오류를 강화할 수 있다. 이 연구는 다수결 가짜 라벨과 불일치하는 답들이 대체로 틀린 답이라는 비대칭성을 이용해 라벨 없이 실력을 끌어올린다. ⁵

강화학습이나 온폴리시 자기증류(OPSD) 같은 후처리 기법은 수학 추론을 크게 발전시켰지만 정답 라벨에 의존해 시험 시간 학습(TTT)에는 쓰기 어렵다. 다수결 가짜 라벨로 대체하는 방법은 자연스럽지만 취약하다. 다수결이 틀리면 교사가 오염되고 모든 토큰을 오도할 수 있기 때문이다. 저자들은 이 실패 양상이 비대칭적이라고 본다. 가짜 라벨과 불일치하는 롤아웃은 투표 자체가 맞든 틀리든 대체로 틀린 답이라는 관찰이다. ⁵

TTPO는 이 관찰을 바탕으로 비대칭 목적함수를 제안한다. 가짜 라벨과 일치하는 롤아웃은 OPSD로 증류하고, 불일치하는 롤아웃에는 그룹 강화학습 벌점을 준다. 여기에 토큰 단위 선택을 더해 증류에서는 이미 수렴한 위치의 가중치를 낮추고, 강화학습에서는 확신에 찬 오류만 벌한다. 저자들은 이 두 업데이트가 가짜 라벨 오류가 자주 발생하는 상황에서도 비교적 잘 근거를 유지한다고 설명한다. ⁵

성능도 뚜렷하다. 라벨 없이 학습한 TTPO는 5개의 경쟁 수준 벤치마크에서 라벨 지도 OPSD에 필적했고, 순수 TTT 설정에서 Qwen3-1.7B의 평균 정확도를 38.0%에서 45.2%로 끌어올렸다. 사고 모드를 끈 조건에서는 +25.2%~+36.4%의 향상을 보였고, 강한 교차 과제 일반화도 나타났다. 라벨 확보가 어려운 도메인에서 시험 시간에 모델을 스스로 개선하는 경로를 제시한다. ⁵

실제 규모 도시를 걷게 하니 드러나는 공간 이해의 균열: UrbanGround

쉽게 말하면: AI가 한 장면에서 도시 객체를 잘 알아보더라도, 실제 규모 도시에서 계속 움직이며 시야가 바뀌는 동안 공간 이해를 일관되게 유지할 수 있는지는 별개의 문제다. 이 연구는 그런 문제를 '지역 인식'에서 '공간 주체성'으로 확장해 묻는다. ⁶

멀티모달 LLM 에이전트는 한 시점의 도시 객체 인식에서는 강한 능력을 보였지만, 실제 행동에서는 매 움직임이 다음 1인칭 관찰을 만들어내는 연속적 물리 과정 속에서 정보를 받는다. 에이전트가 모퉁이를 돌면 방금 판단 근거가 됐던 랜드마크가 시야에서 사라질 수 있지만, 그 위치 정보는 여전히 중요하다. 따라서 한 시점에서의 강한 인식만으로는 계속되는 행동 속에서도 공간 이해가 일관되게 유지된다고 말할 수 없다. ⁶

기존 연구도 더 긴 상호작용과 더 큰 공간으로 나아가며 이 문제를 다뤘지만 한계가 있었다. 게임 샌드박스는 장기 궤적과 변화하는 세계를 제공하지만 성공이 게임 고유 규칙에 좌우된다. 물리적으로 접지된 실내 환경은 행동이 장면 기하에 따라 새 관찰을 만들게 하지만, 공간 범위가 제한적이다. 항공 이미지나 파노라마 기반 도시 연구는 실제 지리 맥락을 보존하지만, 에이전트가 같은 도시와 연속적인 물리 접촉을 유지하기보다는 샘플링된 시점 사이를 이동한다. ⁶

UrbanGround의 문제의식은 실제 규모 도시에서 연속 행동을 통해 들어오는 관찰을 조정하며, 과거 증거와 새 시야를 맞춰 에이전트가 자기 위치와 주변 공간에 대한 쓸모 있는 추정을 유지할 수 있는지 평가하는 데 있다. 핵심은 도시 규모의 공간 이해가 고립된 인식 성능만으로는 입증되지 않는다는 점이다. ⁶