불확실성을 나누고, 보상을 다듬고, 언어의 지평을 넓히다 — 신뢰할 수 있는 AI를 향한 연구들

이 연구들에는 모델의 겉보기 성능을 그대로 받아들이기보다, 그 성능이 어떤 신호와 조건에서 나오는지 따져 보려는 작업들이 포함돼 있다. 감정 인식의 불확실성을 두 성분으로 나누고, 추론 모델의 보상이 무너지는 원인을 분석하며, 예측 벤치마크에서 정보 누수를 통제하는 연구가 대표적이다. 포르투갈어 평가·인코더 연구와 연합학습 연구도 각각 평가 자원, 모델 적응, 업데이트 정렬 문제를 다룬다.

'애매한 표정'과 '처음 보는 얼굴'을 갈라서 다르게 대응하기

쉽게 말하면: 얼굴 표정을 읽는 AI가 자신 없어 할 때, 그것이 '사람들도 헷갈리는 애매한 표정'이라서인지 '학습 때와 다른 입력'이라서인지 구분해, 각각 다르게 처리하도록 만든 연구다. ¹

표정 인식은 본질적으로 애매하다. 사람 평가자들끼리도 자주 의견이 갈리고, 실제 배포 환경에서는 학습 분포를 벗어난 입력이 들어온다. 문제는 이 두 상황이 요구하는 대응이 다르다는 데 있다. 분포 안에 있으면서 애매한 얼굴은 그 애매함과 함께 보고해야 하지만, 분포를 벗어난 입력은 거부해야 한다. 그런데 기존처럼 불확실성을 하나의 점수로 뭉뚱그리면 이 둘을 구별할 수 없다. ¹

저자들은 완전 미세조정한 DINOv2 모델의 딥 앙상블에서 불확실성을 우연적(aleatoric)·인식적(epistemic) 성분으로 나눈다. 핵심은 '이중 검증' 프로토콜이다. 우연적 불확실성은 평가자 불일치와, 인식적 불확실성은 이미지 손상으로 유발한 분포 변화와 각각 독립적으로 대조해 의미를 검증한다. 그 위에 추론 시점 라우팅 기법 UAR(Uncertainty-Aware Routing)을 얹어, 분리된 불확실성을 활용해 입력을 다르게 처리한다. ¹

검증 결과 우연적 불확실성은 평가자 불일치를 스피어만 상관 0.66(95% CI 0.64–0.68)으로 복원했고, 인식적 불확실성은 최고 손상 강도에서 평균 AUROC 0.699로 분포 변화를 잡아냈다. UAR은 분포 외 거부율을 동일하게 맞춘 조건에서 단일 불확실성 라우팅보다 약 1.8배 더 많은 애매한 분포 내 얼굴을 보존했다. 저자들은 강력한 레이블 분포 학습 기준선이 불일치 복원 자체는 비슷하게 해내지만 애매함과 분포 변화를 분리하지 못해 라우팅이 불가능함을 보여, 분해의 가치가 '분리를 통한 해석 가능하고 차별화된 행동 선택'에 있음을 제시한다. 이는 운전자 모니터링이나 감성 컴퓨팅처럼 표정 인식이 쓰이는 분야에서 단일 신뢰도 점수의 한계를 짚어준다. ¹

연합학습에서 서로 어긋난 저차원 업데이트가 상쇄되는 것을 막다

쉽게 말하면: 여러 기관이 데이터를 공유하지 않고 함께 모델을 미세조정할 때, 각자 학습한 저차원 업데이트가 서로 다른 방향을 향하다 합쳐지며 성능을 해칠 수 있는 문제를, 공유 기준 부분공간에 가깝게 유지하도록 제약해 완화하려는 연구다. ²

연합학습에서 LoRA 같은 저차원 미세조정은 통신·프라이버시 제약 아래 대형 모델을 다루는 매력적인 선택지다. 하지만 클라이언트 데이터가 이질적이면 각자의 저차원 업데이트가 기하학적으로 어긋날 수 있다. 저자들은 이런 부분공간 불일치가 LoRA 기반 연합학습에서 파괴적 집계와 느린 수렴으로 이어지는지를 연구한다. ²

해법은 부분공간 정규화 연합 LoRA 목적함수다. 이 방법은 각 클라이언트의 로컬 업데이트가 공유된 전역 기준 부분공간에 가깝게 머물도록 유도한다. 저자들은 RoBERTa-large와 SmolLM-360M 두 모델을 HellaSwag 과제, 비-IID 10 클라이언트 환경에서 3개 시드(42·43·44)로 총 24회(4 방법×3 시드×2 모델) 실험했다. ²

RoBERTa-large에서 Subspace-Reg은 세 시드 전반에서 가장 강한 평균 최고 정확도·평균 최종 정확도와 가장 낮은 최종 손실을 기록하며 FedAvg, SVD 재분배, FedSVD를 큰 폭으로 앞섰다. 다만 SmolLM-360M에서는 FedAvg가 정확도에서 앞서, 정확도 이득이 모델에 따라 다름이 드러났다. 결정적으로 Subspace-Reg은 두 모델·모든 시드에서 거의 완벽에 가까운 기저 중첩을 달성했고, 이는 기하학적 정렬 가설을 뒷받침한다. 정확도 개선이 모델 의존적이라는 결과는 이 기법을 도입할 때 대상 모델과 환경에 대한 검증이 필요함을 시사한다. 코드는 공개되어 있다. ²

객관식을 넘어 서술형으로 — 포르투갈어 논술 시험으로 LLM을 가르다

쉽게 말하면: 지금까지 포르투갈어 AI 평가는 객관식 중심이었는데, 브라질 주요 대학의 2차 입학시험 문제로 '자유 서술형 답안'을 채점하는 벤치마크를 만들어 21개 최신 모델을 시험한 연구다. ³

LLM 평가는 영어 중심으로 쏠려 있고, 2억 5천만 명이 넘게 쓰는 포르투갈어는 특히 깊은 추론과 생성을 요구하는 서술형 과제에서 평가 자원이 부족했다. 기존 BLUEX는 브라질 대학 입학시험의 객관식으로 이 공백을 메웠지만, 자유 서술 답안을 요구하는 더 까다로운 2차 시험은 다루지 못했다. BLUEX v2는 UNICAMP와 USP의 2022–2025년 2차 시험에서 뽑은 395개 문항(919개 채점 하위문항)으로 구성되며, 문항의 55.7%가 이미지를 포함한다. 이미지는 텍스트 전용 모델도 평가할 수 있도록 추론 시점에 맥락 반영 캡션으로 표현된다. ³

각 문항에는 과목, 공식 참조 답안, LLM이 생성한 채점 기준(rubric), 여섯 개 인지 능력 태그가 붙는다. 평가는 LLM-as-a-judge 방식을 쓴다. 21개 최신 모델을 평가한 결과, 0–10점 척도에서 4.18점부터 9.10점까지 4.92점의 성능 격차가 나타나 벤치마크의 변별력을 보여줬다. ³

능력 차원별로는 수학적 추론과 이미지 이해가 가장 어려운 축으로 나타났다. 평가 코드, 모델 출력, 데이터셋은 GitHub와 Hugging Face에 공개되어 있다. 여러 모델을 대상으로 한 이 결과는 비영어권 서술형 평가 설계에 참고점을 제공한다. ³

처음부터 학습하지 않고 이어서 학습해 포르투갈어 인코더를 현대화하다

쉽게 말하면: 검색·분류처럼 실무 파이프라인에서 여전히 쓰이는 '인코더 모델'을, 영어용 최신 모델을 바탕으로 이어서 학습시켜 포르투갈어에 맞게 적응시킨 연구다. ⁴

디코더 기반 대형 언어모델이 각광받지만, 인코더 전용 트랜스포머 모델은 여전히 생산 환경의 여러 NLP 파이프라인에서 중요하게 쓰인다. 저자들은 포르투갈어용 ModernBERT 적응 모델인 moBERTo를 제안한다. 출발점은 RoPE, 교대식 국소-전역 어텐션, 플래시 어텐션, 언패딩을 포함하는 ModernBERT-base 체크포인트다. ⁴

moBERTo는 FineWeb2에서 추출하고 교육·STEM 분류기로 걸러낸 120억 토큰 코퍼스를 5 에폭, 총 600억 토큰 이어서 학습했다. 원 아키텍처를 보존하면서 포르투갈어 적응을 수행했고, 정보 검색, 최대 8,192 토큰 장문 검색, 문서 분류, 개체명 인식, 자연어 이해에서 평가했다. 최적 변형은 포르투갈어 토크나이저와 하위단어 매칭 임베딩 전이, 장문 후속 학습을 결합해 세 개 포르투갈어 검색 벤치마크에서 최고 평균 재순위 nDCG@10과 PLUE-PT 최고 성적을 달성했다. ⁴

제거 실험은 네 가지를 드러낸다. 첫째, 이어 학습이 처음부터 학습보다 특히 장문 능력 보존에서 확실히 유리하다. 둘째, 토크나이저 적응은 토큰 단위 과제를 개선하지만 장문 검색은 오히려 저하시킨다. 셋째, 8,192 토큰 전용 장문 후속 학습은 재순위와 개체명 인식을 추가로 끌어올린다. 넷째, 인코더 전용 구조는 판별 과제에서 더 큰 디코더 전용 대안과 여전히 경쟁력이 있다. 토크나이저 적응이 과제에 따라 득실이 엇갈린다는 점은 실무자가 목적에 맞춰 취사선택해야 함을 뜻한다. 모델 가중치와 학습 데이터는 Hugging Face에 공개되어 있다. ⁴

정보 누수를 걷어낸 예측 벤치마크 — LLM의 실력인가, 미래를 엿본 것인가

쉽게 말하면: 금융 예측 AI가 잘 맞히는 듯 보여도, 사실은 '그 시점에 알 수 없었던 미래 정보'를 쓴 덕분일 수 있다는 점을 지적하고, 그런 누수를 통제한 조건에서 다시 성능을 측정한 연구다. ⁵

검색증강 LLM의 예측 벤치마크는 흔히 모델 능력과 정보 누수를 혼동한다. 목표 시점의 타임스탬프가 붙은 특징이 실제 의사결정 시점엔 관측 불가능한 경우가 있기 때문이다. 예를 들어 특정 월의 CPI 값은 그 달 말 의사결정 시점에 아직 이용할 수 없는 경우가 있어, 이를 그대로 쓰면 미래 정보가 흘러들 수 있다. 저자들은 7B 오픈소스 LLM 예측기로, 2023년 4월부터 2026년 3월까지 매월 말 '의사결정 시점 정보'만 보게 하는 누수 통제 주식 팩터 순위 벤치마크를 구축했다. ⁵

핵심 설계는 지연 처리한 FRED 거시 변수, 최근 거시 이벤트 요약, 아직 발표되지 않은 당월 인플레이션을 위한 클리블랜드 연준의 아카이브 일별 CPI 나우캐스트만 관측하게 하는 것이다. 거시-유사 검색 모듈이 과거 상태를 골라내면, 비평가 LLM이 이를 하나의 전술 규칙으로 압축하고, 행위자 LLM이 현재 상태와 최근 규칙을 일곱 개 미국 주식 스타일 팩터의 점수로 매핑한다. ⁵

전체 파이프라인은 월별 스피어만 순위 IC의 중앙값을 산출했고, 세 개의 겹치지 않는 12개월 하위구간에서 모두 양(+)의 평균을 냈다. 그러나 평균 IC는 통계적으로 검정력이 부족해 부트스트랩 95% 신뢰구간이 0을 포함한다. 같은 의사결정 시점 제약 아래 kNN 거시-유사 기준선이 비슷한 중앙값 IC를 회복해, 실시간 인플레이션 정보와 거시 유사 검색이 중앙값 신호의 상당 부분을 설명함을 보여준다. LLM 파이프라인은 더 높은 평균 IC와 더 강한 롱-숏 배분 점검을 유지하지만, 그 추가 이득은 롱-숏 포트폴리오 형성에 영향을 주는 극단 순위에 집중된 것으로 해석된다. 부록에는 36개 비평가 규칙에 대한 기술적 감사와 월별 사례 연구가 제시된다. ⁵

틀린 답을 벌하지 말라 — 추론 효율 학습의 붕괴를 막는 보상 설계

쉽게 말하면: 추론 AI가 답을 너무 길게 쓰지 않도록 길이 페널티를 넣어 학습시키면 모델의 추론 능력이 무너질 수 있는데, 그 붕괴의 원인을 밝히고 막는 보상 방식을 제안한 연구다. ⁶

대형 추론 모델을 효율적으로 학습시키는 것은 중요한 과제다. 이를 위해 GRPO에 길이 페널티 보상을 넣으면 장황함을 줄이려는 목적과 달리 보상 붕괴가 발생해 추론 능력이 크게 저하될 수 있다. 저자들은 다양한 보상 구성을 체계적으로 평가해 근본 원인을 짚어낸다. GRPO의 그룹 정규화는 틀린 답에 연속적 길이 페널티가 주어질 때 발산하는 이점(advantage)을 만들어내며, 따라서 '틀린 답의 길이를 벌하는' 방식은 지속적 최적화에서 구조적으로 붕괴에 취약하다. ⁶

다만 페널티를 정답에만 국한하면 이 1차 실패는 피할 수 있지만, 그것만으로는 충분하지 않다. 응답을 과도하게 압축하면서 생기는 확률적 붕괴가 남기 때문이다. 이 두 경로를 모두 막기 위해 저자들은 Acoer(Adaptive Correct-Only Efficiency Reward)를 제안한다. Acoer는 간결성 보너스를 정답 완성에만 국한해 구조적 페널티 고리를 끊고, 동적 예산 정규화와 제어 루프 방식의 페널티 조정으로 과압축에 의한 확률적 붕괴를 막는다. ⁶

여러 수학 추론 벤치마크에서 Acoer는 기저 모델 대비 전체 정확도를 개선하면서 토큰 생성을 60% 넘게 줄였다. 저자들은 붕괴의 원인을 보상 구조와 GRPO 정규화의 상호작용에서 설명하고, 정답에만 효율 보상을 적용하는 안정화 방식을 제시한다. 고려대·숭실대 연구진의 연구로, 추론 모델의 비용을 줄이려는 효율 학습에서 어떤 보상 설계가 위험한지 보여준다. ⁶