이 글의 논문들은 하나의 숫자로 뭉뚱그려 왔던 것을 잘게 나누는 데 집중한다. 감정 인식의 불확실성을 두 종류로 쪼개고, 연합학습에서 클라이언트별 저차원 부분공간의 어긋남을 겨냥하며, 예측 벤치마크에서 미래 정보 누출을 걷어내고, 추론 효율화에서 보상 붕괴의 경로를 분해한다. 겉으로 좋아 보이는 지표가 실제로 무엇 덕분인지 되묻는 태도가 공통점이다.
'헷갈리는 표정'과 '처음 보는 입력'을 갈라 대응하는 감정 인식
쉽게 말하면: 표정 인식 AI가 확신이 없을 때, 그게 '사람들도 헷갈리는 애매한 표정'이라서인지 '학습 때 못 본 낯선 사진'이라서인지 구분해서, 앞은 애매함을 표시해 남기고 뒤는 거절하도록 만든 연구다. 1
표정 인식은 본질적으로 모호하다. 사람 평가자끼리도 자주 의견이 갈리고, 실제 환경에서는 학습 분포를 벗어난 입력을 만난다. 문제는 이 두 상황이 서로 다른 후속 조치를 요구한다는 데 있다. 분포 안에 있는 애매한 얼굴은 그 애매함과 함께 보고해야 하고, 분포를 벗어난 입력은 거절해야 한다. 그런데 단일 불확실성 점수는 이 둘을 뒤섞어 버린다. 1
저자들은 완전히 파인튜닝한 DINOv2 모델의 딥 앙상블에서 우연적(aleatoric) 불확실성과 인식적(epistemic) 불확실성을 분해했다. 핵심은 각 성분을 독립된 외부 신호로 검증하는 이중 검증 프로토콜이다. 우연적 성분은 평가자 불일치와, 인식적 성분은 이미지 손상으로 유발한 분포 변화와 맞대어 본다. 이렇게 검증한 두 신호로 추론 시점에 경로를 나누는 UAR(Uncertainty-Aware Routing)을 제안했다. 인식적 불확실성이 높으면 분포 밖 입력으로 보고 거절하고, 우연적 불확실성이 높으면 애매한 분포 내 얼굴로 보고 남긴다. 1
검증 결과 우연적 불확실성은 평가자 불일치를 스피어만 상관 0.66(95% CI 0.64–0.68)으로 회복했고, 인식적 불확실성은 최고 손상 강도에서 평균 AUROC 0.699로 분포 변화를 잡아냈다. UAR은 동일한 분포 밖 거절률에서 단일 불확실성 라우팅보다 애매한 분포 내 얼굴을 약 1.8배 더 보존했다. 흥미로운 대조는 강한 레이블-분포-학습 베이스라인이다. 이 방법은 불일치 회복은 비슷하게 하지만 애매함과 분포 변화를 분리하지 못해 라우팅 자체가 불가능하다. 곧 분해의 가치는 성능 수치가 아니라 '분리가 가능하게 하는 차별적 행동 선택'에 있다는 주장이다. 1
연합 LoRA에서 상쇄되는 업데이트를 부분공간 정렬로 막다
쉽게 말하면: 데이터를 나눠 가진 여러 기기가 각자 배운 것을 서버에서 합칠 때, 서로 방향이 어긋나 힘이 상쇄되는 문제를, 다 같은 기준 방향에 가깝게 붙잡아 두어 완화한 연구다. 2
연합학습에서 큰 모델을 LoRA로 미세조정하면 통신·프라이버시 제약 아래에서 파인튜닝할 수 있다. 그러나 클라이언트 데이터가 이질적이면 각자 배운 저차원 업데이트가 서로 다른 부분공간을 향하게 된다. 저자들은 이 부분공간 어긋남이 서버에서 합쳐질 때 파괴적 집계를 일으키고, 이것이 LoRA 기반 연합학습의 느린 수렴에 기여하는지 연구한다. 2
해법은 Subspace-Regularized LoRA다. 각 클라이언트의 로컬 업데이트가 서버의 공유 참조 부분공간에 가깝게 머물도록 유도하는 목적함수를 제안한다. 방향을 맞춰 파괴적 간섭 대신 더 안정적인 집계를 유도하겠다는 것이다. 2
실험은 RoBERTa-large와 SmolLM-360M 두 모델에서 HellaSwag를, 비IID 10-클라이언트 설정으로 시드 3개(42, 43, 44)를 돌려 총 24회(4방법×3시드×2모델)로 구성했다. RoBERTa-large에서는 Subspace-Reg가 세 시드에서 평균 최고 정확도, 평균 최종 정확도, 최저 최종 손실을 기록하며 FedAvg·SVD 재분배·FedSVD를 큰 차로 앞섰다. 다만 SmolLM-360M에서는 정확도로 FedAvg가 앞서, 정확도 이득이 모델에 따라 달라진다는 점을 저자들이 직접 밝힌다. 반면 기저 중첩도(basis overlap)는 두 모델·모든 시드에서 거의 완벽한 수준이었고 베이스라인들은 그보다 낮아, 기하학적 정렬 가설 자체는 견고하게 뒷받침됐다. 곧 정렬은 확실히 일어나지만 그것이 늘 정확도로 이어지진 않는다는 절반의 확인이다. 코드는 GitHub에 공개됐다. 2
브라질 대학 논술 시험으로 포르투갈어 LLM을 채점하다
쉽게 말하면: 객관식이 아니라 서술형 답을 요구하는 브라질 주요 대학 2차 입시 문제로, 포르투갈어 LLM들이 얼마나 깊이 추론하고 답을 쓰는지 재는 채점표 기반 벤치마크를 만든 연구다. 3
LLM 평가는 영어에 쏠려 있고, 포르투갈어는 사용자 2억 5천만 명이 넘는데도 평가가 상대적으로 부족하다. 기존 BLUEX는 브라질 대학 입시의 객관식 문제로 이 공백을 다뤘지만, 더 어려운 2차 시험의 자유 서술형 답변은 다루지 못했다. 이 2차 시험은 더 깊은 추론과 생성 능력을 요구한다. 3
BLUEX v2는 두 대학의 2차 입시(UNICAMP Comvest, USP Fuvest) 2022–2025년 문제에서 뽑은 395문항을 919개 채점 대상 소문항으로 펼친 데이터셋이다. 문항의 55.7%가 이미지를 포함하는데, 시각 모델과 텍스트 전용 모델을 함께 비교하려고 추론 시 맥락 인식 캡션으로 표현했다. 각 문항에는 과목 영역, 공식 참조 답안, LLM이 생성한 채점 기준(rubric), 여섯 개 인지 능력 태그가 붙는다. 채점은 LLM-as-a-judge 방식으로 수행했다. 3
21개 최신 모델을 평가한 결과 0–10 척도에서 4.18–9.10, 즉 4.92점의 격차가 벌어졌다. 가장 어려운 능력 차원은 수학적 추론과 이미지 이해였다. 함의는 분명하다. 실제 입시형 서술·멀티모달 문제에서 모델 간 격차가 크고, 수학·이미지 영역이 상대적 약점으로 드러난다. 평가 코드, 모델 출력, 데이터셋은 GitHub와 Hugging Face에 공개됐다. 3
포르투갈어에 맞춰 다시 학습시킨 현대적 인코더 moBERTo
쉽게 말하면: 검색·분류 같은 실무 파이프라인에서 여전히 쓰이는 소형 인코더 모델을, 영어용 최신 설계인 ModernBERT에서 출발해 포르투갈어에 맞게 이어 학습시켜 성능을 끌어올린 연구다. 4
디코더형 거대 모델이 유행해도 정보 검색·문서 분류·개체명 인식·자연어 이해 같은 실무 NLP 파이프라인에서는 인코더 전용 모델이 여전히 중요하다. 저자들은 ModernBERT-base 체크포인트를 포르투갈어에 맞게 이어 학습한 moBERTo를 제안한다. 4
moBERTo는 ModernBERT-base 체크포인트에서 출발해 이어 학습(continued pretraining)한다. FineWeb2에서 뽑고 교육·STEM 분류기로 거른 120억 토큰 코퍼스를 5에폭, 총 600억 토큰 학습했다. 원 아키텍처의 RoPE, 지역-전역 교차 어텐션, 플래시 어텐션, 언패딩은 그대로 보존한다. 여기에 포르투갈어 토크나이저, 부분단어 매칭 임베딩 전이, 8,192 토큰 장문 후속학습을 조합한 변형을 실험했다. 4
최고 변형은 세 개의 포르투갈어 검색 벤치마크에서 평균 리랭킹 nDCG@10 최고치를, PLUE-PT에서도 최고 성능을 냈다. 절제 실험의 결론이 특히 실무적이다. (i) 처음부터 학습하기보다 이어 학습이 강하게 낫고, 특히 장문 처리 능력 보존에 유리하다. (ii) 토크나이저 적응은 토큰 단위 과제를 개선하지만 장문 검색은 오히려 떨어뜨린다. (iii) 8,192 토큰 전용 장문 후속학습이 리랭킹과 NER을 추가로 끌어올린다. (iv) 판별 과제에서는 인코더 전용 구조가 더 큰 디코더 전용 대안과 여전히 경쟁력을 유지한다. 곧 토크나이저 적응은 공짜가 아니라 과제별 상충을 낳는다는 점을 저자들이 직접 드러낸다. 가중치와 학습 데이터는 Hugging Face에 공개됐다. 4
미래 정보 누출을 걷어내자 LLM 예측의 우위가 흐려졌다
쉽게 말하면: 금융 예측 벤치마크가 흔히 '결정 시점에는 아직 관측할 수 없는 데이터'를 쓰는 문제를 엄격히 막아 보니, LLM의 중앙값 기준 신호 상당 부분이 단순한 매크로 유사 검색 모델로도 설명된다는 연구다. 5
검색증강 LLM 예측 벤치마크는 모델의 실제 능력과 정보 누출을 뒤섞곤 한다. 특정 시점 라벨이 붙은 거시 지표가 실제 결정 시점에는 아직 관측 불가능할 수 있기 때문이다. 저자들은 이 누출을 통제한 채, 7B 오픈소스 LLM 예측기가 미국 주식 스타일 팩터 7종을 순위 매길 수 있는지, 그리고 관찰되는 신호가 LLM 구조 덕분인지 결정 시점 정보집합 덕분인지를 분리해 묻는다. 5
핵심 설계는 각 월말 결정 시점에 관측 가능한 정보만 쓰는 것이다. 예측기는 지연 처리한 FRED 거시 변수, 최근 거시 이벤트 요약, 아직 발표되지 않은 당월 인플레이션을 대신하는 클리블랜드 연준의 일별 CPI 나우캐스트 아카이브를 본다. 매크로-아날로그 검색 모듈이 과거 상태를 고르면, 비평(critic) LLM이 그것을 하나의 전술 규칙으로 압축하고, 행위(actor) LLM이 현재 상태와 최근 규칙을 팩터 점수로 매핑한다. 평가 창은 2023-04부터 2026-03까지 36개월 워크포워드다. 5
전체 파이프라인의 월별 스피어만 순위 IC 중앙값은 양(+)이었고 세 개의 비겹침 12개월 하위창에서도 평균이 양이었다. 그러나 평균 IC는 통계적으로 검정력이 부족해 부트스트랩 95% 신뢰구간이 0을 포함했다. 결정적으로, 같은 결정 시점 제약 아래 단순 kNN 매크로-아날로그 모델이 비슷한 중앙값 IC를 회복했다. 곧 중앙값 신호의 상당 부분은 실시간 인플레이션 정보와 매크로 유사 검색으로 설명된다는 뜻이다. LLM 파이프라인은 더 높은 평균 IC와 더 강한 롱숏 배분 점검 결과를 보였지만, 저자들은 그 한계적 이득이 롱숏 포트폴리오 형성을 좌우하는 극단 순위에 집중된다고 설명한다. 5
추론을 짧게 만들려다 무너지는 보상, 그 경로를 끊는 법
쉽게 말하면: 추론 모델이 답을 너무 장황하게 쓰는 걸 줄이려고 '짧으면 상, 길면 벌'을 주면 종종 학습이 무너지는데, 벌을 정답에만 걸고 압박 강도를 동적으로 조절해 붕괴를 막은 연구다. 6
대형 추론 모델을 효율적으로 추론하도록 학습시키는 것은 중요한 과제다. 이를 줄이려 GRPO 보상에 길이 페널티를 더할 수 있지만, 이런 방식은 보상 붕괴(reward collapse)를 자주 일으켜 추론 능력을 크게 떨어뜨린다. 6
저자들은 여러 보상 구성을 체계적으로 비교해 근본 원인을 지목한다. 오답에 연속적 길이 페널티를 가하는 것이 주범이다. GRPO의 그룹 정규화가 오답에 연속 페널티를 줄 때 발산하는 어드밴티지를 만들기 때문에, 오답의 길이를 벌하는 방법은 지속 최적화에서 구조적으로 붕괴하기 쉽다. 페널티를 정답에만 국한하면 이 1차 실패는 피하지만, 이번엔 정답 응답의 과압축에서 오는 확률적 붕괴에 여전히 노출된다. 곧 정답 전용 보상은 1차 실패를 피하지만 충분히 안정적인 해법은 아니다. 6
제안한 Acoer(Adaptive Correct-Only Efficiency Reward)는 세 장치를 결합한다. 간결성 보상을 정답 롤아웃에만 걸어 구조적 페널티 루프를 제거하고, 적응적 예산 정규화와 제어 루프 페널티 조정으로 확률적 과압축을 막는다. 여러 수학 추론 벤치마크에서 Acoer는 기본 모델 대비 전체 정확도를 개선하면서 토큰 생성을 60% 이상 줄였다. 저자는 고려대·숭실대 소속이다. 6