실전 조건으로 향하는 LLM: 평가·탐색·추론·에이전트와 AI4AI

이 연구들은 대형 언어모델과 AI 시스템을 실제 활용 조건에 더 가깝게 평가·적응·배포하려는 시도들이다. 자동 평가의 신뢰성, 전자상거래 검색의 발견성, 금융 약관 기반 수치 추론, CT 영상-언어 정합, 실제 기기 중심 GUI 조작, 그리고 AI가 AI 개발 과정을 개선하는 순환까지—각 연구는 통제된 평가를 넘어 더 복잡한 적용 환경을 다룬다.

여러 모델을 심판으로 세우고 체스 점수로 줄 세우기: 자동 평가의 신뢰성 문제

쉽게 말하면: 언어모델이 만든 텍스트를 평가하는 데 드는 부담을 줄이기 위해, 여러 LLM이 출력물을 짝지어 비교하고 Elo 방식으로 순위를 만드는 자동 평가 틀을 제안한 연구다. ¹

출발점은 기존 자동 평가 지표의 한계다. 많은 자동 지표는 LLM 출력의 복잡성과 다양성을 충분히 포착하지 못하고, 명시적 기준 답안에 의존하는 경우가 많아 객관적 벤치마크가 있는 영역에 주로 제한된다. 저자들은 이 틈을 메우기 위해 LLM을 평가자로 활용하되, 단일 모델의 편향을 줄이기 위해 여러 LLM의 비교 판단을 결합한다. ¹

핵심 메커니즘은 여러 LLM이 두 출력물을 짝지어 비교하고, 그 결과를 체스 실력 산정에 쓰이는 Elo 점수 체계로 누적해 해석 가능한 순위를 만드는 것이다. 합의 기준을 전원 만장일치부터 다수결까지 조절할 수 있어, 평가 신뢰도와 커버리지 사이를 유연하게 조정할 수 있다. 이 방식은 명시적 기준 답안이 필요한 평가의 한계를 줄이는 범용 평가 계층을 지향한다. ¹

이 연구는 과학 초록에서 추출한 역량 프로필 평가로 틀을 검증했고, 자동으로 도출한 순위가 전문가 판단과 잘 상관한다는 예비 결과를 보고한다. 실무적으로는 사람 평가 개입을 크게 줄이면서도 더 일관된 품질 평가를 제공하려는 접근으로 읽을 수 있다. ¹

검색이 '정확히 맞는 것'을 넘어 '함께 찾을 만한 것'을 보여주려면

쉽게 말하면: 전자상거래 검색에서 질의와 직접 일치하는 상품만 찾는 데서 나아가, 대체재·보완재·주제상 관련 상품까지 더 잘 발견하게 하려는 연구다. ²

전통적 검색은 질의에 엄격히 맞는 항목을 반환하도록 최적화되어 정밀도를 재현율보다 우선하는 경향이 있다. 그러나 전자상거래, 특히 식료품 검색에서는 사용자 만족과 상업적 성과가 대체재, 보완재, 주제상 관련 상품의 발견 가능성에 크게 좌우된다. 저자들은 이를 발견 증강 검색으로 다루며, 암묵적 사용자 의도를 생성해 후보 회수를 확장하면서 관련성을 유지하려 한다. ²

방법은 비용과 품질의 균형을 노린 2단계 하이브리드 구조다. 상위 빈도 질의에는 폐쇄형 대형 언어모델을 활용해 발견성을 높이고, 롱테일 질의에는 LoRA 어댑터와 교사-학생 증류로 학습한 소형 언어모델을 사용한다. 평가는 사람 선호로 검증한 LLM-as-a-judge 의미 품질 측정과, 세션 단위 구매 분석이라는 이중 틀로 수행했다. ²

결과적으로 이 시스템은 발견 커버리지를 질의 트래픽의 약 60%에서 80%로 넓히면서, 교사 모델 추론 비용의 약 30% 수준으로 이를 달성했다고 보고한다. 저자들은 발견 증강 검색이 관련성 향상을 넘어 롱테일·신규 공급에 질의 조건부 노출 기회를 주는 마켓플레이스 균형 장치가 될 수 있다고 본다. ²

장기를 통째로 보던 CT 모델에 해부학적 문맥을 가볍게 얹기

쉽게 말하면: CT 영상을 전체 볼륨으로만 압축해 보던 기반모델에, 장기 단위 신호와 장기 간 관계를 반영하도록 가볍게 적응시키는 연구다. ³

CT 영상-언어 기반모델은 보통 3D 볼륨 전체 표현으로 학습되어 세밀한 해부학적 신호가 희석될 수 있다. 반대로 장기 단위 시각 특징과 장기별 텍스트를 맞추는 세밀 사전학습은 이 신호를 살리지만, 전체 볼륨 모델이 제공하는 전역 맥락을 버리고 처음부터 학습해야 해 계산 비용이 크다. 저자들의 ACA는 동결된 CT 기반모델 표현을 가볍게 적응시켜 장기 수준 정렬과 전역 문맥을 함께 살리려 한다. ³

ACA는 TotalSegmentator로 CT 볼륨을 해부학 단위 임베딩으로 분해하고, 장기 간 관계를 포착하는 트랜스포머로 이를 정제한다. 이렇게 얻은 표현은 판독문에서 추출한 장기별 텍스트와 스캔 단위 텍스트 모두에 정렬된다. 설계의 핵심은 장기 단위의 세밀한 신호를 살리면서도 전체 해부학적 문맥을 보존하고 강화하는 것이다. ³

이 연구는 Merlin과 CT-RATE에서 ACA가 동결 기반모델 기준선과 기존 세밀 방법을 제로샷 소견 분류에서 일관되게 앞섰다고 보고한다. 임베딩을 미리 캐싱하면 학습이 1시간 미만으로 끝나 계산 효율도 확보했다. 또한 ACA의 장기 간 트랜스포머가 학습한 어텐션 가중치가 그럴듯한 해부학적 문맥 경로를 나타낸다고 제시한다. ³

신용카드 약관으로 시험한 언어모델의 금융 추론: 산수보다 규칙에서 넘어진다

쉽게 말하면: 실제 신용카드 약관에서 나온 수수료·이자·결제 관련 수치 추론 문제로 언어모델을 시험했더니, 계산 자체보다 금융 규칙 적용과 조건 해석에서 실패가 많이 발생한다는 연구다. ⁴

저자들은 실제 신용카드 약관에서 도출한 금융 리터러시 수치 추론 벤치마크 CreditCardQA를 제시한다. 데이터셋은 1,800개 문항으로 구성되며, 소비자가 수수료·이자·결제에 대해 자연스럽게 묻는 방식을 반영한 1인칭 변형도 포함한다. ⁴

평가는 여러 대형 언어모델과 추론 모델을 Chain-of-Thought(CoT) 및 Program-of-Thought(PoT) 프롬프트 아래 비교했다. PoT는 전반적으로 일관된 성능 향상을 보였고, 특히 기본 추론력이 약한 모델에서 효과가 컸으며 오픈소스와 폐쇄형 시스템 간 격차를 좁혔다. 오류 분석에 따르면 실패는 산술보다 잘못 적용된 금융 규칙, 놓친 조건, 계약 용어 오해에서 더 많이 발생했다. 비교 연산, 조건 논리, 금액 제약도 특히 어려운 요소로 나타났다. ⁴

이 연구의 함의는 개인 금융 상담에서 LLM을 사용할 때 계산 능력만으로는 충분하지 않다는 점이다. 오류는 연체 수수료나 소액 잔액 같은 예외 상황에서 자주 발생하며, 이런 상황은 저소득층이나 금융 취약 개인에게 더 영향을 미칠 가능성이 크다. 따라서 금융 도메인에서는 규칙과 조건 해석의 신뢰성을 별도로 검증해야 한다. ⁴

시뮬레이터를 넘어 실제 기기 중심으로 가는 GUI 에이전트

쉽게 말하면: 화면을 보고 디지털 기기를 조작하는 GUI 에이전트를 실제 사용 환경에 더 가깝게 만들기 위해, 모바일·컴퓨터·웹·DeepSearch 환경을 아우르는 기반 GUI 에이전트를 제시한 기술 보고서다. ⁵

Qwen-UI-Agent는 GUI 에이전트를 실제 사용으로 진전시키기 위해 실제 기기에서 안정적으로 작동하고, 플랫폼을 넘나드는 워크플로를 수행하며, GUI 상호작용과 CLI 실행을 결합하고, 장기 과제를 완료하며, 유용한 서비스를 능동적으로 시작하고, 최소한의 사람 개입으로 스스로 능력을 개선하는 방향을 제시한다. ⁵

구체적으로 Qwen-UI-Agent는 다양한 샌드박스 환경과 대규모 실제 기기 모바일 런타임을 결합한다. 통합 행동 공간은 GUI 조작과 CLI 실행을 섞고, 한 번의 모델 턴에서 일괄 행동을 생성할 수 있다. AutoResearch 스타일의 데이터 플라이휠은 에이전트가 과제와 환경을 만들고, 실패를 진단하며, 다음 반복을 계획하게 한다. 또한 100턴을 넘는 궤적에 온라인 강화학습을 적용하고, 10,000개가 넘는 동시 환경으로 롤아웃을 가속한다. ⁵

보고서에 따르면 Qwen-UI-Agent는 모바일 사용 벤치마크에서 최신 최고 성능을 세우고, 컴퓨터 및 브라우저 사용 과제에서는 Opus 4.8, Gemini 3.1 Pro, GPT-5.6 Sol 같은 프런티어 모델과 경쟁적인 성능을 보였다. 모바일에서는 MobileWorld 82.1%, MobileWorld-Real 92.2%, AndroidDaily 97.5%를 기록했고, 컴퓨터 사용에서는 OSWorld-Verified 79.5%와 OSWorld-v2 부분 진행 점수 40.0%를 달성했다. 브라우저 사용과 GUI grounding에서는 각각 WebArena 73.6%, ScreenSpot-Pro 81.5%를 기록했다. ⁵

AI가 AI 만드는 과정을 개선하는 순환: 머신러닝 엔지니어링을 시험대로

쉽게 말하면: AI가 머신러닝 엔지니어링 과제를 더 잘 수행하도록 훈련하고 탐색하게 해, AI가 AI 개발 과정을 개선하는 재귀적 자기개선 가능성을 시험한 연구다. ⁶

재귀적 자기개선(RSI)은 AI가 AI를 만드는 과정 자체를 개선하는 능력을 요구하며, 머신러닝 엔지니어링(MLE)은 실행 결과로 검증 가능한 구체적 시험대를 제공한다. 저자들은 이를 위해 OpenMLE라는 오픈 풀스택 시스템을 제시했다. 이 시스템은 실행 피드백이 붙은 검증 가능한 과제 환경(OpenMLE-Gym), 연산자 학습(OpenMLE-RL), 장기 탐색(OpenMLE-Evo)으로 구성된다. ⁶

이 스택 위에서 저자들은 35B 규모의 Frontis-MA1을 MLE용 메타-진화 에이전트로 후속 학습했다. 핵심은 초안(Draft), 개선(Improve), 디버그(Debug), 교차(Crossover)라는 네 개의 원자적 프로그램 진화 연산자를 중심으로 후속 학습과 추론을 맞춘 것이다. 같은 연산자를 실행 기반 SFT와 강화학습으로 훈련하되 모든 평가 벤치마크와 중복 제거한 데이터를 사용하고, 이를 장기 탐색에 조합해 학습과 진화를 하나의 루프로 결합했다. ⁶

MLE-Bench Lite에서 과제당 12시간, RTX 4090 한 장과 12GB VRAM 제한 조건 아래, Frontis-MA1 35B는 OpenMLE-Evo를 통해 메달 평균을 기본 모델의 39.39%에서 60.61%로 높였고, 벤치마크 독립적 경험 사전지식과 비동기 탐색을 쓰는 OpenMLE-Evo-Max로 71.21%에 도달했다고 보고한다. 이는 GPT-5.5+Codex를 넘고 GPT-5.6 Sol 및 2.8T 규모 Kimi K3에 근접한 결과로 제시된다. 학습에 쓰지 않은 NatureBench Lite에서도 구성 요소가 전이되어, 프레임워크를 고정하고 학습된 모델로 교체하면 Match-SOTA가 50%에서 70%로, 모델을 고정하고 OpenMLE-Evo로 교체하면 20%에서 50%로 올랐다. 저자들은 모델 가중치와 전체 OpenMLE 스택을 공개해 재현 가능한 AI4AI 연구를 지원한다고 밝힌다. ⁶