측정과 신뢰: LLM을 쓸 수 있게 만드는 인프라 연구들

근거 논문들은 LLM과 생성형 AI를 실제로 활용하기 위한 측정·검증·운영 인프라에 초점을 둔다. 기능을 운영에 연결하는 피처 엔지니어링과 에이전트 RAG, 생성물을 추적·판별하는 AI 텍스트 탐지와 이미지 출처 추적, 벤치마크와 조직 정렬을 다시 측정하는 연구가 공통적으로 다뤄진다.

피처를 데이터가 아니라 실행 가능한 코드로 다시 정의하다

쉽게 말하면: 예측 모델에 넣을 입력 변수를 LLM이 실행 가능한 코드로 생성하고, 평가와 반복 개선을 거치게 만든 시스템이다. 알리바바 클라우드의 GPU 수요 예측에도 적용해 수요 충족률을 높이고 자원 마이그레이션율을 낮췄다. ¹

출발점은 피처 엔지니어링의 확장성 문제다. 좋은 피처는 도메인 지식을 반영한 변수에서 나오지만, 이를 만드는 데 전문성이 필요해 분야를 옮기면 확장성이 제한된다. 저자들은 피처 엔지니어링을 정적인 데이터 변환이 아니라 원시 입력을 예측 신호로 바꾸는 코드 생성 문제로 본다. ¹

Eureka는 세 단계로 구성된다. 도메인 지식으로 SFT한 Expert Agent가 JSON 형식의 피처 설계안을 만들고, LLM Feature Factory가 체인오브소트 추론으로 이를 실행 가능한 파이썬 코드로 옮긴다. 마지막으로 Self-Evolving Alignment Engine이 GRPO 강화학습과 이중 채널 보상, 즉 지표 기반 유용성과 의미 정합성 보상으로 코드 품질을 높인다. 피처를 프로그램으로 표현하면 학습된 생성 패턴이 도메인 간에 이전될 수 있다는 점이 핵심 주장이다. ¹

의료·금융·소셜 도메인의 공개 벤치마크 7종에서 Eureka는 전통적 AutoFE와 기존 LLM 기반 기준선을 일관되게 앞섰다. 알리바바 클라우드의 GPU 자원 수요 예측에서는 수요 충족률을 16% 높이고 컴퓨팅 자원 마이그레이션율을 33% 낮췄다. 실무 함의는 피처 설계를 실행 가능한 코드 생성과 평가·개선의 폐루프 문제로 다룰 수 있음을 보였다는 데 있다. ¹

1.5B 모델이 대형 기준선을 앞선다: 근거를 먼저 쓰고 판정하는 AI 텍스트 탐지기

쉽게 말하면: 어떤 글이 사람이 썼는지 AI가 썼는지 판별할 때, 결론만 내지 않고 왜 그렇게 봤는지 구조화된 근거를 함께 출력하도록 만든 탐지기다. 1.5B 파라미터 규모임에도 훨씬 큰 프롬프트 기반 LLM 기준선보다 좋은 성능을 냈다고 보고한다. ²

기존 AI 텍스트 탐지기 다수는 지도학습 신경망 분류기로, 학습 분포 안에서는 강하지만 판단 근거가 불투명하고 분포가 바뀌면 성능이 크게 떨어질 수 있다는 한계가 있었다. READER는 사람/AI 라벨과 함께 판정 근거를 담은 구조화된 설명을 출력해 이 문제를 겨냥한다. ²

방법의 중심은 READ라는 감독 데이터셋이다. 판정과 그 근거를 짝지어 정제한 이 데이터로 LLM을 파인튜닝해, 추론 시 먼저 추론하고 나서 탐지하도록 만들었다. 그 결과 파라미터가 1.5B인 READER가 기존 탐지기는 물론 프롬프트만 준 고용량 LLM 기준선인 GPT-5.2, Gemini-3-Pro, DeepSeek-V3.2를 일관되게 앞섰다고 보고한다. ²

함의는 두 갈래다. 근거를 함께 출력하는 방식이 탐지 판단의 설명 가능성을 높일 수 있고, 잘 큐레이션된 근거·판정 데이터가 있으면 소형 모델도 대형 프롬프트 기반 기준선을 앞설 수 있다는 점이다. ²

리더보드 점수는 얼마나 믿을 수 있나: 벤치마크 지형의 노이즈를 해부하다

쉽게 말하면: AI 모델 순위표의 점수 안에 진짜 능력 차이와 측정 잡음이 얼마나 섞여 있는지를 통계적으로 분석한 연구다. 순위가 능력 차이를 반영하는지, 평가 아티팩트의 결과인지 가려내려 했다. ³

문제의식은 명료하다. 리더보드의 집계 점수는 AI 개발을 이끄는 지표로 쓰이지만, 그 안에 포함된 측정 잡음의 원천과 크기는 충분히 정량화되지 않았다. 하나의 총점은 여러 벤치마크 점수와 합성 점수로 모델 행동을 압축하지만, 이 압축은 점수가 무엇을 의미하는지에 대한 강한 가정을 숨길 수 있다. ³

저자들은 Open LLM Leaderboard의 4,000개 이상 모델에 확인적 요인분석(CFA)과 일반화가능도 이론을 적용했다. 이를 통해 순위 분산의 원천을 분해하고, 벤치마크 생태계의 잠재 구조와 스케일링 법칙 추정의 신뢰성을 분석했다. ³

주요 발견은 이렇다. 현재 보고 관행이 벤치마크 간 관계 강도를 과소평가하며, 리더보드 문항 사이에는 국소 종속성의 증거가 있어 현행 점수 체계에서 벤치마크를 측정 도구로 사용하는 데 문제가 생길 수 있다. 기여자 메타데이터는 이 맥락에서 아키텍처나 배포 범주보다 순위 관련 분산을 더 많이 설명했다. 관측 점수 기반 스케일링 기울기는 신뢰도가 낮았지만, 잠재 일반요인에 대한 크기 기울기는 생태계 통제 전반에서 안정적이었다. 저자들은 어떤 벤치마크가 모델 크기의 함수인지, 어떤 벤치마크가 사후학습 관행에 반대 방향으로 영향을 받을 수 있는지 진단할 수 있다고 본다. ³

정답을 맞혀도 이유가 다르면: 조직의 의사결정 정책과 LLM의 정렬을 재는 법

쉽게 말하면: LLM이 조직 대신 결정을 내릴 때, 결론이 같은지만이 아니라 조직의 의사결정 정책을 얼마나 충실히 재현하는지도 측정한 연구다. 같은 결론에 도달하더라도 과정 정렬이 다를 수 있다는 문제의식이다. ⁴

기존의 다원적 정렬 연구는 대부분 개인이나 인구집단 단위의 관점에 초점을 뒀다. 이 논문은 조직이 LLM을 배치할 때 그 조직의 정책을 반영한 결정을 내려야 한다는 점에 주목한다. 저자들은 단순히 같은 결론을 내는지가 아니라 조직의 결정 정책을 충실히 재현하는지를 평가해야 한다고 본다. ⁴

저자들은 의사결정 정책을 포착하는 방법으로 조직 맥락에서의 과정 정렬을 측정했다. 적용 대상은 유럽인권협약(ECHR) 6조 결정과 소비자 신용 결정이었다. ⁴

결과는 이질적이었다. 모델 간 기준선 정렬은 가격이나 일반 벤치마크 성능과 무관하게 크게 달랐다. ECHR 6조 결정에서는 과정 정렬이 출력 정확도를 예측했고, 조직의 과거 결정 정책을 명시적으로 알려주면 정렬이 낮던 모델이 개선됐다. 반면 소비자 신용 결정에서는 과정 정렬이 전반적으로 낮았고, 모델들은 보호 속성에 대한 조직의 가중치를 받아들이는 데 저항했다. 저자들은 과거 신용 결정이 차별적 패턴을 담을 수 있으므로 높은 정렬이 늘 바람직한 것은 아니라고 지적한다. 같은 절차가 목표 정책의 규범적 바람직함에 따라 보정 도구도, 감사 도구도 될 수 있다는 것이 핵심 함의다. ⁴

생성된 이미지는 만든 모델의 흔적을 남긴다

쉽게 말하면: AI가 만든 이미지를 보고 어느 통합 모델이 만들었는지 맞힐 수 있는지 실험한 연구다. 결론은 통합 모델 생성 이미지에도 모델별 시각적 특성이 있어 출처 추적이 상당히 가능하다는 것이다. ⁵

LLM이 이미지·오디오·영상으로 확장된 통합 멀티모달 모델로 발전하면서, 생성 이미지의 출처 추적은 투명성과 모델별 특성 이해를 위한 과제가 됐다. 기존 연구는 LLM 생성 텍스트, 확산 모델 이미지, 데이터셋의 출처 추적을 다뤘지만, 통합 모델 생성 이미지의 분리 가능성은 상대적으로 덜 탐구된 영역이었다. ⁵

저자들은 7개 통합 모델이 생성한 이미지를 대상으로 손상, 도메인, 프롬프트 언어에 걸쳐 분리 가능성을 검증했다. 약 20K장의 이미지가 모델별로 있을 때 모델 출처 식별은 거의 완벽한 정확도에 도달했다. 손상과 구조적 변형은 출처 식별 성능에 제한적인 영향만 줬고, 교차 도메인 일반화 실험은 의미 내용이 분리에 기여하지만 지배적 신호는 아님을 보여줬다. ⁵

프롬프트 언어 실험에서는 대부분 모델에서 언어별 출처 식별이 우연 수준에 가까웠다. 이는 언어별 시각 서명이 크지 않음을 시사한다. 함의는 모델 고유의 시각 특성이 일관되게 존재해 생성 이미지 파이프라인의 추적과 감사가 가능하다는 점이다. ⁵

제약된 컨텍스트에서 도구 정의 압축은 에이전트 RAG의 필수 인프라가 된다

쉽게 말하면: LLM 에이전트에 수십~수백 개 도구를 붙이면 도구 스키마가 검색에 써야 할 컨텍스트 창을 차지한다. 이 도구 정의를 압축했더니 제한된 컨텍스트 예산에서 RAG 기능이 복원됐다는 연구다. ⁶

에이전트 RAG는 도구 스키마와 검색 증강 생성에 필요한 컨텍스트가 같은 창을 놓고 경쟁하는 자원 충돌을 안고 있다. 저자는 이런 도구-컨텍스트 트레이드오프를 체계적으로 연구했다고 제시한다. ⁶

저자는 1.5B~32B 로컬 모델 14종과 프런티어 API 모델 1종을 대상으로 8K·16K·32K 세 컨텍스트 예산에서 28개 도구 정의로 6,566회의 통제된 API 호출을 수행했다. Tscg 보수적 프로파일 압축은 스키마 토큰을 44~50% 줄였다. 8K에서 비압축 JSON 스키마는 컨텍스트 창을 넘겨 EM이 사실상 0에 가까운 평균 2.6%에 그쳤지만, 압축 스키마는 기능을 복원해 8개 모델 전체 평균 20.5%포인트, 완전 활성화된 6개 모델에서는 24.7%포인트의 exact-match 향상을 냈다. ⁶

32K처럼 두 형식이 모두 들어가는 조건에서는 효과가 예산 제약에서 비롯된다는 점이 확인됐다. HotpotQA 50개 다중홉 질문의 외부 검증에서도 같은 오버플로 시나리오에서 48%포인트의 EM 차이가 나타났다. 프런티어 확장 테스트에서는 JSON 스키마가 도구 수가 늘면 오버플로를 일으키는 반면, 압축 스키마는 800개 이상의 도구에서도 작동했다. 저자들은 제약된 컨텍스트 배포에서 도구 스키마 압축이 에이전트 RAG의 필수 인프라 계층이라고 결론짓고, 코드·데이터·체크포인트가 공개돼 있다고 밝힌다. ⁶