안전과 신뢰를 다시 계량하다: 표면 지표 너머의 LLM 검증과 효율화

이 글의 연구들은 두 갈래의 흐름으로 묶인다. 하나는 '독성 점수가 낮아졌다'거나 '그럴듯한 답을 냈다'는 표면적 지표가 실제 안전·신뢰를 충분히 대변하지 못한다는 문제 제기이고, 다른 하나는 검색·검증·서빙·에이전트 구조를 재설계해 신뢰나 효율을 높이려는 시도다. 해악 세탁, 안전공학 벤치마크, 임상 근거 추적, 장애 대응 검색, KV 캐시 압축, 에이전트 하네스 개선은 각기 다른 방식으로 표면적 평가나 배포 병목이 실제 품질·비용을 충분히 설명하지 못하는 지점을 다룬다.

독성 점수는 내려갔는데 차별은 어디로 갔나 — '해악 세탁'의 발견

쉽게 말하면: 최신 GPT일수록 '나쁜 말'을 덜 하도록 보이지만, 여성에 대한 차별이 줄었다기보다 겉으로 잘 안 드러나는 형태로 바뀌었을 수 있다는 연구다. ¹

이 연구는 대형 언어모델의 안전성 평가가 대개 표면 형태를 잡아내는 독성 분류기에 의존한다는 점에서 출발한다. 세대가 올라갈수록 독성 점수가 떨어지니 안전 훈련이 잘 작동한다고 해석할 수 있지만, 저자들은 이 해석이 체계적으로 불완전하다고 본다. 명시적 차별 표현이 제거되는 게 아니라 다른 형태로 '변환'될 수 있으며, 이를 해악 세탁(harm laundering)이라 명명한다. GPT-2부터 GPT-5까지 15개 모델에서 성별을 지정한 완성문 45만 건을 수집해, 세 가지 인구통계 조건에서 분석했다. ¹

결과의 핵심은 비대칭성이다. GPT-2에서 여성 지정 출력에 흔했던 성폭력 관련 군집은 GPT-4에서 사라지지만, 남성 지정 출력은 돌봄·정서 범위·연대자 정체성 같은 긍정적 표상 영역을 새로 얻는 반면 여성 지정 출력에는 그런 영역이 생기지 않는다. GPT-5에서 남성 지정 출력의 한 주제(1,997개 문서)는 유방암을 남성 인권 논쟁으로 틀 지우는데, 여성 지정 출력에는 이에 대응하는 군집이 없다. 세 개의 독립 독성 분류기는 이 내용을 모두 '비독성'으로 판정한다. 여성 지정 출력의 주제 다양성은 GPT-4 정렬 경계에서 남성 대비 36% 하락하며, REGARD 표상적 해악 격차는 출시일과 상관관계를 보이지만 Detoxify는 그렇지 않다. 저자들은 독성 점수가 떨어지는 동안 표상적 해악은 커질 수 있다고 주장한다. ¹

저자들은 해악 세탁을 세 기준의 판별 테스트로 형식화하고, 어떤 생성 모델에도 적용할 수 있는 3단계 탐지 프로토콜을 제시한다. 함의는 분명하다. 독성 점수 감소를 해악 감소의 충분한 대리 지표로 삼아서는 안 되며, 실무 안전 평가는 표면 형태를 넘어 표상 수준의 비대칭까지 봐야 한다. ¹

장애 대응 사례를 '문서'가 아니라 '상태의 흐름'으로 검색하기

쉽게 말하면: 고객 지원에서 과거 문제 해결 사례를 참고할 때, 사건을 통짜 문서로 보지 않고 조사 단계별 상태로 쪼개 지금 상황과 비슷한 단계를 찾아주는 검색 방식이다. ²

기존 검색 증강 생성(RAG)은 지원 사례를 정적인 문서로 취급해, 문제 해결이 여러 단계를 거쳐 상태가 변해간다는 성격을 놓친다. RAFT는 종료된 과거 사례를 시간순 항목의 방향성 사슬로 추상화하고, 사례 단위가 아니라 항목 단위로 검색한다. 그래서 현재 진행 중인 사례의 중간 상태와 가장 잘 맞는 과거 사례를 찾아 해당 상태에 고정된 부모 사례의 궤적 전체를 돌려준다. 또한 설정 가능한 유사도 표현을 통해 사례들을 연결하는 선택적 사례 단위 그래프를 붙일 수 있다. ²

다단계 장애 대응 공개 데이터가 극히 드물어, 저자들은 Microsoft Learn의 Windows Server 문서로 만든 합성 벤치마크와 사람이 중복 라벨을 붙인 실제 Apache Jira 이슈를 함께 썼다. 전체 에이전트가 아니라 검색 계층만 독립적으로 평가한 점이 특징으로, 운영 환경 배포 없이 재현 가능한 비교를 가능케 한다. RAFT는 사례 진행의 모든 단계에서 기본 RAG와 GraphRAG 대비 Case Hit를 개선했고 가장 강한 베이스라인에 대해 통계적으로 유의한 향상을 보였으며, Jira 결과는 이 이점이 실제 사례 이력으로도 이어진다는 방향성 근거를 준다. ²

저자들은 벤치마크·구현·Jira 평가셋을 공개했다. Jira 결과가 '방향성 근거'에 머문다는 점은 근거 기사에 명시돼 있다. 실무적으로는 IT 지원처럼 해결이 여러 단계에 걸쳐 상태가 변하는 도메인에서, 검색을 상태 흐름 위에 재설계하는 접근이 유효할 수 있음을 보여준다. EMNLP 2026 산업 트랙에 채택됐다. ²

그럴듯한 위험 서술은 하지만 등급 분류는 못 하는 LLM

쉽게 말하면: 자동차 안전 규격에 따라 위험을 분석하고 등급을 매기는 일에 LLM을 써봤더니, 위험 상황 설명은 그럴듯하게 하지만 정작 규격에 맞춰 위험 등급을 매기는 데는 약하더라는 산업용 벤치마크다. ³

안전이 중요한 공학 워크플로에서 LLM의 신뢰성은 충분히 검증되지 않았다. SAFARI는 ISO 26262 기반 자동차 위험 분석 및 위험 평가(HARA)를 위한 최초의 산업용 벤치마크로, 익명화한 3,000개 산업 HARA 사례를 담는다. 여기서 HARA는 개방형 위험 추론과 규격 지배적 위험 분류가 결합된 작업이다. 심각도(S)·노출(E)·제어가능성(C)을 매기면 이로부터 자동차 안전 무결성 수준(ASIL)이 도출된다. 벤치마크는 위험 분석과 위험 평가의 두 결합 과제를 평가하고, 개방형 산출물 평가를 위해 저자들은 전문가 판단과 높은 상관을 보이는 참조 고정 LLM-심판 프로토콜을 제안한다. ³

9개 프런티어 LLM을 실험한 결과, 모델들은 그럴듯한 위험 서술은 자주 만들지만 ISO 26262 위험 분류에는 약해서 최고 ASIL 매크로-F1이 0.261에 그쳤다. 사고연쇄(CoT) 프롬프팅의 이득은 제한적이었고 오히려 범주형 위험 평가를 자주 악화시켰다. 오류 분석은 두 병목을 짚어낸다 — 위험 생성 단계의 시나리오 결정적 맥락 누락, 그리고 위험 평가 단계의 제어가능성 오판이다. ³

함의는 실무적으로 날카롭다. 유창한 서술이 안전공학의 신뢰성을 담보하지 못하며, 전문가 감독을 어디에 집중해야 하는지를 실험이 국소화해준다 — 맥락적 위험 해석과 제어가능성 판단이 그 지점이다. ³

예측에 기여한 근거만 뽑아 임상 추론을 검증 가능하게

쉽게 말하면: 수년치 진료 기록에서 결론 예측에 실제로 도움이 되는 근거를 골라내고, 생성된 설명의 각 단계를 검증하는 임상 추론 프레임워크다. ⁴

장기 전자건강기록(EHR)은 수년에 걸친 노트·코드·검사·처치를 담지만, 전체를 임상의가 검토하는 건 비현실적이고 LLM을 그대로 돌리면 비싸고 불안정하다 — 관련 소견을 놓치거나 없는 걸 지어낼 수 있다. EviGen은 세 계층으로 이를 다룬다. 첫 번째 계층은 환자 조건부 검색기로, 학습 가능한 질의를 사용해 단순히 텍스트가 유사한 근거가 아니라 임상 결과 예측에 도움이 되는 근거를 찾고 예측 기여도 점수로 순위를 매긴다. 두 번째 계층은 이 순위 근거를 발판 삼아 LLM이 검색된 구절에 기반한 임상 추론을 만들도록 한다. 세 번째 계층은 과정 감독 검증기로, 생성된 추론을 단계 수준에서 검증해 신뢰할 수 없는 주장을 표시한다. ⁴

세 개의 의료 예측 데이터셋에서 EviGen은 전체 맥락 LLM과 RAG 베이스라인 대비 예측 성능과 추론 충실도를 모두 개선했고, 사용성 평가에서 임상 리뷰어들의 선호를 얻었다. ⁴

이 접근의 핵심 가치는 검증 가능성이다. 생성된 임상 추론이 검색된 근거 구절에 기반하고, 단계 수준 검증기가 신뢰하기 어려운 주장을 표시하므로, 의료처럼 최종 책임이 사람에게 남는 고위험 환경에서 감사 가능한 근거를 요구한다는 문제의식이 실무적으로 설득력을 갖는다. ⁴

KV 캐시를 토큰당 890바이트로 — 장기 문맥 서빙 비용의 재설계

쉽게 말하면: 긴 문맥을 다루는 AI 에이전트가 늘면서 메모리에 쌓이는 중간 계산 결과(KV 캐시)가 병목이 됐는데, 이를 대폭 압축해 저장·전송 부담을 줄인 모델이다. ⁵

장기 실행 에이전트가 퍼지면서 워크로드가 입력 중심으로 바뀌었고, 사전 채움(prefill) 연산은 여전히 비싸며 거대한 KV 캐시가 HBM·SSD 용량과 전송 대역폭을 압박한다. DeepSeek-V4.1-Flash는 이 문제에 맞춰 설계한 멀티모달 전문가 혼합(MoE) 모델로, 백본 파라미터 552B에 최대 100만 토큰 문맥을 지원한다. 인과 인코더-디코더(CED) 구조를 써서 디코드 때는 토큰당 16B를, 사전 채움 때는 8B만 활성화해 입력 중심 에이전트 워크로드의 비용 효율을 높인다. KV 캐시 압축은 압축 희소 어텐션 2(CSA2)의 계층 간 KV 재사용과 FP4 KV 캐싱을 결합해 이룬다. ⁵

수치가 구체적이다. 이 설계로 항상 HBM에 있는 전역 KV 캐시 발자국을 토큰당 890바이트, 즉 DeepSeek-V4-Flash의 약 1/4로 줄였다. SWA Bounded Replay라는 배포 최적화를 더해, 항상 SSD나 호스트 메모리에 있는 지속 KV 캐시 발자국을 약 1/8로 줄였다. 이렇게 캐시를 크게 줄이고도 베이스라인보다 더 나은 성능을 낸다고 저자들은 밝힌다. 45T 토큰 규모의 멀티모달 코퍼스로 사전학습했다. ⁵

함의는 배포 경제성이다. HBM·SSD 압력과 데이터 이동 부담을 함께 완화해 장기 문맥 서빙 비용을 낮추려는 접근이다. 모델 체크포인트가 공개돼 있다. ⁵

에이전트의 '작업대'를 AI가 개선해 토큰을 절반 가까이 줄이다

쉽게 말하면: 코딩 에이전트가 모델과 환경 사이에서 쓰는 도구·문맥 관리 구조(하네스)를 개선해, 성능은 비슷하게 유지하면서 토큰 소비를 절반 가까이 줄인 연구다. ⁶

코딩 에이전트가 감독 없이 장시간 탐색으로 옮겨가면서, 작업은 고립된 예측에서 추론·도구 사용·피드백의 긴 궤적으로 확장됐고 토큰 효율이 재귀적 자기개선을 확장하는 데 중요해졌다. 기존 효율화는 빠른 어텐션 커널과 서빙 인프라, 양자화 같은 모델 압축, 더 저렴한 모델 사용 등 토큰당 비용을 낮추는 데 집중했지만, 이 연구는 모델과 환경을 매개하는 에이전트 하네스를 통한 효율 개선이라는 직교적 방향을 택한다. SoL-Pi는 하네스 계층에서 자동 연구 루프를 더 많고 다양한 환경으로 확장해, 개발 환경을 넘어 전이되는 재사용 가능한 개선을 찾는 접근이다. ⁶

탐색 결과 행동 실행·문맥 압축·관찰 처리·위임 읽기에 걸친 네 개 메커니즘이 선별돼 SoL-Pi를 이룬다. 51개 과제로 구성된 EdgeBench 평가에서 SoL-Pi는 GPT-5.6 Sol과 Opus 5에 걸쳐 Pi와 견줄 만한 성능을 유지하면서 기록된 토큰 트래픽을 44.7~49.0% 줄이고 API 비용을 약 1/3 절감했다. 시간당 절감 추정치는 네이티브 Codex·Claude Code 하네스 대비 8.75~13.50달러, Pi 대비 4.36~5.71달러다. ⁶

저자들이 짚는 함의는 RSI의 확장에서 토큰 효율이 중요한 시스템 문제가 되며, 하네스 계층의 자동 탐색이 특정 개발 환경을 넘어 재사용 가능한 개선을 낼 수 있다는 점이다. ⁶