안전을 설계에 새기다 — 정직한 예측기, 감사 가능한 판단 중지, 그리고 숨은 위험의 발굴

이번 주 연구들은 성능 향상뿐 아니라 '언제 믿고 맡길 수 있는가'를 다룬다. 정직한 예측기라는 학습 목표로 모델 내부의 주체성 위험을 낮추려는 이론적 시도부터, 다중 에이전트 심의를 감사 가능한 행동-또는-보류 운영점으로 바꾸는 통계적 프레임, 백도어 모델의 숨은 행동을 잡음 주입으로 드러내는 기법까지 안전성 검증 흐름이 보인다. 여기에 검색 조율을 학습시키는 문서 추론 에이전트와 프롬프트 최적화·미세조정 필요성을 점검하는 실증 연구가 더해진다.

예측만 하고 목표는 갖지 않는 AI — 정직성에서 안전성을 끌어내는 이론

쉽게 말하면: AI가 세상을 자기 뜻대로 움직이려 드는 주체적 시스템이 되지 않도록, 목표 달성보다 정직한 예측을 학습하게 설계하자는 이론적 제안이다. ¹

출발점은 이른바 '내재적 주체성(implicit agency)' 문제다. 다운스트림 결과를 최적화하는 학습 절차는 설계자가 명시하지 않은 목표지향 행동을 모델에 도입할 위험이 있다. 저자들은 Scientist AI(SAI) Predictor가 행위자, 행동, 그 결과를 예측하되 스스로 목표 달성을 위해 출력을 선택하는 행위자가 되지 않도록 하는 형식적 안전 논증을 제시한다. ¹

제안한 SAI 예측기는 '인식론적으로 맥락화된' 자연어 진술 데이터에 조건부 베이지안 사후분포를 근사하도록 학습한다. 핵심 장치는 두 가지다. 첫째, 텍스트에서 잠재적 사실 주장과 발화 행위를 구분해, 목표 표현을 모델이 채택할 동기가 아니라 설명해야 할 증거로 취급한다. 둘째, 예측을 배치했을 때의 하류 효과가 보상 신호로 쓰이지 않도록 학습을 구성하고, 필요한 주체적 행동은 가드레일이 제한하는 명시적 스캐폴딩으로 외부에서 공급한다. ¹

저자들은 학습 동역학과 '위험한 예측기의 희소성'에 관한 가정 아래, 가드를 건 배치가 지정 임계치 이상의 잔여 위해를 남길 확률이 작다는 것을 증명한다. 위험한 예측기가 되려면 여러 질의에 걸쳐 조율된 방식으로 위해를 과소평가해야 하는데, 그런 조율 패턴은 초기화 분포에서 드물고 직접적인 학습 신호도 받지 못한다는 논리다. 정확성을 확보하는 제약이 곧 조율된 기만을 비싸게 만들기 때문에 안전성과 정확성이 함께 지지된다는 것이 이 프레임의 골자다. 다만 이 보장은 예측기 '내부'에서 발생하는 오정렬·주체성에 한정되며, 예측기를 주체적 시스템의 부품으로 쓰는 경우까지 막지는 못한다고 저자들은 밝힌다. ¹

행동할까 미룰까 — 오답 예산을 감사 가능한 운영점으로 바꾸는 다중 에이전트 심의

쉽게 말하면: 여러 LLM이 토론해 답을 낼 때, '지금 답이 자동 처리할 만큼 믿을 만한지, 아니면 사람에게 넘겨야 하는지'를 미리 정한 오답 허용치에 맞춰 통계적으로 판단해주는 방법이다. ²

다중 에이전트 심의는 추론 성능을 높일 수 있지만, 실제 배치에는 현재 답을 실행할지 사람 검토로 넘길지 결정하는 중지 기준이 필요하다. 저자들은 이를 '예산 제약하의 행동-또는-보류(budgeted act-or-defer)' 의사결정으로 정식화한다. ²

매 라운드 토론 접두부를 저차원 상태로 사상하고, 보정 데이터로 상태 조건부 정답 확률의 k-최근접이웃 하한 신뢰경계를 계산한다. 시스템은 이 하한이 사용자가 지정한 신뢰도 임계값을 넘을 때만 행동한다. 인증서는 보정 실패, 잔여 행동 위험, 표현 격차를 분리해 오답 행동을 통제한다. 과제 난이도에 따라 같은 절대 오답 예산의 의미가 달라지므로, 예산을 각 과제의 최종 라운드 오차에 상대적으로 학습 데이터만으로 설정하고 정규화된 예산 사용률을 안전 지표로 삼는다. ²

6개 벤치마크·9개 베이스라인 실험에서, 활성화된 데이터셋 기준 사전 선언 예산의 9~12%만 쓰면서 최대 84% 자동화와 96% 실행 정확도에 도달했다. 스트레스 테스트 데이터셋에서는 무리한 자동화 대신 보류를 택했다. 다만 저자들은 이 보장이 분포무관(distribution-free)이 아니라 유효한 국소 편향 봉투와 행동 영역 표현 격차 경계라는 명시적 국소 가정에 조건부라는 점을 분명히 한다. 각 가정에 반증형 진단을 짝지어 감사할 수 있게 한 점이 실무적 강점이며, 사후 임계값 탐색 대신 배치 전에 운영점을 미리 정한다는 것이 핵심 차별점이다. ²

검색기를 골라 쓰는 법을 스스로 배우는 문서 추론 에이전트

쉽게 말하면: 표·그림·본문이 뒤섞인 긴 문서에서 답을 찾을 때, 어떤 검색 도구를 언제 쓸지를 실패 사례에서 스스로 배워 규칙을 고쳐 쓰는 에이전트다. ³

문제의식은 명확하다. 어휘 기반, 의미 기반, 멀티모달 검색기는 서로 보완적 강점을 갖지만, 대부분의 시스템은 이들을 개별 추론 단계의 요구에 맞춰 바꾸기보다 고정 파이프라인으로 결합한다. 저자들은 검색 조율 자체를 추론 과정의 일부로 학습할 수 있는지 묻는다. ³

저자들은 '실패 주도 진화(failure-driven evolution)' 프레임을 제안한다. 도구를 쓰는 과제 에이전트와, 오프라인에서 이를 개선하는 메타 에이전트를 짝짓는다. 메타 에이전트는 틀린 추론 궤적을 분석하고, 같은 도구 환경을 능동적으로 탐침해 근본 원인을 진단한 뒤, 과제 에이전트의 지시문을 반복적으로 다시 쓴다. 그 결과 검색은 고정된 전처리 단계가 아니라 단계별 추론 결정으로 바뀐다. 진화한 에이전트는 각 검색기를 언제 부르고 어떻게 결합하며 여러 모달리티와 페이지에 걸쳐 증거를 어떻게 구성할지를 학습한다. ³

MMLongBench-Doc와 DocBench에서 진화한 에이전트는 미진화 베이스라인 대비 향상을 보였고 MACT, MDocAgent, SimpleDoc 등 최신 시스템을 일관되게 앞섰다. 상세 분석은 개선이 특정 하드코딩 검색 모드에 의존한 것이 아니라 적응적 라우팅과 증거 구성에서 나왔음을 확인한다. 진화 과정은 좁은 어휘 중심 행동에서 풍부한 다중 도구 조율로 옮겨가는 흐름을 보였다. 함의는 분명하다. 강한 문서 QA는 더 강한 단일 검색기뿐 아니라 더 나은 검색 결정도 요구한다. ³

가중치에 잡음을 넣어 숨은 백도어를 흔들어 깨우기

쉽게 말하면: 평소엔 정상이다가 특정 신호에서만 나쁜 행동을 하도록 심어진 '슬리퍼 에이전트' 모델을, 트리거를 몰라도 잡음을 주입해 숨은 행동을 끄집어내는 감사 기법을 체계적으로 검증한 연구다. ⁴

슬리퍼 에이전트는 기만을 연구하는 대표적 모델 유기체다. 트리거를 모르는 상황에서 그 행동을 이끌어내는 문제는 지금까지 체계적으로 다뤄지지 않았다. 저자들은 모델 가중치나 잔차 스트림 활성값에 가우시안 잡음을 주입하고, 교란된 출력이 숨은 행동을 드러내는지 확인하는 퍼징을 연구한다. ⁴

저자들은 7B~13B 규모의 백도어 모델 6개에서 가중치 퍼징과 활성값 퍼징을 온도 샘플링 베이스라인과 정면 비교했다. 퍼징은 6개 중 4개 모델에서 온도 샘플링보다 자주 숨은 행동을 이끌어냈고, OpenHermes-13B에서 가장 큰 향상을 보였다. 어느 방식이 이기는지는 과제에 따라 달라 둘 다 돌려볼 가치가 있었다. 핵심 관찰은 방법 자체보다 하이퍼파라미터 선택이 병목이라는 점이다. 균일 스윕은 대개 몇 퍼센트에 그치지만 최적 셀은 균일 스윕보다 2~10 더 높았다. ⁴

정답 접근 없이 하이퍼파라미터를 고르기 위해, base64로 인코딩된 비밀을 시스템 프롬프트에 넣어 감추게 하는 저비용 프록시 과제인 인컨텍스트 비밀 유출을 도입하고 여기에 톰슨 샘플링을 돌려 후보 셀을 골랐다. 비밀을 해독할 수 있는 4개 모델에서 프록시 선택 셀은 활성값 퍼징 유출률을 균일 스윕 평균 대비 4배 끌어올려, 최고 성능 모델에서 최적 셀 성능의 70%를 회복했다. 저자들은 이것이 슬리퍼 에이전트 백도어에 대한 첫 체계적 퍼징 연구이며, 프록시 과제 하이퍼파라미터 선택이 실제 백도어 유출로 전이될 수 있음을 보인 첫 사례라고 설명한다. 또한 결과를 균일 베이스라인, 프록시 선택, 오라클의 세 값으로 함께 보고하자고 제안한다. ⁴

추론으로 넓게, 그래디언트로 좁게 — 소형 모델을 위한 2단계 프롬프트 최적화

쉽게 말하면: 예시 몇 개만으로 관계를 뽑아내는 과제에서, 프롬프트를 먼저 자연어로 크게 다듬고 그다음 손실 신호로 세밀하게 고치는 2단계 최적화 방법이다. ⁵

에피소딕 소량 관계 추출(few-shot relation extraction)은 소형 LLM에서 자동 프롬프트 최적화가 아직 충분히 탐구되지 않은 영역이다. 프롬프트 최적화에는 추론 기반 방법과 그래디언트 기반 방법이 있으며, 저자들은 이 둘을 결합하는 2단계 프레임을 제안한다. ⁵

제안한 2단계 프레임은 1단계에서 임의의 추론 기반 최적화기로 넓은 자연어 프롬프트 개선을 하고, 2단계에서 GradPO를 적용한다. GradPO는 손실·그래디언트 신호로 영향력 큰 프롬프트 스팬을 찾아 국소 편집으로 정제한다. 어떤 추론 기반 최적화기에도 2단계 정제기로 끼워 넣을 수 있는 구조다. ⁵

FS-TACRED와 FS-FewRel 실험에서 국소 정제는 1단계가 찾은 프롬프트를 대체로 개선했고, GradPO가 가장 일관된 정제기였다. 이 프레임은 Qwen3-4B로 FS-TACRED에서 최신 성능을 달성했고 FS-FewRel에서도 경쟁력을 유지했다. 실무적 함의는 전역 탐색과 국소 정제를 결합하면 소형 모델에서도 수작업 프롬프트 엔지니어링을 자동화로 대체할 여지가 있다는 점이다. ⁵

미세조정은 여전히 필요한가 — 터키어 감성분석으로 본 LLM의 한계

쉽게 말하면: 요즘 대형 언어모델에 프롬프트만 주면 될지, 아니면 여전히 데이터로 학습시켜야 하는지를 터키어 상품평 감성분석으로 실제 비교한 연구다. ⁶

감성분석은 현실에서 긍정·부정만이 아니라 중립 클래스를 함께 요구하는 경우가 많고, 이때 분류가 까다로워진다. 특히 터키어는 영어보다 자원이 제한적이라, 지시 따르기 LLM의 제로/퓨샷 프롬프팅이 미세조정 필요성을 줄일 수 있는지가 실무적으로 중요한 질문이었다. 저자들은 고전 머신러닝, 미세조정된 사전학습 모델, 프롬프트 기반 LLM을 부정·중립·긍정 라벨이 있는 터키어 이커머스 리뷰 데이터에서 나란히 비교했다. ⁶

결과적으로 미세조정한 BERTurk 모델이 전반적으로 가장 우수했고, 3클래스 과제에서 모든 프롬프트 기반 LLM을 앞섰다. 핵심 병목은 중립 클래스였다. 여러 LLM이 긍정-부정 이진 분류에서는 훨씬 경쟁력이 있었지만, 3클래스로 넘어가면 중립 리뷰를 극성 범주로 무너뜨리며 성능이 크게 떨어졌다. 저자들의 결론은 두 가지다. 현실적인 터키어 감성분류에서 제로샷 프롬프트 LLM은 아직 지도 미세조정을 따라잡지 못하며, 견고한 평가를 위해 중립 클래스를 포함하는 것이 결정적이라는 점이다. 성능 벤치마크가 이진 분류에 치우칠 때 LLM의 실제 한계가 가려질 수 있다는 실무적 경고로 읽힌다. ⁶