에이전트 시대의 신뢰 문제: 협상·오염·전이·시뮬레이션·다양성·캐시로 본 LLM 연구

여섯 편의 논문은 LLM과 AI 시스템의 실전 활용을 둘러싼 평가, 보안, 효율 문제를 각기 다른 각도에서 다룬다. 다중 에이전트 협상, 지식 그래프 오염, 과학 모델의 도메인 전이, 사용자 시뮬레이터의 실효성, 출력 다양성 확보, 장문맥 추론 비용이라는 주제가 포함된다.

일정 조율로 드러낸 협력과 프라이버시의 상충

개인 비서 에이전트가 캘린더와 메일함을 대신 다루기 시작하면서 새로운 신뢰 문제가 생겼다. 회의 일정을 잡으려면 다른 사람의 비서와 협상해야 하는데, 이때 내가 대리하는 사람의 일정을 어디까지 노출할지 판단해야 한다. CalBench는 각 에이전트가 서로의 캘린더를 볼 수 없도록 설계해 언어를 매개로 한 협력을 강제한다. ¹

저자들은 CP-SAT 오라클로 최적 해를 갖는 풀 수 있는 시나리오를 생성하고, LLM이 아닌 분산형 참조 프로토콜을 함께 제공한다. 덕분에 동일한 정보 제약 아래에서 과제 성공률뿐 아니라 초과 비용, 통신 효율, 부담의 공정성, 프라이버시 유출까지 함께 잰다. ¹

일곱 개 모델 계열을 평가한 결과, 완료율만 보면 중요한 실패가 가려진다는 점이 드러났다. 에이전트들은 피할 수 있는 비용을 남겼고, 통신량이 많다고 후회(regret)가 줄지도 않았다. 특히 프라이버시를 지키려는 침묵이 오히려 동료에게 공정한 부담 배분에 필요한 비용 정보를 차단하는 역설이 관찰됐다. ¹

함의는 분명하다. 자율 비서를 대규모로 배치하기 전에 '일을 끝냈는가'만 볼 것이 아니라, 얼마나 손해를 남겼고 무엇을 흘렸으며 부담을 공평하게 나눴는지를 함께 검증해야 한다. CalBench는 그 재현 가능한 시험대를 제공한다. ¹

정확한 추론이 만드는 잘못된 결론: 지식 그래프 오염 공격

코드 지식 그래프를 런타임에 조회해 추론하는 AI 에이전트가 있다. 저자들은 이 신뢰 채널을 겨냥한 새로운 공격군을 '오라클 포이즈닝'으로 정의한다. 프롬프트 인젝션이 지시를 조작한다면, 오라클 포이즈닝은 에이전트가 추론하는 데이터 자체를 오염시켜 옳은 추론으로 틀린 결론에 이르게 만든다. ²

이들은 4,200만 노드 규모의 실제 프로덕션 코드 지식 그래프를 대상으로 여섯 가지 공격 시나리오를 실증했다. 실제 SDK 도구 사용 평가에서 세 개 제공사의 아홉 개 모델이 그래프 조회 도구를 자율적으로 호출하고 결과로부터 추론하게 했다. 이 규모의 지식 그래프 포이즈닝을 프로덕션급 에이전트 시스템에 실증한 것은 처음이라고 밝힌다. ²

결과는 단호하다. 중간 수준(L2)의 공격자 정교함에서 모든 모델이 조작된 데이터를 100% 신뢰했고, 지시형 질의 아래 270개 중 269개 유효 시행에서 조작된 보안 주장을 받아들였다. 개방형 프롬프트에서는 신뢰도가 3~55%로 떨어져 프롬프트 구성이 교란 요인임을 확인했다. 특히 GPT-5.1은 인라인 평가에서 신뢰도 0%를 보였으나 시뮬레이션·실제 도구 호출 모두에서 100%를 기록해, 평가 방식(delivery mode)이 1차 교란 요인임을 드러냈다. ²

방어책 다섯 가지를 검토한 결과, 읽기 전용 접근 제어는 직접 변조 경로를 차단했고, 나머지 네 가지 방어는 부분적이고 모델 의존적이었다. 실무적 교훈은 인라인 테스트만으로는 안전을 보증할 수 없으며, 에이전트가 신뢰하는 데이터 저장소의 무결성과 접근 통제를 중요한 방어 지점으로 삼아야 한다는 것이다. ²

핵융합 플라즈마에서 전력망으로: 과학 파운데이션 모델의 도메인 전이

TokaMind는 MAST 토카막 플라즈마 진단 데이터로 사전학습한 멀티모달 트랜스포머로, 융합 벤치마크에서 CNN 기반 접근을 앞섰다. 이번 연구의 질문은 이 학습된 표현이 물리적으로는 다르지만 구조적으로 유사한 도메인으로 전이되는가다. ³

저자들은 산업용 베어링 열화, NASA CMAPSS 터보팬 열화, 두 개의 독립 전력망 PMU 데이터셋 등 네 도메인에서 체계적으로 실험해 전이에 유리한 네 가지 특성(F1~F4)을 도출했다. 밀집하고 안정적인 센서 간 결합, 내생적 임계 전이형 고장 모드, 실제 관측된 고장 발생, 충분한 레이블 이벤트가 그것이다. 전력망 싱크로페이저 데이터는 이 목표 도메인 프로파일과 가장 직접적으로 맞았다. ³

GESL/PNNL 500개 이벤트 벤치마크에서 제공사 인식 평가와 3개 시드로 심각 이벤트 분류를 수행했다. 핵심 발견은 총점이 아니라, 분류 난이도가 모델 용량이 아니라 제공사별 그리드 토폴로지에 의해 구조적으로 결정된다는 점이다. 단일 창 조기 경보 조건(seq_len=1)에서 TokaMind는 CNN 기준선을 F1 0.889 대 0.878로 앞섰으나, 이벤트 창을 더 주면 이 역전은 사라졌다. 또 임계 감속(CSD) 지표를 분류 레이블이 아닌 신뢰도 게이트로 쓰자 63% 커버리지에서 F1이 0.696에서 0.750으로 올라, CNN 기준선(0.636)을 상회했다. ³

이 연구는 TokaMind를 핵융합 밖에서 처음 교차 검증한다. 산업 열화 데이터는 부분적 정렬에서도 유용한 성능을 보일 수 있었고, 전이 성과는 도메인의 물리적 구조와 과제 설계가 사전학습 표현과 얼마나 맞느냐에 좌우된다. ³

사용자 시뮬레이터의 가치는 실제 사람에게 통해야 증명된다

LLM 기반 사용자 시뮬레이터는 대화형 AI 비서를 만드는 데 점점 더 활용되고 있지만, 그 품질을 어떻게 재느냐는 여전히 미해결이다. 저자들은 시뮬레이터의 품질을 '그것으로 학습한 비서가 실제 사람과 얼마나 잘 상호작용하는가'라는 하류 효용으로 재자고 제안한다. ⁴

시뮬레이터만 바꾸는 통제 실험을 설계했다. 사용자 역할을 하도록 프롬프트한 LLM(RPuser)부터 WildChat의 사람 발화로 파인튜닝한 시뮬레이터(SFTuser)까지 스펙트럼을 두고, 각각에 대해 강화학습으로 비서를 하나씩 학습시켰다. 평가는 283명이 참여한 사용자 연구의 쌍대 승률과, 실제 사람-AI 대화에서 파생된 WildBench로 진행했다. ⁴

역할극 LLM으로 학습한 비서는 사용자 연구에서 초기 비서 대비 승률 51%로 통계적으로 구분되지 않았다. 반면 파인튜닝 시뮬레이터로 학습한 비서는 초기 비서 대비 58%, 역할극 학습 비서 대비 57%로 유의미하게 앞섰다. ⁴

세부 패턴도 시사적이다. 페르소나 조건화 같은 현실성 개선 기법은 역할극 비서를 향상시키되 파인튜닝 시뮬레이터와의 격차를 메우지는 못했다. 시뮬레이터 크기를 키우면 파인튜닝 시뮬레이터는 이득을 봤지만 역할극 쪽은 그렇지 않았고, 역할극으로 학습한 비서는 다른 시뮬레이터와 짝지으면 일반화에 실패한 반면 파인튜닝 학습 비서는 그렇지 않았다. 결론은 사용자 시뮬레이터를 실제 사람 행동에 근거해 만들고, 그 품질을 실사용자에 대한 하류 효과로 측정하라는 것이다. ⁴

3만 2천 파라미터로 700억 모델의 다양성을 진화시키다

LLM은 모드 붕괴에 취약해, 유효한 해 공간을 두루 탐색하지 못하고 균질한 출력을 낸다. 코드를 만들 땐 문법적으로 비슷한 변형만, 창작에선 뻔한 패턴으로 수렴한다. 다양한 알고리즘 접근을 발굴하거나 포괄적 테스트 스위트를 만들어야 하는 상황에서 이는 치명적이다. QD-LLM은 이 문제를 품질-다양성(QD) 최적화로 푼다. ⁵

핵심은 700억 이상 파라미터의 동결된 LLM을 건드리지 않고, 3만 2천 파라미터 규모의 프롬프트 임베딩이라는 작은 신경 인터페이스만 무기울기(gradient-free) 방식으로 진화시켜 생성 행동을 조종하는 것이다. 여기에 의미 특징과 명시적 특징을 결합한 하이브리드 행동 특성화, 유한차분 기울기 추정을 통한 표적 행동 변이 같은 공진화 연산자를 더했다. ⁵

HumanEval(164문제), MBPP, 창작 벤치마크에서 QD-LLM은 QDAIF 대비 커버리지 46.4%, QD-Score 41.4% 높은 성능을 30회 실행 기준으로 달성했다. 하류 효용도 검증했다. 다양한 아카이브는 테스트 생성에서 엣지 케이스를 34% 더 찾아냈고, 파인튜닝 데이터 품질 개선으로 정확도를 8.3% 끌어올렸다. 검증은 Llama-3-70B와 Mistral-Large 등 전체 임베딩 접근이 가능한 모델에서 이뤄졌다. ⁵

함의는 신경진화와 현대 LLM을 잇는 실용적 경로가 열렸다는 점이다. 다만 검증은 전체 임베딩 접근이 가능한 모델에서 이뤄졌기 때문에, 직접 임베딩 접근이 필요하다는 제약이 남는다. ⁵

캐시를 읽지 않고 어텐션을 예측하는 회귀 신경망

고정된 장문맥에 대해 소프트맥스 어텐션을 계산하려면 새 쿼리 토큰마다 캐시된 모든 키-값 쌍을 읽어야 한다. 저자들은 특정 문맥(한 권의 책, 매뉴얼, 법률 코퍼스)에서 어텐션 출력이 쿼리의 결정론적 함수라는 점에 착안한다. Nectar는 과제와 관련된 분포에서 뽑은 쿼리에 대해 이 함수를 근사하는 소형 신경망을 학습시킨다. ⁶

구체적으로는 계층과 KV 헤드마다 두 개의 네트워크를 맞춘다. 어텐션 출력을 예측하는 타깃 네트워크와 로그 정규화 항을 예측하는 스코어 네트워크다. 이 쌍을 추론 시점에 표준 마스크드 셀프 어텐션에 끼워 넣으면, 캐시에 대한 O(n) 어텐션을 문맥 길이 n에 무관한 비용의 순전파로 대체한다. 각 모듈은 계층·KV 헤드당 약 |θ| 파라미터만 지녀, 같은 granularity의 2nd 크기 KV 캐시보다 대개 훨씬 작다. ⁶

저자들은 1.7B에서 8B 파라미터 모델과 다섯 개 장문맥 데이터셋에서 실험했다. 근사 오차는 전체 어텐션 대비 다음 토큰 정확도 격차를 따라갔고, 계층별로 용량을 비균일하게 배분하면 그 격차가 줄었다. 지표 분석을 넘어, 질문 프롬프트에 대한 텍스트 생성 결과가 전체 캐시를 준 경우와 의미 내용에서 일치함을 확인했다. ⁶

함의는 장문맥 추론의 병목인 KV 캐시 접근 비용을, 문맥 길이와 무관한 상수 비용으로 바꿀 가능성이다. 다만 이 방식은 과제 관련 쿼리 분포에서 문맥별로 네트워크를 학습해야 하므로, 고정된 문맥을 반복 조회하는 시나리오에 적합하다. 임의 문맥에 즉시 적용되는 범용 기법인지는 제공된 자료로는 확인되지 않는다. ⁶