에이전트를 믿을 수 있는가: 협력·신뢰·효율의 경계를 재는 연구들

이번 주 논문들을 관통하는 물음은 '무엇을, 어떤 조건에서 재느냐'다. 자율 에이전트를 실제로 사람 대신 내보내기 전에, 겉으로 드러나는 지표가 진짜 실패를 가리고 있지는 않은지 되묻는 연구가 세 편이다. 일정을 조율하는 다중 에이전트에서 '완료했는가'만 보면 낭비된 비용과 프라이버시 누출이 통째로 숨는다는 것¹, 지식 그래프를 조회하는 에이전트를 인라인으로 평가하면 실제 도구 호출에서 드러날 취약점을 놓친다는 것², 가짜 사용자로 훈련한 비서의 성능은 진짜 사람과 붙여봐야 드러난다는 것⁴이 각각 같은 교훈을 다른 무대에서 반복한다. 여기에 과학 파운데이션 모델의 표현이 물리 구조가 닮은 다른 영역으로 옮겨지는지를, 총점이 아니라 어디서 왜 통하는지로 뜯어본 연구³가 더해진다. 나머지 두 편은 곁가지지만 결이 통한다. 거대한 모델은 그대로 두고 앞에 붙이는 작은 인터페이스만 다뤄, 하나는 판박이 출력 문제를⁵ 다른 하나는 긴 문맥의 어텐션 비용을⁶ 낮춘다.

일정 조율로 드러난 협력과 프라이버시의 상충

쉽게 말하면: 내 비서 AI가 남의 비서 AI와 회의 시간을 잡을 때, 내 일정을 얼마나 드러내야 잘 조율되는지를 재는 시험대를 만들었다. ¹

기존 다중 에이전트 벤치마크의 약점은, 겉보기엔 여러 에이전트가 등장해도 전체 문제 상태를 다 보는 중앙 에이전트 하나가 통째로 풀어버릴 수 있다는 데 있었다. 진짜 분산 협력이 강제되지 않은 것이다. 스탠퍼드의 Chelsea Zou, Yiheng Yao, Noah D. Goodman, Robert D. Hawkins 등이 내놓은 CalBench는 캘린더 스케줄링을 택해 이 문제를 정면으로 피한다. 각 에이전트는 자기 사용자의 비공개 일정만 알고 상대 일정은 볼 수 없으므로, 회의를 성사시키려면 언어로 필요한 정보를 주고받아 조율할 수밖에 없다. 들어오는 회의는 참가자 모두의 캘린더에서 같은 슬롯에 기록돼야 하고, 이미 잡힌 일정을 옮기면 이동 비용이 발생하며, 어떤 일정은 아예 움직일 수 없다. 환경은 CP-SAT 솔버로 최적 비용에 해당하는 오라클 해를 갖는 풀 수 있는 시나리오만 생성하고, 같은 정보 제약 아래 비교할 수 있도록 비(非)LLM 참조 프로토콜(전량 공개형 IMAP, 저공개 실현가능성 우선형 SD-MAP, 프라이버시·비용 곡선을 조절하는 DSM)도 함께 제공한다. ¹

평가 지표는 다섯 가지다. 과제 성공률, 오라클 대비 초과 비용, 프라이버시 비용(슬롯 등가 단위로 잰 VPS, Valuations of Possible States), 성사된 회의당 통신량, 그리고 부담 배분의 공정성. 90개 과제(균일비용 45 + 가변비용 45), 회의 5건, 슬롯 16개, 회의마다 참가자 3명이 도는 혼합 에이전트 스위트에서 일곱 개 모델 계열을 붙였더니, 단순 완료율만 보면 중요한 실패가 가려진다는 점이 핵심으로 드러났다. 균일비용에서는 초과 비용이 0.18~0.44로 대체로 작아 모델 간 차이가 잘 안 보였다. 반면 가변비용이 모델을 갈랐다. DeepSeek V4 Pro가 과제 성공률(84.44%)은 가장 높았지만, Llama 4 Maverick이 초과 비용(0.24)·성사당 메시지 수(3.20)·공정성 비용(0.627)·VPS(3.49)에서 모두 가장 낮았다. GPT-5.4 Mini는 VPS(4.60)는 낮게 지켰으면서도 초과 비용(1.49)과 공정성(1.376)에서 최악이었다. 완료율 하나로는 이 격차가 보이지 않는다. ¹

더 흥미로운 지점은 프라이버시와 공정성이 정면으로 부딪친다는 것이다. 통신량이 많다고 후회(regret)가 줄지 않았고, 프라이버시를 지키려 비용 정보를 침묵하면 오히려 동료 에이전트가 부담을 공정하게 나누는 데 필요한 근거를 잃었다. 즉 정보를 숨기는 행위가 팀 전체의 공정성을 갉아먹는 상충이 수치로 잡힌다. 실무적 함의는 뚜렷하다. 개인 비서 에이전트를 대규모로 배치하기 전에 '과제를 끝냈는가'만이 아니라 초과 비용·통신 효율·부담 공정성·프라이버시 누출을 함께 재야 한다는 것이다. 저자들은 실행 흔적과 코드를 공개해 후속 연구의 출발점을 마련했다. ¹

지식 그래프를 오염시켜 올바른 추론을 무기화하다

쉽게 말하면: AI 에이전트가 참고하는 데이터베이스에 거짓 사실을 심어두면, 에이전트는 흠 없이 추론하고도 틀린 결론에 도달한다는 공격을 프로덕션 규모에서 실증했다. ²

저자들은 에이전트를 플라톤 동굴의 죄수에 빗댄다. 지식 그래프는 벽이고, 도구 호출로 돌아온 조회 결과는 벽에 비친 그림자이며, MCP(Model Context Protocol)는 그 그림자를 실재로 받아들이게 묶는 사슬이다. 이들이 정의한 '오라클 포이즈닝(Oracle Poisoning)'은 벽 자체를 오염시킨다. 프롬프트 인젝션처럼 악의적 지시를 주입하는 것이 아니라, 에이전트가 실행 시점에 Cypher 질의로 조회하는 구조화된 지식 그래프의 데이터를 직접 조작한다. 도구는 정상이고 지시도 멀쩡하다. 에이전트는 거짓 사실을 받아 그것을 완벽하게 추론할 뿐이다. RAG 오염(텍스트 유사도 검색)도, 학습 데이터 오염(가중치 변경)도, 도구 정의 변조도 아니라는 점에서 2024년 이후에야 생긴 새로운 신뢰 채널을 노린다. 대상은 노드 4,200만 개 규모의 실제 프로덕션 코드 지식 그래프(Neo4j 5.x, MCP v1.0)로, 실험실 세팅이 아닌 운영 시스템에 대한 첫 실증이다. ²

결과는 명확하다. 세 공급자(OpenAI, Anthropic, Google)의 아홉 개 모델을 실제 SDK 도구 호출로 평가했더니, 중간 수준(L2)의 공격자 정교함에서 모든 모델이 오염된 데이터를 100% 신뢰했고, 270개 유효 시행 중 269개가 조작된 보안 주장을 지시형 질의 아래 받아들였다. 개방형 프롬프트에서는 신뢰율이 3~55%로 떨어져 프롬프트 구성이 교란 변수임을 저자 스스로 보고한다. 공격자 정교함을 조금씩 높이면 신뢰율이 0%에서 100%로 뒤집히는 이산적 임계점이 존재해, 문제는 '공격이 통하느냐'가 아니라 '얼마나 노력하느냐'로 재정의된다. 전달 방식은 특히 결정적이었다. GPT-5.1은 텍스트로 끼워 넣는 인라인 평가에서는 신뢰율 0%였으나, 시뮬레이션과 실제 에이전트 도구 호출 양쪽에서는 100%를 기록했다. 인라인으로만 평가하면 거짓 음성이 나온다는, 곧 평가 조건 자체가 취약성을 가린다는 경고다. 공격은 화려하지도 않다. 시나리오 1~5에서 심은 노드는 19개, 4,200만 노드 그래프의 0.000045%에 불과하다. ²

여섯 개 시나리오는 실제 개발 워크플로를 겨눈다. 이를테면 존재하지 않는 입력 검증 함수를 만들어 호출 체인에 끼워 넣자, 사전 상태에서 "이 경로에 입력 검증이 존재한다고 볼 근거가 없다"고 정확히 답하던 에이전트가 사후에는 가짜 검증기를 발견하고 SQL 인젝션 위험이 "완화된 것으로 보인다"고 결론지었다. 특히 기존 노드의 속성만 바꾸는 변조는 원본 노드가 정상 출처를 갖는 탓에 그래프 이력을 함께 보여줘도 96.6~100% 신뢰를 받았다. 방어책 다섯 가지를 평가한 결과, 읽기 전용 접근 제어는 직접 변조 경로를 없앴고 여러 도구로 교차 검증하게 하면 맹목적 신뢰가 100%에서 0~25%로 떨어졌지만, 시스템 프롬프트 강화는 효과가 전무했다. 실무적 결론은 뚜렷하다. 도구 사용 프로토콜로 지식 그래프에 연결된 에이전트 시스템에서는 데이터 무결성이 곧 보안이며, 평가 역시 실제 도구 호출 조건으로 돌려야 취약점이 제대로 보인다. 네 개 추가 플랫폼 분석은 이 공격이 지식 그래프 생태계 전반으로 번질 수 있음을 시사한다. ²

핵융합 플라즈마 모델을 전력망 진단에 이식하기

쉽게 말하면: 핵융합 장치의 센서로 사전훈련한 AI가, 물리는 다르지만 구조가 닮은 전력망 이상 감지에도 쓸 수 있는지를 검증하고, 그 성패를 가르는 조건을 정리했다. ³

TokaMind는 MAST 토카막의 플라즈마 진단 데이터로 사전훈련한 1,000만 파라미터 규모의 멀티모달 트랜스포머다. DCT3D 토큰화로 이질적인 센서 스트림을 통합 표현으로 압축하며, 자기유체역학(MHD) 제약에서 오는 다중 센서 결합 구조를 여러 시간 스케일로 명시적으로 모델링한다. 연구진의 물음은 이 표현이 물리적으로는 다르지만 구조적으로 유사한 영역으로 전이되는지다. 실험은 산업용 베어링 열화(FEMTO-ST), NASA CMAPSS 터보팬 열화, 그리고 두 개의 독립 전력망 PMU(동기위상측정) 데이터셋 등 네 영역에 걸쳐 수행했고, 전이가 잘 되는 조건으로 네 가지 특성 F1~F4를 도출했다. 조밀하고 안정적인 센서 간 결합, 내생적 임계 전이 고장 모드, 관측된 고장 발생, 충분한 라벨 이벤트가 그것이다. 베어링은 충격성 신호와 예방 교체로 인한 검열 데이터 탓에, CMAPSS는 고장이 급격한 상전이가 아니라 누적 열화 임계값인 탓에 F1~F3에서 어긋났다. 반면 전력망 동기위상 데이터는 키르히호프 법칙이라는 고정된 물리 제약 아래 전압 붕괴·주파수 이탈 같은 진짜 상전이를 담아, 이 프로필에 가장 직접적으로 들어맞았다. ³

핵심 무대는 미국 13개 공급자의 송전급 데이터를 담은 GESL/PNNL 500이벤트 벤치마크다. 공급자 인식 분할(train/val/test = 346/71/83)로 심각 이벤트를 분류했는데, 저자들이 강조하는 것은 총점이 아니라 분류 난이도가 모델 용량이 아니라 공급자별 전력망 토폴로지에 의해 구조적으로 결정된다는 점이다. 실제로 공급자 3은 F1 0.947에 재현율 1.00으로 깔끔했던 반면, 공급자 2는 F1 0.778에 재현율 0.636으로 훨씬 어려웠고, 어떤 공급자는 전역 임계값 아래 양성 사례가 아예 없었다. 정보가 가장 적은 단일 창(seq_len=1) 조기 경보 조건에서 TokaMind는 CNN 기준선을 F1 0.889 대 0.878로 근소하게 앞섰으나, 창을 2개(CNN +0.023), 4개(CNN +0.075)로 늘리면 역전은 사라졌다. CNN이 긴 창의 국소 진폭을 누적해 이득을 보는 구간에서는 밀리고, 물리 결합 구조가 중요한 정보 최소 구간에서만 우위가 살아나는 셈이다. ³

가장 실용적인 기여는 임계 감속(Critical Slowing Down, CSD) 지표를 분류 라벨이 아니라 신뢰도 게이트로 다시 쓴 데 있다. 저자들은 CSD를 라벨로 쓰려던 두 차례 시도(각각 F1 0.34, 0.53)가 이벤트 시점 정렬 부재로 실패한 뒤, CSD 점수가 높아 TokaMind의 확률 출력이 안정적인 이벤트만 자동 분류하고 나머지는 사람 검토로 넘기는 선택적 예측으로 전환했다. 커버리지 63%에서 F1이 0.696에서 0.750으로 올라 CNN 기준선(0.636)을 모든 커버리지 수준에서 능가했고, 커버리지 47~80% 구간이 실용적 운용 대역으로 제시됐다. 이 연구는 핵융합 밖에서 TokaMind를 검증한 첫 사례로, 물리 제약이 닮은 영역이라면 과학 파운데이션 모델의 표현을 이식할 수 있음을, 그리고 F1~F4가 값비싼 파인튜닝에 앞선 가벼운 사전 선별 기준이 될 수 있음을 보였다. ³

가짜 사용자로 훈련한 비서는 진짜 사람 앞에서 무너진다

쉽게 말하면: AI 비서를 훈련할 때 상대역인 '가짜 사용자'를 어떻게 만드느냐가, 실제 사람과 대화할 때의 성능을 좌우한다는 것을 통제 실험으로 보였다. ⁴

대화형 AI 비서를 만들 때 사용자 시뮬레이터가 점점 널리 쓰이지만, 그 품질을 어떻게 재느냐는 여전히 열린 문제였다. 이 연구는 시뮬레이터 품질을 '하류 유용성'으로 정의한다. 그 시뮬레이터로 훈련한 비서가 실제 사람과 대화할 때 얼마나 잘하느냐다. 연구진은 시뮬레이터만 바꾸고 나머지(보상 루브릭, 심판 모델, 초기 비서)는 전부 고정한 통제 실험을 설계했다. 한쪽 끝에는 사용자 역할을 연기하도록 지시받은 LLM(RPuser), 다른 쪽 끝에는 WildChat의 실제 인간 발화로 지도학습 미세조정한 시뮬레이터(SFTuser)를 두고, 각각에 대해 GRPO 강화학습으로 비서를 훈련했다. 모든 시뮬레이터는 같은 Qwen2.5-14B-Instruct에서 파생했고 비서는 Qwen2.5-3B-Instruct로 초기화해, 차이가 오로지 시뮬레이터에서 오도록 했다. ⁴

평가는 283명이 참여한 사용자 연구의 쌍대 승률과, 실제 인간-AI 대화에서 뽑은 WildBench로 진행했다. 역할 연기 LLM으로 훈련한 비서는 사용자 연구에서 초기 비서와 통계적으로 구분되지 않는 50.6%(±4.2%) 승률에 그쳤다. 훈련 상대에게는 높은 보상을 받았지만 그 이득이 진짜 사람에게 전이되지 못한 것이다. 반면 미세조정 시뮬레이터로 훈련한 비서는 초기 대비 58.1%(±3.8%), 역할 연기 훈련 비서 대비 57.3%(±3.8%)로 유의미하게 앞섰다. WildBench에서도 가장 단순한 역할 연기(RPuser1)로 훈련한 비서는 SFTuser 훈련 비서에 63.9%의 확률로 졌다. 격차는 정답이 있는 과제(수학, 코딩·디버깅)에서는 통계적으로 유의하지 않았고, 창작(+12.9%)·롤플레이(+11.8%)·편집(+10.2%)처럼 사용자의 의도를 대화 내내 맞춰가야 하는 개방형 과제에서 가장 크게 벌어졌다. 훈련 신호가 보상하는 것이 바로 그 상호작용이기 때문이다. ⁴

추가 분석에서 세 가지 패턴이 굳어졌다. 페르소나 조건화처럼 역할 연기의 현실성을 높이는 기법은 비서 성능을 끌어올리긴 했지만 미세조정 시뮬레이터와의 격차를 좁히지 못했다. 시뮬레이터의 모델 크기를 키울 때도 미세조정 쪽(Qwen2.5-7/14/32B)에서만 유의미한 이득이 났을 뿐, 역할 연기 쪽(Qwen3-14/32B)은 더 유창해져도 더 사람다워지지는 않아 이득이 없었다. 마지막으로 훈련 때 못 본 시뮬레이터와 짝지었을 때, 역할 연기로 훈련한 비서는 성능이 급락한 반면 미세조정 시뮬레이터로 훈련한 비서는 일반화했다. 이는 시뮬레이터 간 교차 평가가 실제 사람으로의 일반화를 가늠하는 실용적 대리 지표가 될 수 있음을 시사한다. 실무적 결론은 명확하다. 사용자 시뮬레이터는 실제 인간 행동에 뿌리를 두어야 하고, 그 품질은 실제 사용자에 미치는 하류 효과로 재야 한다. 코드와 훈련된 비서·시뮬레이터 모델, 시뮬레이션 대화 궤적을 공개했다. ⁴

3만2천 파라미터로 700억 모델의 다양성을 진화시키다

쉽게 말하면: 거대한 모델은 손대지 않고, 그 앞에 붙이는 작은 신호 벡터만 진화시켜 판박이 출력 대신 다양한 해답을 뽑아내는 방법이다. ⁵

LLM은 모드 붕괴(mode collapse)를 겪는다. 유효한 해답 공간을 두루 탐색하지 못하고 동질적이고 반복적인 출력에 수렴한다. 코드를 짜면 구문이 비슷한 변형만, 창작을 하면 예측 가능한 패턴만 나온다. 이 연구의 QD-LLM은 품질-다양성(Quality-Diversity) 최적화 틀 안에서 파라미터 효율적 신경진화를 수행한다. 700억 파라미터 이상의 고정된 LLM은 그대로 두고, 생성을 조종하는 3만2천 파라미터짜리 소프트 프롬프트 임베딩만 경사 없는(gradient-free) 방식으로 진화시킨다. 작은 표현이 거대한 모델의 행동을 좌우한다는 점에서 신경진화의 '간접 부호화'에 해당한다. 여기에 의미적 특징(SBERT 임베딩)과 명시적 특징(순환 복잡도, 코드 길이, 알고리즘 패러다임)을 결합한 하이브리드 행동 특성화, 그리고 유한 차분으로 행동 경사를 추정해 아카이브의 빈 영역으로 밀어 넣는 표적 변이 연산자를 더했다. 두 특징이 담는 정보가 거의 독립임을 정규화 상호정보량(NMI)으로 확인해, 커버리지가 곱셈에 가깝게 늘어난다는 이론적 근거도 제시한다. ⁵

성능 검증은 HumanEval 164문제, MBPP 974문제, 창작 벤치마크에서 이뤄졌다. QD-LLM은 기존 QDAIF 대비 커버리지 46.4%, QD-Score 41.4% 높은 성과를 30회 실행과 Vargha-Delaney 효과 크기 분석으로 입증했다. 지표만 좋아진 게 아니라 하류 유용성도 나왔다. 다양한 아카이브는 테스트 생성에서 엣지 케이스를 34% 더 발굴했고, 미세조정 데이터 품질에서 정확도를 8.3% 끌어올렸다. 검증은 임베딩에 직접 접근할 수 있는 오픈소스 모델(Llama-3-70B, Mistral-Large)에서 수행했으며, 직접 접근이 막힌 API 모델(GPT-4-turbo)에 대해서는 연속 공간에서 진화한 뒤 가장 가까운 어휘 토큰으로 사영하는 근사를 두고 그 오차를 실측했다. ⁵

이 연구의 함의는 신경진화와 현대 LLM을 잇는 실용적 다리에 있다. 700억 규모 모델을 미세조정하지 않고도, 3만2천 파라미터의 소프트 프롬프트만 진화시켜 다양성을 확보할 수 있다는 점은 비용 측면에서 매력적이다. 다만 이 방식은 임베딩에 직접 접근할 수 있는 모델을 전제로 하며, 접근이 막힌 경우에는 사영 근사에 기대야 한다는 한계가 남는다. ⁵

긴 문맥 어텐션을 작은 회귀 네트워크로 대체하기

쉽게 말하면: 책 한 권처럼 긴 문맥을 매번 통째로 훑는 대신, 그 문맥에 대한 어텐션 계산을 작은 신경망 하나로 미리 근사해 두는 방법이다. ⁶

고정된 긴 문맥에서 소프트맥스 어텐션을 계산하려면 새 쿼리 토큰마다 캐시된 모든 키-값 쌍을 읽어야 한다. 하지만 특정 문맥, 예컨대 책·매뉴얼·법률 코퍼스가 정해지면 어텐션 출력은 쿼리의 결정론적 함수가 된다. Nectar는 이 점에 착안해, 과제와 관련된 분포에서 뽑은 쿼리들에 대해 이 함수를 컴팩트한 신경망으로 피팅한다. 레이어와 KV 헤드마다 두 개의 네트워크를 학습하는데, 하나는 어텐션 출력을 예측하는 타깃 네트워크이고 다른 하나는 로그 정규화 항을 예측하는 스코어 네트워크다. 이 쌍을 추론 시점의 표준 마스킹 셀프 어텐션에 끼워 넣으면, 캐시에 대한 O(n) 어텐션이 문맥 길이 n에 무관한 순전파로 대체된다. 각 모듈의 파라미터 양은 같은 세밀도에서 전체 KV 캐시가 차지하는 용량(키와 값 각각을 n개 토큰 × 차원 d로 저장하니 2·n·d에 해당)보다 대체로 훨씬 작다. ⁶

실험은 1.7B에서 8B 파라미터 모델을 대상으로 다섯 개 긴 문맥 데이터셋에서 진행했다. 근사 오차는 완전 어텐션 대비 다음 토큰 정확도 격차를 그대로 따라갔으며, 레이어별로 용량을 균등하지 않게 배분하면 그 격차가 줄어든다는 점을 절제(ablation) 실험에서 확인했다. 나아가 질문 프롬프트에 대한 텍스트 생성이 완전 캐시를 준 경우와 의미적 내용에서 일치하는지도 직접 점검해, 지표상의 근사가 실제 출력의 일치로 이어지는지를 따로 검증했다. ⁶

이 접근의 실무적 매력은 추론 비용을 문맥 길이와 분리한다는 데 있다. 같은 문서를 반복해서 질의하는 환경, 이를테면 고정된 매뉴얼이나 법률 코퍼스에 대한 반복 조회에서는 미리 피팅한 Nectar 모듈로 KV 캐시 읽기 비용을 줄일 수 있다. 다만 이 방식은 문맥이 고정돼 있고 과제 관련 쿼리 분포를 확보할 수 있다는 전제에 의존하며, 근사인 만큼 완전 어텐션 대비 정확도 격차가 남는다는 점도 저자들이 함께 보고한다. ⁶