논문들은 같은 질문을 서로 다른 영역에서 던진다. 개별 문항에서 높은 점수를 받은 모델이 실제 업무의 흐름 안에서도 믿을 만하게 작동하는가라는 질문이다. 종양 진료 경로와 자율 화학 실험실을 다룬 두 벤치마크는 부분 점수와 실행 능력 사이의 간극을 수치로 드러낸다. 사회 시뮬레이션 에이전트와 대화 요약 평가 연구는 '무엇을 안정성과 정확성으로 볼 것인가'라는 측정 기준 자체를 다시 설계한다. 여기에 시간에 따라 변하는 물리 시스템에서 불확실성 보장이 언제 성립하는지 따진 이론 연구와, 불투명한 사용자 임베딩을 사후에 해부하는 해석 연구가 '검증 가능한 AI'라는 같은 줄기의 곁가지를 이룬다.
문항은 맞히는데 환자는 놓친다: 비인두암 진료 경로 전체를 채점하는 NPCBench
쉽게 말하면: 의료 AI는 시험 문제는 잘 풀지만, 한 환자의 진단부터 치료까지를 처음부터 끝까지 일관되게 맞히는지는 따로 확인하기 어렵다. 이 연구는 전공의 수련 과정을 본뜬 시험지를 만들어 그 간극을 직접 쟀다. 1
NeurIPS 2026 채택 논문이다. 저자들은 기존 의료 벤치마크가 임상 역량을 사실 문항, 단일 영상 과제, 고정된 증례로 잘게 나눠 채점한다는 점을 문제로 삼는다. 이런 방식으로는 모델이 세부 전문 지식과 여러 형태의 근거를 묶어 환자 상태의 변화를 따라가는지 알 수 없다. 이를 검증할 질환으로 비인두암을 골랐다. 이 질환은 조직병리, 다중 시퀀스 MRI, 혈장 EBV DNA를 함께 해석해야 병기를 정할 수 있고, 치료 반응·독성·재발에 따라 이후 결정이 달라진다. NPCBench는 평가를 여섯 단계로 쌓는다. L1·L2는 가이드라인 회상과 적용, L3는 병리·MRI 근거 판독, L4는 한 시점의 증례 계획, L5는 경과에 따른 결정 수정, L6는 환자 단위로 이어진 진료 경로(CarePath)를 본다. 여기에 채점 기준표로 평가하는 개방형 자문(O1)이 더해진다. 규모는 개별 과제와 자문 문항 4,777개, 그리고 100명 환자 코호트에서 뽑은 채점 대상 진단·치료 과제 417개다. 핵심 지표는 같은 환자에 대해 진단과 치료 답을 모두 맞혀야 성공으로 치는 '엄격한 성공률(Strict success)'이다. 1
30개 모델을 평가한 결과, 저자들이 '조합 간극'이라 부르는 현상이 뚜렷했다. 가이드라인 회상 정확도는 92%를 넘었지만 증례 계획의 최고 정확도는 71.9%에 그쳤다. 100명 환자의 해부학적 판독 패널에서 종양 침범 범위를 완전히 맞힌 비율은 최대 5.0%였다. 병기 라벨은 맞혀도 그 근거가 되는 영상 해석은 불완전하다는 뜻이다. CarePath에서 Gemini-3.1은 치료 정확도 89.9%를 기록했지만 엄격한 성공률은 11.0%였다. 엄격한 성공률이 가장 높은 Claude-4.6도 23.0%에 머물렀고, 멀티모달 모델 21개 가운데 이 수치를 넘은 모델은 없었다. 자문 과제에서 점수가 가장 높은 GPT-5.1도 주 채점 모델 기준으로 응답의 14.6%가 중대 오류 기준에 걸렸다. 채점 기준표를 쓰는 자동 채점 모델은 의사 주석과 비교했을 때 민감도와 특이도가 한쪽으로 기울어 있었다. 1
벤치마크는 단일 질환을 다룬다. 평균 정확도가 비슷한 모델도 환자 단위 오류 양상은 크게 다를 수 있다. 치료는 맞혔는데 MRI 근거는 잘못 읽은 경우도 나온다. LLM을 채점자로 쓸 때도 의사 판정과 맞춰 보는 보정 절차가 필요하다. 1
실험 영상은 따라가도 손댈 곳은 못 찾는다: 자율 화학 실험실의 '체화된 두뇌'를 시험하는 BEAKER
쉽게 말하면: 사람 없이 돌아가는 화학 실험실에 AI를 두뇌로 앉히려면, 실험 장면을 보고 어디를 잡고 어떻게 움직여야 하는지까지 판단해야 한다. 이 연구는 그 능력을 따로 떼어 시험했고, 지금 모델들이 큰 흐름은 알아도 정밀한 실행 판단에는 약하다는 점을 보였다. 2
NeurIPS 2026 채택 논문이다. 자율 화학 실험실(SDCL)은 자동화 장비가 실험을 수행하고 결과를 관찰한 뒤 그 데이터로 다음 조작을 정하는 폐루프 체계다. 멀티모달 LLM을 이 체계의 '체화된 두뇌'로 쓰려는 시도가 늘고 있다. 그러나 기존 실험실 벤치마크는 안전, 이상 탐지, 일반 과학 이해에 치우쳐 있어 실행 능력은 거의 측정하지 못했다. 저자들은 같은 기구나 액면, 튜브 연결 상태라도 현재 단계와 조작 가능성, 안전 요건에 따라 다음 행동이 달라진다고 강조한다. BEAKER는 이 능력을 네 축으로 나눈다. 조작 가능 영역과 동작 실현성을 보는 '행동 가능성(Actionability)', 기구·상태·절차 규범을 보는 '지식(Knowledge)', 조작·연결·단계 진행을 보는 '실험(Experimentation)', 시간 변화와 결과를 추론하는 '추론(Reasoning)'이다. 2
저자들은 공개된 실제 실험실 이미지와 영상 1만 건 이상을 모았다. 대부분 1인칭 시점이나 실험 수행 시점의 자료다. 이 가운데에서 이미지 과제 7종과 영상 과제 4종, 모두 11종에 걸친 1,000개 질의응답 샘플을 만들었다. 화학 전문가와 체화 AI 전문가가 샘플 선별, 문항 작성, 주석을 모두 직접 했고 AI 도구는 쓰지 않았다. 모델이 만든 벤치마크로 모델을 평가할 때 생기는 자기 편향을 줄이려는 설계다. 범용·과학 특화·화학 특화·체화 모델 28개를 오프라인 단일 턴 설정에서 평가했다. 모델들은 영상 속 실험의 큰 흐름은 따라갔다. 반면 조작 가능한 세부 영역의 위치 지정, 실현 가능한 궤적 계획, 전문 기구와 시약 상태·안전 규범 인식, 중간 길이 절차의 순서 배열에서는 고전했다. 과학·화학 특화 모델이 범용 모델보다 일관되게 낫지도 않았다. 2
평가가 오프라인 단일 턴이라는 점은 분명한 한계다. 실제 폐루프 실행에서는 관찰과 행동이 반복되므로, 이 벤치마크는 그 전제 능력을 진단하는 도구로 보는 편이 맞다. 도메인 지식을 더 넣는다고 실행 능력이 따라오지 않는다. 2
흔들리지 말아야 할 때와 바뀌어야 할 때: 사회 시뮬레이션 에이전트의 '선택적 견고성'
쉽게 말하면: LLM으로 사람들의 사회적 행동을 흉내 내는 연구에서는 같은 뜻의 지시문을 표현만 바꿔도 결과가 크게 달라지는 문제가 있었다. 이 연구는 '표현이 바뀌면 그대로, 상황이 바뀌면 달라지는' 행동을 좋은 에이전트의 기준으로 정의하고, 맥락을 어떤 식으로 보태야 그 기준에 가까워지는지 실험할 틀을 만들었다. 3
NeurIPS 2026 채택 표기가 있으며, 본문은 'LLM 사회적 추론·시뮬레이션' 제2회 워크숍(SocialAgent) 논문이다. 저자들은 선행 연구의 사례를 출발점으로 삼는다. 죄수의 딜레마 게임에서 사회적 의미는 그대로 두고 맥락 형식만 바꿨는데 협력률이 최대 76%p까지 달라졌다는 보고다. 흔한 처방은 에이전트에 더 풍부한 맥락을 주는 것이다. 문제는 '풍부함'이 하나로 정의된 개입이 아니라는 점이다. 그래서 저자들은 덧붙이는 정보의 기능에 따라 다섯 조건을 만들었다. 최소 맥락 기준선이 있고, 그 위에 결정과 무관한 배경을 더하는 '중립적 덧붙임', 조직 내 관계 같은 '일반적 사회 배경', 관계·절차·적용 범위를 결정에 직접 연결하는 '서술적 결정 근거', 같은 사실에 책임과 요구를 명시하는 '규범적 결정 근거'가 더해진다. 각 블록은 같은 위치에 들어가며, 누적하지 않고 서로 대체한다. 3
평가 기준인 '선택적 견고성'은 두 요건을 함께 요구한다. 하나는 의미를 보존하는 표현 변화에 둔감한 '표면 불변성'이다. 다른 하나는 결정에 영향을 줘야 하는 사회적 상황 변화에 미리 정한 방향으로 반응하는 '방향성 반응'이다. 행동 테스트 방법론인 CheckList의 불변성 검사와 방향성 기대 검사를 사회 에이전트에 옮긴 구도다. 죄수의 딜레마와 비슷한 게임에서 두 모델로 파일럿 실험을 했다. 맥락을 보태는 방식마다 행동 패턴이 뚜렷이 달랐고, 그 양상은 모델에 따라서도 달랐다. 3
저자들 스스로 밝히듯 실험은 단일 시나리오의 파일럿이다. 결과는 틀의 쓸모를 보여주는 예시일 뿐, 맥락 보강의 일반적 효과를 입증하지 않는다. 그래도 시사점은 크다. '맥락을 더 주면 안정된다'는 통념을 검증 가능한 개입 단위로 쪼갰다. 그리고 견고성을 단순히 '안 바뀌는 것'이 아니라 '바뀌어야 할 때 바뀌는 것'까지 포함해 정의했다. 3
사실 단위로 쪼개 따지는 요약 평가: 다국어 대화 음성 요약을 위한 SAUCE
쉽게 말하면: 정해진 목적 없이 흘러가는 대화를, 음성 인식과 번역을 거쳐 요약하면 무엇이 빠지고 무엇이 지어졌는지 판단하기 어렵다. 이 연구는 요약과 원문 대화를 작은 사실 단위로 쪼개 하나씩 대조하고, 점수가 왜 그렇게 나왔는지 추적할 수 있는 평가 방법을 만들었다. 4
ACL 채택 논문이다. 저자들은 기존 요약 평가의 두 축이 모두 이 상황에 맞지 않는다고 본다. ROUGE나 BERTScore처럼 정답 요약과 비교하는 방식은 다국어 대화 음성에 정답 요약이 없어 쓰기 어렵다. 주제 등장 여부만 볼 뿐 사실 정확성을 재지 못하며, 음성 인식(ASR)과 기계 번역(MT) 오류에도 둔감하다. LLM을 채점자로 쓰는 방식은 자기 선호, 장황한 답 선호, AI 생성 요약 선호 같은 체계적 편향이 있다. 매끄러운 문장에 가려 세부 사실 모순을 놓치기도 하고, 대규모 데이터로 확장하면 비용이 감당되지 않는다. SAUCE는 정답 요약 없이 사실에 기반해 평가한다. 먼저 GPT-4o로 대화와 요약에서 각각 원자 단위 사실을 뽑고, 텍스트 함의(NLI) 판정으로 두 쪽을 대조한다. 지표는 두 가지다. 요약 속 사실 중 대화가 뒷받침하는 비율인 '충실도(SAUCE-Faithful)'와, 대화 속 사실 중 요약에 담긴 비율인 '포괄도(SAUCE-Coverage)'다. 4
저자들은 널리 쓰이는 요약 지표들과 비교해, SAUCE가 전사·번역 오류로 생긴 정보 손실과 망가진 요약을 더 잘 잡아낸다고 보고한다. 초기 조사에서는 사람 판단과도 강하게 일치했다. 가장 큰 차별점은 설명 가능성이다. 점수가 개별 사실과 직접 연결되므로 어느 부분이 지어낸 내용이고 어느 부분이 누락인지 정확히 짚을 수 있다. 개발자는 이 기록으로 모델의 오류 성향을 체계적으로 분석하고, 최종 사용자는 요약을 직접 검증할 수 있다. 4
인간 판단과의 정합성은 아직 예비 수준의 검증이다. 사실 추출 단계가 GPT-4o에 의존하므로 추출 품질이 전체 점수를 좌우한다. 외부 지식과 대조하는 사실 확인은 범위에서 제외했다. 4
시간이 흐르면 보장도 깨진다: 편미분방정식 대리 모델에서 컨포멀 예측이 성립하는 조건
쉽게 말하면: 홍수 예보나 열 제어처럼 시간에 따라 변하는 물리 현상을 AI로 빠르게 예측할 때, 그 예측의 오차 범위를 믿을 수 있는지가 관건이다. 이 연구는 기존 오차 범위 보장 기법이 시간이 지나면 왜 무너지는지 수학적으로 밝히고, 보장을 지키려면 어떻게 써야 하는지 지침을 냈다. 5
NeurIPS 2026 채택 논문이다. 물리 시스템을 근사하는 신경망 대리 모델(PINN, DeepONet, 신경 연산자 등)은 계산이 빠르지만 불확실성을 원칙 있게 정량화하는 수단이 부족하다. 컨포멀 예측은 분포 가정 없이 정해진 확률로 정답을 포함하는 예측 구간을 준다. 다만 보정 데이터와 시험 데이터가 서로 바꿔도 분포가 같은, 즉 교환 가능하다는 전제가 필요하다. 시간에 따라 분포가 바뀌는 편미분방정식에서는 이 전제가 깨지고, 구간이 실제보다 좁게 잡히는 체계적 과소 포괄이 생긴다. 기존 대안에는 저마다 약점이 있다. 시간 평균의 점근적 보장만 주는 방법은 특정 시점의 실패를 막지 못한다. 혼합(mixing) 같은 가정은 PDE 동역학에서 대개 성립하지 않는다. 가중 컨포멀 예측은 분포 간 우도비를 알아야 하는데, 이 값을 대리 모델에서 얻기 어렵다. 5
저자들은 세 가지 결과를 증명했다. 첫째, 함수 공간 관점에서는 가우시안 초기 조건을 둔 열 방정식처럼 단순한 경우조차 서로 다른 두 시점의 해 분포 사이 총변동 거리가 최대가 된다. 아무리 가까운 시점이라도 분포가 상호 특이할 수 있으므로, 신경 연산자 문헌에서 흔한 이 관점에서는 정확한 포괄 보장이 불가능하다. 둘째, 이산화된 경우에도 격자를 촘촘히 할수록 총변동 거리가 지수적으로 빠르게 1에 가까워진다. 여기서 실무 지침이 나온다. 전체 예측 격자 대신 더 성긴 격자나 관심 있는 공간 영역에서만 보정하라는 것이다. 셋째, 특정 가정 아래에서는 닫힌 형태의 우도비를 구할 수 있고, 미래의 모든 시점에서 유한 표본 보장을 주는 가중 컨포멀 예측이 가능하다. 저자들은 이 이산 보장을 연속적인 실제 해로까지 확장했다. 결과는 합성 PDE와 실제 데이터셋 세 개로 검증했다. 5
유한 표본 보장은 저자들이 식별한 가정이 성립하는 설정에 한정된다. 그래서 이 연구의 가치는 범용 해법보다 '보장이 원리적으로 불가능한 영역'과 '가능한 영역'을 가른 데 있다. 앞의 벤치마크들이 경험적으로 신뢰의 빈틈을 쟀다면, 이 논문은 그 빈틈을 이론으로 규정한다. 과학·공학 대리 모델을 안전이 중요한 결정에 쓰는 조직은 보정 해상도와 영역을 의도적으로 제한해야 한다. 시간 평균 보장만으로 시점별 안전을 주장해서도 안 된다. 5
불투명한 사용자 벡터를 행동 모드의 겹침으로 풀어내기: 희소 오토인코더로 읽는 추천 임베딩
쉽게 말하면: 추천 시스템은 사용자를 숫자 벡터로 표현하지만, 그 벡터가 무엇을 뜻하는지는 사람이 읽을 수 없었다. 이 연구는 그 벡터를 '반려견을 열심히 키우는 사람' 같은 해석 가능한 행동 성향 몇 개의 조합으로 분해하고, 자연어로 검색까지 할 수 있게 만들었다. 6
NeurIPS 2026 채택 논문이다. 사용자 임베딩은 추천과 개인화의 핵심 부품이다. 하지만 정보가 빽빽하게 압축되어 있어서 특정 추천이 왜 나왔는지 설명하거나 임베딩에 어떤 정보가 담겼는지 감사하기 어렵다. 저자들은 기계적 해석 가능성 연구의 '중첩 가설'을 끌어온다. 트랜스포머 뉴런이 사람이 이해할 수 있는 개념 여러 개를 겹쳐 담는 것처럼, 사용자 임베딩도 해석 가능한 행동 모드의 희소한 중첩이라는 주장이다. 선형 임베딩에서는 사용자 행동 생성 모델로 이 구조를 직접 도출하고, 딥러닝 표현에는 중첩 가설로 근사 확장한다. 겹친 모드는 희소 오토인코더(SAE) 같은 희소 사전 학습으로 복원하고, 활성화 사례를 바탕으로 각 모드에 자동으로 자연어 이름을 붙인다. 사용자별 라벨링이나 원시 상호작용 데이터 없이 사전 학습된 임베딩만 있으면 된다. 원래 임베딩 시스템을 고칠 필요가 없는 사후 분석이며, 모델 종류도 가리지 않는다. 사용자 하나하나를 LLM으로 라벨링하는 방식은 규모가 커지면 감당할 수 없는 비용이 든다. 6
검증은 두 단계로 했다. 정답 모드를 아는 합성 데이터에서는 평균 풀링 임베딩과 학습된 트랜스포머 인코더 임베딩 모두에서 SAE가 고전적 희소 기법보다 모드를 더 잘 복원했다. SAE 비판론도 정면으로 다뤘다. 디코더를 무작위로 고정한 SAE가 완전히 학습한 SAE와 맞먹는다는 주장이 있는데, 중간 수준의 과완비(overcompleteness) 설정에서는 이 동등성이 성립하지 않음을 보였다. 두 실제 공개 데이터셋에서는 텍스트로 학습한 적 없는 임베딩 위에서 자연어 질의만으로 대상 고객군을 찾는 제로샷 검색을 외부 해석 가능성 시험으로 삼았다. 결과는 K-평균 인코딩보다 행동적으로 더 뚜렷이 구분되는 특징을 보였고, 검색 성능은 고전적 희소 기법과 텍스트 임베딩 기준선과 같거나 더 나았다. 6
기존 유사 고객 모델링은 예시 사용자 집합이 필요하고, 왜 그 고객군이 뽑혔는지 설명하지 못했다. 이 방법은 예시 사용자 없이 해석된 행동 모드로 고객군을 정의한다. 또 모드를 '가벼운 애견인'과 '헌신적 애견인'처럼 정도 차이로 표현한다. 6