이번 주 논문들은 대부분 같은 질문을 던진다. 필터를 통과한 데이터, 지시를 기억해 내는 모델, 그래프로 정리한 검색 증거, 가치를 풍부하게 담은 토론문이 정말 우리가 기대한 대로 작동하는가. 슬로바키아어 웹 말뭉치 감사, 장기 대화의 제약 준수 붕괴, 문맥을 보존하는 그래프 RAG, AI 토론의 가치 구조 측정이 이 흐름에 속한다. 이 네 편은 표면적 지표만으로는 놓치기 쉬운 면을 정량적으로 드러내거나, 그 한계를 줄이는 방법을 제안한다. 곁가지로는 이런 검증을 받게 될 기반 모델과 모델 구조를 다룬 두 편을 함께 살폈다. 하나는 명령줄 에이전트용 오픈 모델 IQuest-Q1이고, 다른 하나는 그래프 생성 Transformer의 메모리 병목을 덜어 낸 연구다.
LLM을 분류기 대신 디버거로 한 번만 쓴다: 2달러대 에이전트가 슬로바키아어 말뭉치에서 140만 건의 콘텐츠 농장을 찾아내다
쉽게 말하면: 천 개가 넘는 언어에 같은 정제 규칙을 적용하면 언어마다 놓치는 쓰레기 데이터가 생긴다. 이 연구는 AI 에이전트에게 그 구멍을 찾아 재사용 가능한 검사 코드로 만들게 했고, 사람이 그 결과를 확인했다. 1
FineWeb2는 Common Crawl에서 천여 개 언어의 사전학습 말뭉치를 하나의 레시피로 뽑아낸다. 이런 균일성 덕분에 자체 크롤링을 감당할 수 없는 언어 공동체도 데이터를 얻는다. 반대로 개별 언어의 실패 양상은 아무도 미리 점검하지 못한다. FineWeb2 저자들도 언어 식별기가 가까운 친족 언어를 혼동한다는 점을 인정했다. 친족 언어 오염을 막는 단어 목록 필터는 측정된 오염률이 10%를 넘는 언어에만 적용했고, 슬로바키아어처럼 규모가 크고 가까운 이웃 언어를 둔 중간 규모 언어는 대상에서 빠졌다. 사람이 손으로 하는 감사는 한 시점의 기록에 그쳐 다음 크롤에 다시 돌릴 수 없다. LLM을 분류기로 전체 말뭉치에 돌리면 정제 문제가 추론 비용 문제로 바뀌고, 왜 그런 데이터가 걸러지지 않았는지도 설명하지 못한다. 저자들은 이 두 방식의 한계에서 출발했다. 1
저자들이 고른 세 번째 길은 LLM을 '디버거'로 한 번만 쓰는 방식이다. 에이전트는 Parquet 파일 위에 올린 DuckDB를 통해서만 말뭉치를 본다. 쓸 수 있는 도구는 읽기 전용이고 사용량 예산이 걸린 11개다. 집계 SQL, 조건부 샘플링, 텍스트 검색, 문장 단위 언어 식별, 후보 탐지기의 정의와 평가가 여기에 들어간다. 프롬프트에는 예상 결함의 분류 체계도, 특정 결함이나 이웃 언어의 이름도 넣지 않았다. 에이전트는 발견한 결함마다 설명, 값싸게 실행되는 선택기, 전체 말뭉치 기준의 정확한 유병률을 산출한다. 정밀도는 모국어 화자가 블라인드로 검증한다. 검증을 통과한 선택기는 모델 없이 도는 테스트 스위트가 된다. 저자들은 이를 '웹 말뭉치를 위한 pytest'라고 부른다. 1
2,650만 문서 규모의 슬로바키아어 구간에서 회당 2.21~2.84달러짜리 실행을 세 번 돌려 네 가지 현상에 걸친 일곱 건의 결함을 찾았다. 가장 큰 결함은 기계가 생성한 콘텐츠 농장 1,408,437건으로, 전체의 5.32%에 해당한다. 이 문서들은 파이프라인의 필터를 모두 통과했고, 86.6%는 더 엄격한 임계값까지 통과했다. 블라인드 라벨링은 일곱 건 중 여섯 건을 지지했다. 이 여섯 건의 결함률은 0.53~1.00으로, 무작위 대조군의 0.08을 크게 웃돈다. 나머지 한 건은 결함률이 0.07에 그쳐 지지받지 못했고, 저자들은 이를 표시해 둔 채로 공개했다. language_score 관련 불변 조건은 FineWeb2 설정 12개 중 11개에서 깨졌다. 컴파일된 테스트 스위트는 GPU 없이 0.7초 만에 전체 말뭉치를 훑는다. LLM 분류를 한 번 돌리는 비용은 1만 2천~9만 달러로 추산된다. 1
저자들은 에이전트의 한계도 보고했다. 회당 검사 예산을 맞춘 비교에서 에이전트는 실행 한 번에 2~3개의 선택기를 검증했고, 정적 샘플링 기준선은 2~4개를 검증했다. 가장 좋은 정적 기준선은 절반 이하의 비용으로 어떤 에이전트 실행보다 많은 선택기를 검증했다. 에이전트가 검증한 현상도 모두 정적 전략의 탐색 범위 안에 있었다. 결국 에이전트의 기여는 '더 많이 찾는 것'에 있지 않다. 정확한 유병률, 표본으로 확인한 정밀도, 파이프라인이 왜 놓쳤는지에 대한 설명, 재사용 가능한 테스트를 남기는 데 있다. 저자들은 다운스트림 성능 향상도 약속하지 않는다. 데이터팀에는 일회성 감사 보고서 대신 다음 크롤과 파이프라인 개정마다 다시 돌릴 회귀 테스트를 쌓는 관행이 가능하다는 점을 보여준다. 이 논문은 EMNLP 2026 채택작이며, 프레임워크와 슬로바키아어 테스트 스위트, 검증 데이터, 에이전트 실행 궤적을 모두 공개했다. 1
지시를 기억하면서도 따르지 않는다: 장기 대화에서 실패의 88.6%는 망각이 아니라 실행의 이탈이었다
쉽게 말하면: 대화가 길어지면 AI는 처음에 받은 규칙을 물어보면 정확히 되풀이하면서도 정작 답변에는 적용하지 않는다. 이 연구는 그런 현상이 얼마나 자주, 어떤 규칙에서 일어나는지를 따로 떼어 측정했다. 2
기존 지시 이행 평가는 대개 한 번의 상호작용이나 짧은 과업 대화에서 제약을 지키는지만 본다. 실제 서비스 비서는 목표, 선호, 안전 경계, 형식 요구를 수십 턴 동안 유지해야 한다. 저자들은 모델이 제약을 기억에서 되살리면서도 다음 답변을 지배하지 못하는 현상을 '상태 무결성 붕괴(State Integrity Collapse)'라고 정의하고 단순 망각과 구분했다. 이 구분은 해법을 고르는 데 중요하다. 정보에 접근하지 못해 생긴 실패라면 검색, 기억 요약, 긴 문맥 창이 도움이 된다. 기억은 하지만 적용하지 못하는 실패에는 이런 처방이 듣지 않는다. 2
StateTrack-Bench의 각 대화는 세 단계로 이뤄진다. 사용자가 지속 제약을 선언하고, 의미상 관련 있지만 다른 요청들이 이어지며, 마지막에 원래 제약을 지켜야 하는 질문이 나온다. 제약은 수치, 형식, 역할·페르소나, 사실 기억, 논리 규칙의 다섯 범주로 나눴다. 공급사 버전을 고정한 일곱 개 모델 스냅샷을 다섯 단계의 대화 깊이에서 결정적 디코딩과 고정된 심판 프롬프트로 평가했다. 모델당 125개 탐침, 전체 875개 출력이 채점 대상이다. 엄격한 결합 유지율은 62.4%에서 100.0%까지 벌어졌다. 하락은 형식·논리 규칙 같은 기호적 제약에 집중됐고, 가장 급격한 붕괴는 Gemini-3.1-Pro에서 나왔다. 일부 모델은 초반 턴보다 후반 턴에서 10점을 잃었다. 핵심은 대화를 갈라 별도로 회상 여부를 확인한 감사 결과다. 관찰된 실패의 88.6%가 제약을 기억하고도 지키지 못한 행동 이탈이었고, 취약한 이상치 모델을 빼도 이 비율은 84.4%로 유지됐다. 2
최대 50턴까지 늘린 확장 평가와 중국어·일본어 시범 평가에서도 같은 괴리가 나타났다. 저자들이 제안한 구조화된 상태 고정(Structured State Anchoring)은 변하지 않아야 하는 제약에서 최대 24.4점을 회복했다. 다만 저자들은 확장·다국어 평가를 보조 증거로만 취급하고, 모든 LLM이 똑같이 무너진다고 주장하지 않는다고 선을 그었다. 단일 턴 지시 이행 점수로 장기 대화의 신뢰성을 추정할 수 없다. 의료·법률처럼 금지 조건이 걸린 비서라면 '규칙을 말할 수 있는가'와 '규칙대로 답하는가'를 따로 검사해야 한다. EMNLP 2026 채택작이며, 벤치마크와 모든 모델 로그를 공개했다. 2
트리플로 쪼개지 말고 문맥째 잇는다: 에너지 확산으로 증거 경로를 골라 텍스트로 펼치는 ThreadRAG
쉽게 말하면: 그래프 기반 검색은 문서를 짧은 사실 조각으로 쪼개면서 맥락을 잃고, LLM은 그 조각난 구조를 잘 읽지 못한다. ThreadRAG는 문단 맥락을 보존한 채 연결망을 만들고, 질문에 맞는 경로를 자연스러운 글의 순서로 펼쳐 모델에 건넨다. 3
다중 홉 질의응답에서는 여러 문서에 흩어진 증거를 이어 붙여야 하므로 지식 그래프를 결합한 RAG가 널리 쓰인다. 저자들은 기존 방식의 병목을 두 가지로 짚는다. 첫째는 의미 손실이다. 엔티티-관계 트리플은 연속된 텍스트를 경직된 기호로 압축하면서 미묘한 맥락을 버린다. 청크 기반 그래프는 문서를 고립된 조각으로 잘라 경계에 잡음을 만든다. 둘째는 입력 형태의 불일치다. LLM은 이어진 자연어로 사전학습됐는데 그래프 경로는 조각나 있다. 이를 생성 모델로 다시 풀어 쓰면 잡음과 환각, 정보 누락이 끼어든다. 3
ThreadRAG는 두 모듈로 이 문제를 푼다. 의미 위상 매퍼(STM)는 검색된 문서를 맥락이 온전한 '의미 노드'로 묶는다. 그리고 원문 순서를 보존하는 서사 간선, 의미 유사성 간선, 어휘 간선으로 노드를 연결해 의미 위상 그래프(STG)를 만든다. 에너지 구동 경로 탐색(EDP)은 질문과 관련된 노드를 추론의 출발점으로 삼는다. 그 노드들에서 그래프 위로 에너지를 확산시키고 동적으로 가지를 쳐서 질문 전용의 작은 증거 부분그래프를 고른다. 선택된 노드는 자유 생성으로 다시 쓰지 않고, 위상과 서사 구조에 따라 결정적으로 일렬로 배열한다. 그래프의 구조적 단서를 유지하면서도 LLM이 익숙한 연속 텍스트 형태로 증거를 넘기려는 설계다. 3
세 개의 다중 홉 QA 벤치마크에서 ThreadRAG는 강한 기준선들을 일관되게 앞섰다. HotpotQA에서는 텍스트 중심 방법보다 정확 일치율(EM)이 14.4% 높았고, KnowTrace보다 3.4% 높았다. 2WikiMultihop에서는 최고 기준선을 EM 5.8% 앞섰다. 토큰 비용은 가장 강한 기준선의 23.3% 수준으로 줄었다. 기존 전역 그래프를 STG로 바꾸기만 해도 EM이 12.6% 올랐고, 텍스트로 펼친 STG 경로는 2WikiMultihop에서 EM 0.588로 비교한 모든 지식 표현 방식 가운데 가장 높았다. EMNLP 2026 채택작이다. 3
가치를 얼마나 말하느냐보다 어떻게 배치하느냐: AI 토론문은 가치가 풍부하지만 초점이 흩어진다
쉽게 말하면: AI가 쓴 토론문은 공정, 안전, 자유 같은 가치를 사람보다 더 많이 언급하기도 한다. 그러나 사람처럼 핵심 가치 몇 개에 힘을 모으지 않고 발언마다 이것저것 흩뿌린다. 이 연구는 그 차이를 잴 수 있는 지표를 만들었다. 4
LLM 토론 생성의 평가는 그동안 일관성, 사실성, 입장 유지, 논리 타당성, 설득력에 집중했다. 가치 중심 NLP 연구는 논증 텍스트에서 인간 가치를 식별해 왔지만, 가치를 개별 텍스트에 붙는 라벨로만 다뤘다. 그래서 가치가 토론의 턴을 따라 어떻게 분포하고 이어지는지는 아무도 재지 않았다. 저자들은 두 개념을 나눈다. '가치 표현'은 토론이 얼마나 넓은 범위의 가치를 불러내는가를 뜻한다. '가치 조직'은 그 가치들이 턴에 걸쳐 어떻게 분포하고 유지되는가를 뜻한다. 4
가치 공간으로는 슈워츠(Schwartz)의 기본 10가치 이론을 썼다. 각 발언에서 입장별 주장과 전제를 짝지은 논증 단위를 추출하고, 단위마다 열 가지 가치에 대한 확률 분포를 부여한다. 이 분포를 발언, 입장, 토론 전체 수준으로 집계한다. 가치 표현 쪽에서는 활성화된 가치의 범위와, 짝을 이룬 인간 토론과 지배적 가치가 얼마나 일치하는지를 잰다. 가치 조직 쪽에서는 엔트로피로 가치의 확산 정도를 재고, 안정성·표류·지배 가치 지속성으로 한 입장이 턴을 거치며 가치 구성을 어떻게 끌고 가는지를 본다. 저자들은 이 지표가 텍스트에 드러난 가치 호소를 측정할 뿐, 모델의 내면적 신념을 추론하지 않는다고 명시했다. 4
범용 LLM과 토론 특화 시스템 R-Debater를 인간 기준 토론과 짝지어 비교한 결과, 구분선이 일관되게 나타났다. AI 토론은 인간 기준과 같거나 더 많은 가치 차원을 활성화했다. 그러나 발언 단위에서 가치가 더 넓게 흩어졌고, 입장과 턴에 걸친 배치 방식도 달랐다. 이 패턴은 표면적 특성을 통제한 뒤에도 유지됐다. 출처를 가린 인간 평가자들도 '가치가 분명한가'와 '가치에 초점이 있는가'를 별개의 성질로 구분했다. 설득형 생성 시스템을 평가하는 쪽에 주는 메시지는 이렇다. 가치 키워드가 들어 있는지만 확인해서는 부족하다. 논증이 소수의 핵심 가치에 힘을 모으는지를 별도 축으로 점검해야 한다. EMNLP 2026 채택작이다. 4
320B 희소 전문가 모델을 명령줄 에이전트에 맞춰 키우다: IQuest-Q1의 학습 설계
쉽게 말하면: 터미널에서 파일을 다루고 코드를 실행하며 일을 처리하는 AI 에이전트를 목표로 대형 오픈 모델을 처음부터 설계하고 학습했다. 안정적인 사전학습부터 여러 실행 환경을 아우르는 후학습까지 전 과정을 공개했다. 5
저자들은 명령줄 인터페이스(CLI)가 언어 모델이 외부 시스템과 상호작용하고 도구를 쓰고 코드를 실행하는 가장 범용적인 통로가 됐다고 본다. IQuest-Q1은 전체 파라미터 320B 중 토큰당 15B만 활성화하는 희소 전문가 혼합(MoE) 모델이다. 어텐션은 그룹 쿼리 어텐션(GQA)과 슬라이딩 윈도 어텐션을 교차 배치한다. 여기에 넘치는 어텐션을 흡수하는 쿼리 인지형 싱크 토큰, 쿼리·키 정규화와 그 클리핑, 일부 차원에만 적용하는 RoPE를 더했다. 첫 층은 전문가 부하 불균형을 피하려고 MoE 대신 밀집 MLP를 쓴다. 5
기술적으로 눈여겨볼 부분은 안정성 설계다. 일반적인 Pre-Norm 구조에서는 깊어질수록 잔차 스트림의 분산이 커져 뒤쪽 층의 기여가 줄어든다. 저자들은 어텐션 입력만 정규화하고 FFN 쪽 잔차는 정규화하지 않는 SplitNorm을 채택했다. 이 구조를 대형 모델로 키우면 최적화가 불안정해지므로, 어텐션 출력에 RMSNorm을 추가하고 첫 층에는 SandwichNorm을 적용했다. 이것이 Stable SplitNorm이다. Muon 옵티마이저와 μP 파라미터화를 결합해 폭과 깊이를 각각 4배 범위로 바꿔도 하이퍼파라미터가 전이됨을 확인했다. 덕분에 학습률은 은닉 폭 896의 작은 대리 모델에서 탐색했다. 사전학습 2단계에서는 코딩 데이터 비중을 늘렸다. 중간 학습에서는 도메인과 형식을 넓히면서 문맥 길이를 단계적으로 늘렸다. 후학습은 SFT, 도메인 특화 강화학습, 여러 교사 모델의 능력을 하나로 모으는 다중 교사 온폴리시 증류(MOPD)를 여러 에이전트 실행 환경에 걸쳐 결합했다. 마지막으로 서로 다른 CLI용 전문가 모델과 체크포인트를 병합하면서 파라미터 갱신 간 충돌을 줄였다. 5
저자들은 DeepSWE v1.1, CyberGym, NL2Repo 같은 코딩 벤치마크와 JobBench, Agents' Last Exam, Humanity's Last Exam 등 범용 에이전트·추론 벤치마크에서 역량을 보였다고 밝힌다. 사용자 체감 성능은 자체 IQuest-CLIBench로 평가했다. 저자들은 사람의 감독 아래 모델이 자기 후속 모델 개발에 참여하는 'human-on-the-loop' 방식의 재귀적 자기개선도 소개한다. 그러나 이것이 개발 주기를 얼마나 단축했는지는 정량적으로 제시하지 않았다. 이 논문은 학회 채택 표기가 없는 사전공개본이다. HF에서 53표를 받았다. 가중치를 공개했으므로 외부 재현이 가능하다. 5
그래프 생성 Transformer를 융합 커널에 태우다: 표현력은 지키고 메모리는 65% 덜어낸 FlexAttention 설계
쉽게 말하면: 분자나 네트워크 같은 그래프를 만드는 AI는 모든 노드 쌍의 관계를 붙잡고 있느라 메모리를 엄청나게 쓴다. 이 연구는 모델의 핵심 구조는 그대로 두고 계산 방식만 최신 GPU 가속 기법에 맞게 다시 짜서 생성 품질은 유지한 채 메모리와 속도를 크게 개선했다. 6
DiGress 이후 DeFoG, CatFlow, BWFlow 같은 확산·흐름 기반 그래프 생성 모델은 노드·간선·그래프 전체 특징을 함께 갱신하는 그래프 Transformer를 공통 골격으로 쓴다. 간선 특징이 어텐션 점수를 조절하고, 어텐션 지도가 다시 간선을 갱신하는 촘촘한 결합이 생성 품질의 원천이다. 대신 노드 쌍마다 간선 상태를 유지해야 하므로 계산량과 메모리가 노드 수의 제곱으로 늘어난다. 기존 해법인 희소 어텐션, 국소·전역 혼합, 선형 근사는 대개 밀집 어텐션 자체를 바꾸거나 대체한다. 예컨대 SparseDiff는 희소성을 이용해 더 큰 그래프를 학습하지만 샘플링 시간이 늘어난다. 6
저자들은 원래 구조의 귀납 편향을 온전히 지키면서 구현만 효율화하는 길을 택했고, 세 가지 장애물을 하나씩 풀었다. 첫째, 원래 구조는 원소별 외적 어텐션을 써서 노드 쌍마다 벡터를 만든다. 표준 융합 커널은 이런 텐서를 처리하지 못한다. 둘째, 간선·전역 특징이 어텐션 점수를 조절하는 방식을 커널에 맞게 바꿔야 한다. 셋째, 간선 갱신에 필요한 소프트맥스 확률을 융합 커널은 전역 메모리에 기록하지 않는다. 저자들은 구조 정보를 어텐션 헤드별 점수 조절로 주입하고, 어텐션 점수에 의존하는 간선 갱신은 가벼운 잔차 메커니즘으로 남겼다. 그래프 마스크도 그대로 지킨다. 이 층 전체를 PyTorch FlexAttention으로 구현해 융합 커널의 이점을 얻었다. 6
FlexAttentionGT는 DeFoG 원래 골격과 비슷한 생성 품질을 내면서 최대 GPU 메모리를 약 65% 줄였다. 학습 처리량은 평균 45%, 추론 처리량은 평균 94% 높아졌다. 절제 실험 결과도 시사점이 크다. 간선 갱신을 더 단순화하면 생성이 붕괴했고, 모델 크기를 줄이면 수렴이 느려지고 최종 성능도 떨어졌다. 저자들은 이 결과를 그래프 파운데이션 모델로 가는 실용적 한 걸음으로 본다. ICML 2026 채택작이다. 6