이 초안에서 다루는 논문들은 LLM과 비전 모델이 답을 내는 능력뿐 아니라, 그 밑에 깔린 3차원 구조, 지식의 위계, 도덕적 가치 같은 구조를 어떻게 표현하고 평가할지에 초점을 둔다. 연구자들은 RGB 영상에서 암시적·명시적 기하 표현을 함께 학습하고, 교과 지식을 그래프로 엮고, 이미지 생성 모델에 공간 판단을 픽셀로 표현하게 하는 등, 정답 이면의 구조적 이해를 모델에 주입하거나 측정하려 한다.
2D 영상만으로 세밀한 3D 감각을 심는다: 암시적·명시적 기하의 이중 토큰
쉽게 말하면: RGB 동영상만으로 비전-언어 모델의 3D 공간 이해와 추론 능력을 높이려는 연구다. 추가 3D 입력 없이 2D RGB 데이터에서 3D 귀납 편향을 주입한다는 점이 핵심이다. 1
출발점은 기존 RGB 기반 비전-언어 모델(VLM)의 한계다. 2D 시각 입력으로 구축된 많은 VLM은 세밀한 공간 이해와 추론이 필요한 여러 3D 과제에서 어려움을 겪는다. 최근 연구들은 전용 3D 센서나 명시적 3D 데이터 의존을 줄이기 위해 2D 시각 관찰에서 3D 표현을 직접 학습하려 해 왔다. 1
VLM-IE3D는 두 종류의 기하 표현을 함께 쓴다. 첫째, 3D 기하 인코더가 만드는 암시적 기하 토큰(IGT)은 입력 비디오에서 고수준 기하 사전지식을 포착한다. 둘째, 명시적 기하 토큰(EGT)은 재구성된 3D 속성에서 세밀한 기하 구조를 인코딩한다. 여기에 3D-aware 어댑터가 이 두 종류의 기하 표현을 2D 시각 단서와 융합한다. 이 RGB-only 설계는 추가 3D 입력 없이 세밀한 공간 이해와 추론을 위한 3D 귀납 편향을 주입한다. 1
실험은 3D 비디오 검출, 3D 시각 그라운딩, 3D 밀집 캡셔닝, 공간 추론 등 여러 과제에서 진행됐고, 저자들은 VLM-IE3D가 다양한 3D 과제 전반에서 일관되게 우수한 성능을 달성했다고 밝힌다. 다만 제공된 초록·서론 발췌에는 각 과제별 구체 수치가 담기지 않아 정확한 개선폭은 확인되지 않는다. 실무적으로 보면, RGB 입력만 쓰는 환경에서도 재구성된 3D 속성에서 나온 명시적 기하 표현을 암시적 기하 표현과 결합하는 방식이 세밀한 공간 이해에 도움이 될 수 있음을 제시한다. 1
이질적 추론 에이전트를 엮어 난제 벤치마크를 공략하다: PoTRE의 위상 다양성
쉽게 말하면: 어려운 문제를 풀 때 서로 다른 추론 방식을 가진 여러 에이전트를 병렬로 두고, 마지막에 그 관점을 조율해 답을 내는 방식으로 LLM의 추론력을 높이려는 연구다. 2
문제의식은 명확하다. LLM은 많은 과제를 잘하지만, 긴 호흡의 계획과 반복적 오류 수정이 필요한 복잡한 추론에서는 자주 어려움을 겪는다. 특히 표준적인 단일 스트림 프롬프팅은 모델이 새로운 추상 개념이나 엄격한 도메인 제약을 만나면 취약하다고 저자들은 지적한다. 2
PoTRE(Poly-Topological Reasoning Ensembles)는 추론을 네 개의 이질적 에이전트로 분리한다. 적대적 정제 에이전트, 계층적 전략 계획 에이전트, 스펙트럼 탐색 에이전트, 직접 연쇄 에이전트다. 마지막에 과제 적응형 통합 계층이 이들의 관점을 동적으로 조율하는데, 최종 후보 선택, 의미적 종합, 또는 신경-기호 검증을 통해 견고한 전역 해답을 만들도록 설계됐다. 사고방식 자체를 여러 갈래로 나눈 뒤 재통합하는 구조가 핵심이다. 2
평가는 ARC-AGI-2, Humanity's Last Exam(HLE), PRBench Finance 세 개의 최전선 벤치마크에서 이뤄졌다. PoTRE는 HLE에서 49.92%의 정확도로 종전 공식 최고 점수를 넘어섰다고 보고된다. 저자들은 이 구조적 이질성이 크게 스케일업한 동질적 기준선과 비슷하거나 더 적은 추론 토큰으로 향상된 성능을 냈다는 점을 강조한다. 실무 관점에서는 모델을 무작정 키우기보다 서로 다른 추론 전략을 병렬로 두고 조율하는 것이 토큰 효율 측면에서 유리할 수 있음을 시사한다. 2
교과서를 그래프로 옮겨 '커리큘럼 인지'를 측정하고 가르치다: K12-KGraph
쉽게 말하면: 시험 문제를 맞히는 것과 교육에 필요한 지식 구조를 이해하는 것은 다르다는 문제의식에서, 선수학습 관계와 개념 분류, 실험과 개념의 연결, 교수 순서 등을 지식 그래프로 만들고 이를 평가·훈련 자원으로 활용한 연구다. 3
저자들은 기존 벤치마크(C-Eval, CMMLU, GaokaoBench, EduEval 등)가 모델이 시험 문제를 맞히는지, 즉 사실 회상에 치우쳐 있다고 지적한다. 교육용 AI에는 '커리큘럼 인지', 즉 선수학습 사슬, 개념 분류 체계, 실험과 개념의 연결, 교수 순서 같은 지식의 구조적 이해가 필요하다. 이런 능력은 현재 벤치마크로 충분히 측정되지도, 지시 튜닝 데이터로 명시적으로 가르쳐지지도 않는다는 것이 출발점이다. 3
해법은 단일 지식 그래프에서 평가와 훈련 자원을 함께 파생시키는 것이다. 저자들은 중국 인민교육출판사 공식 교과서에서 수학·물리·화학·생물을 초·중·고에 걸쳐 추출해 K12-KGraph를 만들었다. 이 그래프는 Book·Chapter·Section·Concept·Skill·Experiment·Exercise·Figure·VisualElement의 아홉 개 노드 유형과 커리큘럼 구조·시각 접지를 아우르는 열네 개 관계 유형으로 구성된다. 여기서 5개 과제군(Ground, Prereq, Neighbor, Evidence, Locate)의 23,640문항 벤치마크 K12-Bench와, 7,335개 샘플의 지도 미세조정 코퍼스 K12-Train-Full을 만들었다. K12-Train-Full에는 2,267개 텍스트 QA 쌍과 5,068개 멀티모달 VQA 쌍이 포함된다. 3
결과는 교육용 AI의 커리큘럼 인지 능력에 격차가 있음을 드러낸다. 제공된 발췌문에 따르면 K12-Bench에서 강력한 상용 모델과 오픈소스 모델도 제한적인 정확 일치 성능을 보였고, Prereq와 Neighbor 과제가 특히 어려운 축으로 언급된다. 저자들은 K12-KGraph에서 파생한 K12-Bench와 K12-Train을 통해 커리큘럼 구조와 시각적 제시 방식까지 포함한 교육용 LLM 평가·훈련 자원을 제공하려 한다. 3
말로 설명하지 말고 그려서 보여라: 이미지 생성 모델의 공간 인지 측정법 ProVisE
쉽게 말하면: 공간 문제의 답을 좌표나 글로만 요구하는 대신, 이미지 생성 모델이 직접 표시하거나 그려서 답하게 하고, 그 시각적 답을 기존 평가 지표와 맞는 구조화된 예측으로 바꾸는 연구다. 4
핵심 문제는 '답변 인터페이스의 불일치'다. 기존 공간 추론 벤치마크는 좌표, 선택지, 텍스트 설명을 답으로 요구하도록 설계돼 있어, 픽셀 공간에서 직접 공간 판단을 외재화할 수 있는 이미지 생성 모델과 맞지 않는다. 실제 공간 과제에서는 위치, 영역, 경로를 정확한 좌표나 텍스트 기호보다 가리키기, 표시하기, 그리기로 표현하는 편이 더 자연스러운 경우가 많다는 것이 저자들의 문제의식이다. 4
ProVisE(Protocolized Visual Evaluation)는 벤치마크 독립적 프레임워크로, 이미지 생성 모델에게 프로토콜로 제약된 시각 답변을 끌어낸 뒤 이를 원래 평가 지표와 호환되는 구조화된 예측으로 파싱한다. 즉 텍스트·좌표 대신 미리 정한 시각 형식으로 답하게 하고 그 결과를 채점 가능한 형태로 변환한다. 또한 새 벤치마크를 위한 과제별 프로토콜을 구성하고 검증하는 Agentic 빌더도 포함한다. 이 위에 14개 공간 하위과제, 4개 능력 수준, 470개 샘플의 진단용 벤치마크 SpatialGen-Bench를 구축했다. 4
실험에서는 대표적인 텍스트 출력 VLM과 이미지 생성 모델을 통합된 설정에서 평가했고, 여섯 개 외부 공간 벤치마크에서 Agentic 프로토콜 구성도 검증했다. 제공된 발췌문에 따르면 이미지 생성 모델은 공간 답변을 픽셀 공간에서 직접 외재화할 수 있을 때 경쟁력을 보였다. 이 연구의 함의는 두 계열 모델을 같은 과제 의미 아래 비교할 수 있도록, 시각적 답변을 기존 지표와 호환되는 예측으로 변환하는 평가 절차를 제안했다는 데 있다. 4
흩어진 도덕 데이터셋을 지시 튜닝용으로 통합하다: 가치 정렬을 위한 코퍼스
쉽게 말하면: LLM에게 도덕적 시나리오와 행동에 관한 판단을 가르치기 위해 기존 도덕·가치 데이터셋들을 하나의 지시-응답 형식 코퍼스로 통합한 연구다. 5
문제의식은 이렇다. LLM을 특정 인간 가치에 정렬시키는 일은 여전히 미해결 과제인데, 지시 튜닝은 제로샷 과제에서 강한 잠재력을 보이며 가치 정렬의 유효한 접근이 될 수 있다. 그런데 기존 지시 튜닝 데이터셋은 많지만 도덕적 시나리오와 행동을 겨냥해 설계된 것은 아니라는 공백이 있다. 따라서 기존 도덕·가치 데이터셋을 통합해 지시 튜닝에 바로 사용할 수 있는 형태로 만드는 접근이 필요하다는 것이다. 5
저자들은 기존 도덕·가치 데이터셋들을 병합해 통합 코퍼스를 만들고, 이를 지시-응답 형식으로 변환했다. 그 결과 직접 지시 튜닝에 사용할 수 있는 통합 도덕·가치 데이터셋을 구축했다. 이후 일반 과제 데이터셋과 이 데이터셋을 섞어 학습하는 방식으로 성능을 살폈다. 5
관찰 결과, 일반 과제 데이터셋과 이 도덕·가치 데이터셋을 섞어 학습해도 일반 과제 성능은 보존됐고, 혼합 비율이 가치 지향 과제 성능에 어떤 영향을 주는지에 대한 예비적 관찰도 보고됐다. 다만 제공된 자료에는 구체적 정량 지표가 포함돼 있지 않다. 데이터셋은 허깅페이스에 공개됐다. 정렬 연구자에게는 흩어진 가치 자원을 지시 튜닝 파이프라인에 통합하는 실용적 출발점을 제공한다. 5
단일 구조가 아닌 앙상블로 분자를 읽다: 순환 펩타이드의 열역학적 임베딩
쉽게 말하면: 분자는 용액 속에서 여러 형태를 오갈 수 있으므로, 하나의 대표 형태만 보지 않고 여러 형태의 앙상블을 하나의 표현으로 인코딩해 순환 펩타이드의 성질 예측을 개선하려는 연구다. 6
출발점은 표현의 불일치다. 구조 기반 분자 성질 예측은 흔히 하나의 대표 형태(conformation)만 쓰지만, 많은 분자는 용액에서 볼츠만 가중된 여러 형태의 앙상블로 존재한다. 특히 순환 펩타이드는 유연한 골격을 지니므로, 단일 정적 구조만으로는 이러한 앙상블적 성격을 충분히 반영하기 어렵다는 문제의식이 제기된다. 6
EnsembleEGNN은 각 형태를 공유 EGNN 층으로 따로 인코딩한 뒤, Set Attention Block으로 형태별 표현을 풀링해 하나의 앙상블 임베딩으로 합친다. 사전학습은 CREMP라는 순환 펩타이드 앙상블 데이터셋에서 수행되며, 마스킹 토큰 복원, 잡음 좌표 재구성, 쌍별 거리 재구성을 결합한 다중 과제 자기지도 목표를 사용한다. 6
결과는 사전학습과 앙상블 모델링의 효과를 함께 보인다. CREMP-CycPeptMPDB에서 EnsembleEGNN을 처음부터 학습하면 실패했지만, 사전학습된 모델은 서열 전용 BERT 기준선을 능가했고, BERT 서열 인코더와 종단간 공동학습한 하이브리드 모델은 성능이 더 향상됐다. 다만 제공된 초록 발췌에서는 결정계수·피어슨 상관 등의 구체 수치가 비어 있어 정확한 숫자는 확인되지 않는다. 이 연구는 순환 펩타이드 성질 예측에서 여러 conformer를 하나의 열역학적으로 정보가 담긴 임베딩으로 인코딩하는 접근이 도움이 된다고 주장한다. 6