이번 묶음의 논문들은 LLM과 생성 모델을 위협 모델링, 인과 추론, 교통 신호 제어, 논리 추론 표상, dLLM 인컨텍스트 학습, 트랜스포머 메모리 구조에 적용하거나 분석한다. 공통적으로 자동화와 성능뿐 아니라 추천의 추적 가능성, 안전 필터링, 표상 해석 가능성, 합성 데이터의 인과적 타당성 같은 검증 문제를 다룬다.
SysML 아키텍처에서 NIST 통제 항목까지, 위협 모델링 전 과정을 자동화하다
사이버-물리 시스템의 위협 모델링은 여전히 사람 손에 크게 의존한다. 보안 분석가는 아키텍처 도면을 받아 취약점 데이터베이스를 살피고, 어떤 공격이 현실적인지 어떤 통제를 넣을지 판단하는 데 시간을 쓴다. SMSI 연구는 이 워크플로를 자동화할 수 있는지를 묻는다. 1
SMSI는 신경-기호 혼합 파이프라인으로 이 흐름을 자동화한다. 세 단계로 구성된다. 먼저 결정론적 파서가 시스템 구성요소를 NVD의 소프트웨어 취약점에 매핑한다. 이어 검색·분류 모델군이 그 취약점을 MITRE ATT&CK 기법에 연결한다. 마지막으로 통제 추천기가 CTID의 ATT&CK-800-53 크로스워크에 텍스트 유사도와 CVSS 가중 우선순위를 결합해 NIST 800-53 통제 항목을 순위화한다. 모든 추천은 그 근거가 된 구성요소·취약점·공격자 기법까지 역추적된다. 1
CVE-ATT&CK 매핑에서는 세 접근을 비교했다. SecureBERT+ 지도학습 다중레이블 분류기는 105개 상위 기법 클래스에서 Micro F1 0.757을 기록했다. 검색 기반 조밀 인코더 중에서는 MiniLM이 45개 KEV 테스트 질의에서 MRR 0.252, Hits@10 0.578로 가장 좋았다. 제로샷 LLM 접근은 LM Studio 기반 Gemma-4 26B를 사용했으며, 419개 KEV CVE에서 Hit Rate@1 51.8%를 내 임베딩 기준선들을 히트율 지표에서 앞섰다. ATT&CK-NIST 단계에서는 사전학습 SecureBERT가 가장 높은 통제 검색 성능을 보였고, 검증은 9개 소프트웨어 구성요소에서 199개 CVE가 나오는 합성 헬스케어 IoT 게이트웨이 MedGateway로 진행했다. 1
이 연구의 의미는 전문가가 수행하던 위협 모델링 절차를 자동화된 파이프라인으로 구성하고, 추천 결과를 구성요소·취약점·공격 기법까지 추적 가능하게 만든 데 있다. 다만 제공된 근거에서 실제 시스템 배치 검증은 확인되지 않으며, 검증 사례는 합성 헬스케어 IoT 게이트웨이에 한정된다. 1
예측 잘하는 합성 데이터가 인과 추정은 왜 망치는가
합성 표 데이터는 보통 분포 유사도, 프라이버시 거리, 또는 '합성으로 학습하고 실제로 검증'하는 예측 성능으로 평가된다. 연구진은 이 기준들이 인과 추론의 타당성을 보장하지 못한다고 지적한다. GAN 기반이든 LLM 기반이든 완전 생성형 합성기는 예측 유용성을 유지하면서도 평균처치효과(ATE) 추정을 왜곡할 수 있다. 실패는 구조적이다. ATE를 보존하려면 현실적인 공변량 분포와 정확한 처치효과 대비가 모두 필요한데, 예측 손실은 처치효과 오차를 오버랩 가중항을 통해서만 벌한다. 불균형하거나 오버랩이 제한된 상황에서는 생성기가 지배적인 관측 결과만 재현하고, 개입과 관련된 대비는 덜 학습할 수 있다. 2
저자들은 이 어긋남을 민감도 분석과 손실 분해로 형식화한다. 해법으로는 하이브리드 합성 프레임워크를 제안한다. 삼중항 전체를 한 모델로 생성하는 방식이 아니라, 공변량을 생성하면서 처치와 결과 메커니즘을 별도로 모델링하는 접근이다. 2
세 가지 설정에서 검증했다. 완전 생성형 대비 하이브리드의 ATE 보존, 실질적 양성성 문제를 위한 증강, 그리고 OR·IPW·AIPW·TMLE 추정량을 실제 분석 전에 비교하는 진단 시뮬레이션 엔진이다. 오버랩·공변량 차원·시드 표본 크기·처치효과 복잡도를 바꿔가며, 로지스틱 결과모델 오지정 점검까지 포함한 스트레스 테스트를 거쳤다. 통제된 시뮬레이션 전반에서 하이브리드 합성이 완전 생성형 기준선보다 인과 충실도를 개선했고, ACTG 응용에서는 예측 충실도 향상과 유한표본 추정량 벤치마킹 가능성을 보였다. LLM 기반 하이브리드 합성은 인과 충실도를 평가할 수 있는 설정에서 CTGAN보다 더 충실한 경우가 많았다. 2
실무적 함의는 합성 데이터로 인과 분석을 할 때 TSTR이나 프라이버시 거리 같은 일반 평가 지표만으로는 충분하지 않다는 점이다. 이 연구는 공변량 생성과 처치·결과 메커니즘 모델링을 분리하는 하이브리드 설계를 대안으로 제시한다. 2
LLM은 신호등을 직접 돌리지 않는다: 예측·추론·안전 필터의 역할 분담
교통 신호 제어에서 고정 시간제나 규칙 기반 방식은 동적인 교통 수요에 적응하기 어렵고, 판단 근거를 설명하는 데도 한계가 있다. 연구진은 LLM을 붙여 이 문제를 다루되, LLM을 저수준 제어기로 직접 쓰지 않는다. 핵심은 역할 분담이다. LSTM 모듈이 최근 교차로 관측을 바탕으로 대기열 길이, 대기 시간, 차량 수, 차로 점유율을 단기 예측한다. 예측 제어기가 후보 신호 동작을 생성하고, LLM 모듈은 구조화된 교통 상태 입력으로 이 동작들을 평가해 혼잡 진단과 위상 조정 권고, 자연어 설명을 내놓는다. 3
운영 신뢰성을 위해 LLM이 낸 모든 권고는 실행 전에 안전 필터의 검증을 거친다. 실험은 SUMO 시뮬레이션에서 고정 시간제, 규칙 기반, LSTM 예측 기준선과 비교했다. 균형 수요, 방향별 피크 수요, 급증 상황의 세 시나리오를 다뤘다. 3
결과를 보면 제안 프레임워크는 특히 동적이고 비반복적인 교통 조건에서 효율을 개선했고, 안전 필터 적용 후 제약 위반은 0건을 유지했다. 다만 구체적인 지연 감소율이나 통과량 개선 수치는 제공된 근거에서 확인되지 않는다. 저자들의 결론은 LLM을 직접 제어기가 아니라 제약된 추론·의사결정 지원 모듈로 쓸 때 신호 제어를 향상시킬 수 있다는 것이다. 3
연역·귀납·가추, 서로 독립된 세 벡터를 상보적으로 잇다
논리 추론은 연역·귀납·가추의 세 형태로 나뉜다. 연구진은 이 세 유형이 LLM 안에서 어떻게 표상되고 서로 어떤 관계를 맺는지 분석한다. 선형 표상 공간에서 각 추론 유형은 추론 특화 지식 벡터로 포착될 수 있으며, 이 벡터들은 서로 대체로 독립적인 것으로 나타났다. 이는 논리 추론의 하위 형태들이 인간 두뇌에서 밀접하게 상호작용한다는 인지과학 이론과 대비된다. 4
이 관찰에서 출발해 연구진은 상보적 부분공간 제약 정련 프레임워크를 제안한다. 이 프레임워크는 각 추론 벡터가 다른 추론 벡터의 보조 지식을 활용하도록 하는 상보 손실과, 각 벡터의 고유 특성이 지워지지 않도록 하는 부분공간 제약 손실을 포함한다. 4
추론 벡터를 따라 모델 행동을 조종하는 스티어링 실험에서, 상보 지식을 반영한 정련 벡터는 일관된 성능 향상을 보였다. 저자들은 각 추론 벡터의 공유·고유 특징에 대한 기제 해석 분석도 함께 수행했다. 함의는 두 갈래다. 추론 능력이 선형 표상 공간에서 포착될 수 있다는 점, 그리고 이 표상들을 상보적으로 정련하면 추론 성능을 높일 수 있다는 점이다. 4
쿼리를 어디에 놓을 것인가: 확산 LLM의 숨은 위치 편향
확산 대형 언어모델(dLLM)은 자기회귀 모델과 달리 양방향 어텐션을 쓰기 때문에, 인컨텍스트 학습에서 테스트 쿼리를 문맥 안에 더 유연하게 배치할 수 있다. 그런데 현재 관행은 자기회귀식 뒤쪽 쿼리 템플릿을 이어받아, 이 구조적 전환을 충분히 활용하지 못한다. 연구진은 dLLM에서 쿼리 위치가 일차 변수임을 밝힌다. 경험적 분리 실험에서, 쿼리 위치로 인한 성능 변동은 예시의 의미 품질 변화와 비슷한 수준으로 생성 품질에 영향을 줬다. 5
이 위치 민감성의 내부 원인으로는 어텐션 흐름에서 나타나는 공간적 최신성 효과와 태스크에 따라 달라지는 디코딩 궤적 변화가 제시된다. 즉 dLLM의 인컨텍스트 학습에서는 예시 내용뿐 아니라 쿼리를 어느 위치에 두는지도 중요한 설계 변수가 된다. 5
정답 없이 쿼리를 동적으로 라우팅하기 위해 연구진은 기존 단일 스텝 신뢰도가 dLLM에는 맞지 않는다고 지적한다. 대안으로 반복적 디코딩 과정을 추적하는 평균 신뢰도 지표를 제안했고, 이를 바탕으로 학습 없는 적응 라우팅 전략 Auto-ICL을 설계했다. Auto-ICL은 이질적인 추론·인식 태스크에서 쿼리 배치를 동적으로 최적화해 오라클 성능에 근접했다. 실무 함의는 dLLM을 인컨텍스트 학습에 쓸 때 자기회귀식 템플릿을 그대로 답습하면 손해가 날 수 있으며, 쿼리 위치 자체가 중요한 튜닝 대상이라는 것이다. 5
FFN을 그래프 기억으로 대체하다: 들여다볼 수 있는 토큰 변환
연구진은 디코더 전용 트랜스포머에서 FFN 서브레이어를 명시적으로 학습된 기억 그래프로 대체하면서도, 주변의 자기회귀 구조를 유지할 수 있는지 조사한다. 목표는 일반적인 토큰별 FFN 변환을 그래프 기반 메모리 셀로 바꾸는 것이다. 6
제안한 Graph Memory Transformer(GMT)는 인과적 자기어텐션을 유지한 채, 토큰별 FFN 변환 자리에 기억 셀을 넣는다. 이 셀은 학습된 중심점 뱅크와 학습된 방향성 전이 행렬 위로 토큰 표상을 라우팅한다. GMT v7 기본 구성에서는 16개 트랜스포머 블록 각각에 128개 중심점, 전이 행렬, 중력식 소스 라우팅, 토큰 조건부 타깃 선택, 게이트형 변위 리드아웃을 둔다. 셀은 검색된 값이 아니라, 추정된 소스 기억 상태에서 타깃 기억 상태로의 이동을 돌려준다. 그 결과 중심점 사용, 전이 구조, 소스-타깃 이동이 순전파 계산의 직접 관찰 가능한 양으로 노출된다. 6
완성된 모델은 조밀 FFN 서브레이어가 없는 디코더 전용 언어모델로 학습 가능 파라미터 82.2M이며, 비교 대상인 조밀 GPT식 기준선은 103.0M이다. 기본 v7은 안정적으로 학습됐으나 더 큰 조밀 기준선에는 검증 손실·퍼플렉시티에서 뒤진다(3.5995/36.58 대 3.2903/26.85). 평가 설정에서 제로샷 벤치마크 행동은 근접했다. 저자들은 이를 최고 성능 주장으로 내세우지 않는다. 조밀한 토큰 내부 변환을 그래프 매개 기억 탐색으로 대체하는 방식의 실현 가능성과 구조적 해석 가능성을 뒷받침하는 결과라는 것이다. 더 넓은 스케일링, 최적화 커널, 확장된 벤치마크는 후속 과제로 남겼다. 6