제공된 연구 발췌들은 대형언어모델을 단순히 키우는 것보다 더 해석 가능하고, 목적에 맞게 배치하며, 안전 제약이나 인과적 타당성과 함께 활용하려는 시도를 보여준다. 트랜스포머 내부 구조를 바꾸고, 추론 능력을 벡터로 분석하며, 확산 LLM에서 질의 위치를 재검토하고, 위협 모델링·교통 신호·인과추론 같은 문제에 LLM 또는 생성 모델을 보조 도구로 결합하는 흐름이 나타난다.
SysML 도면에서 NIST 통제 목록까지: 위협 모델링 자동화 파이프라인
쉽게 말하면: 보안 분석가가 몇 시간씩 수행하던 '이 시스템에 어떤 공격이 그럴듯하고 어떤 통제를 구현해야 하나'라는 분석을, SysML 아키텍처 모델에서 출발해 자동으로 우선순위가 매겨진 NIST 800-53 통제 목록과 추적 근거까지 산출하려는 도구를 제안했다. 1
사이버-물리 시스템(CPS)의 위협 모델링은 여전히 대부분 수작업이다. 분석가는 시스템 아키텍처 도면을 받고, 취약점 데이터베이스를 살핀 뒤, 어떤 공격이 그럴듯하고 어떤 통제를 구현할지 판단하는 데 몇 시간을 쓴다. 이 연구는 이 흐름을 자동화할 수 있는지 묻고, SysML 아키텍처 모델에서 시작해 특정 시스템 구성요소·취약점·공격자 기법으로 역추적 가능한 NIST 800-53 보안 통제 추천을 생성하는 SMSI를 제시한다. 1
제안한 SMSI는 신경-기호(neuro-symbolic) 혼합 파이프라인으로 세 단계를 거친다. 첫째, 결정론적 파서가 시스템 구성요소를 NVD를 통해 소프트웨어 취약점에 매핑한다. 둘째, 검색·분류 모델군이 그 취약점을 MITRE ATT&CK 기법에 연결한다. 셋째, CTID의 ATT&CK-800-53 크로스워크에 텍스트 유사도와 CVSS 가중 우선순위를 결합한 통제 추천기가 NIST 800-53 통제 목록을 정렬해 내놓는다. CVE-to-ATT&CK 단계에서는 세 가지 접근을 비교했는데, 지도학습 다중레이블 분류기(SecureBERT+)가 105개 상위 기법 분류에서 Micro F1 0.757, 검색 기반 밀집 인코더 중 MiniLM이 45개 질의 KEV 테스트에서 MRR 0.252·Hits@10 0.578, 제로샷 LLM(Gemma-4 26B)이 419개 KEV CVE에서 Hit Rate@1 51.8%를 기록했다. 저자들은 제로샷 LLM이 hit-rate 지표에서 임베딩 기반 방법들을 크게 앞섰다고 보고한다. 1
검증은 9개 소프트웨어 구성요소에서 199개 CVE가 나온 합성 헬스케어 IoT 게이트웨이 'MedGateway'에서 이뤄졌다. ATT&CK-to-NIST 단계에서는 사전학습 SecureBERT가 MRR 0.582로 가장 높은 통제 검색 점수를 냈다. 실무적 함의는 위협 모델링 과정을 자동화하면서도 각 추천을 특정 구성요소·취약점·공격 기법까지 역추적할 수 있게 설계했다는 점이다. 1
예측은 그럴듯한데 인과효과는 틀리는 합성데이터의 함정
쉽게 말하면: 진짜 데이터처럼 보이고 예측도 잘 맞는 합성 데이터라도 '이 처치가 효과가 있는가' 같은 인과 질문에는 왜곡된 답을 줄 수 있음을 보이고, 이를 줄이기 위한 하이브리드 생성 방식을 제안했다. 2
합성 표 데이터는 보통 분포 유사도, 프라이버시 거리, TSTR(합성 학습·실제 평가) 예측 성능으로 검증한다. 저자들은 이 기준들이 인과추론 타당성을 보장하지 못한다고 지적한다. GAN 기반이든 LLM 기반이든 완전 생성형 합성기는 예측 효용을 유지하면서도 평균처치효과(ATE) 추정을 왜곡할 수 있다는 것이다. 실패는 구조적이다. ATE 보존에는 현실적인 공변량 분포와 정확한 처치효과 대비가 모두 필요한데, 예측 손실은 처치효과 오차를 '중첩 가중(overlap-weighted)' 항으로만 벌한다. 불균형이나 제한된 중첩 상황에서는 모델이 지배적인 관측 결과만 재현하고 개입과 관련된 대비를 덜 학습하게 된다. 2
해법으로는 하이브리드 합성 틀을 제안한다. 세 요소(공변량·처치·결과)를 모두 한 완전 생성형 모델로 만들지 않고, 공변량은 생성하되 처치와 결과 메커니즘은 따로 모델링한다. 저자들은 중첩·공변량 차원·시드 표본 크기·처치효과 복잡도를 바꾼 통제 시뮬레이션 전반에서 하이브리드 합성이 완전 생성형 기준선 대비 인과 충실도를 개선했다고 보고한다. 로지스틱 결과모델 오설정 점검도 포함했다. 2
추가로 두 가지 용도를 검토했다. 실용적 양성(positivity) 문제용 증강, 그리고 OR·IPW·AIPW·TMLE 추정기를 실제 데이터 분석 전에 비교하는 진단 시뮬레이션 엔진이다. ACTG 실제 데이터 적용에서는 예측 충실도 개선과 유한표본 추정기 벤치마킹 가능성을 보였다. 실무 함의는 합성데이터를 인과 워크플로에 쓰려면 예측 지표만으로는 충분하지 않고, 인과 타당성·중첩·추정 안정성을 별도로 따져야 한다는 점이다. 2
교통 신호를 직접 제어하지 않는 LLM: 예측과 안전 필터 사이의 추론 보조자
쉽게 말하면: 신호등을 LLM이 직접 켜고 끄게 하지 않고, LSTM이 앞으로의 교통 상태를 예측하면 예측 제어기가 후보 행동을 만들고, LLM이 이를 평가해 설명과 권고를 낸 뒤 안전 규칙이 걸러낸 경우에만 실행하도록 짠 틀이다. 3
고정 시간·규칙 기반 신호 제어는 동적 수요에 적응하기 어렵고 결정의 해석 가능성도 제한적이다. 이 연구는 LSTM 기반 단기 교통상태 예측, 예측 기반 위상 선택, 구조화된 LLM 추론, 안전 제약 행동 필터를 통합한 틀을 제안한다. LSTM 모듈이 최근 교차로 관측을 바탕으로 대기열 길이, 대기 시간, 차량 수, 차로 점유율을 예측하면 예측 제어기가 후보 신호 행동을 만들고, LLM은 구조화된 교통상태 입력으로 이를 평가해 혼잡 진단, 위상 조정 권고, 자연어 설명을 낸다. 3
운영 신뢰성을 위해 LLM이 낸 모든 권고는 실행 전 안전 필터로 검증한다. SUMO 시뮬레이션에서 고정 시간 제어, 규칙 기반 제어, LSTM 기반 예측 베이스라인과 균형 수요·방향별 첨두 수요·급증 시나리오에서 비교했고, 제안 틀은 특히 동적·비반복 교통 조건에서 교통 효율을 개선하면서 안전 필터 적용 후 제약 위반 0건을 유지했다고 보고한다. 다만 개선 폭의 구체적 수치는 제공된 자료로는 확인되지 않는다. 3
핵심 함의는 LLM을 저수준 직접 제어기로 쓰는 대신 제약된 추론·의사결정 보조 모듈로 쓸 때 신호 제어를 향상시킬 수 있다는 점이다. 안전이 걸린 교통 시스템에 LLM을 붙일 때 안전 필터와 결합하는 통합 패턴을 보여준다는 점에서 시사점이 있다. 검증은 SUMO 기반 시뮬레이션 실험으로 제시됐다. 3
연역·귀납·가추를 벡터로 분리하고 다시 상호보완시키기
쉽게 말하면: LLM 안에서 연역·귀납·가추 추론을 각각의 지식 벡터로 포착할 수 있고, 이 벡터들이 서로 보조 지식을 활용하도록 정련하면 추론 성능이 일관되게 좋아진다는 주장이다. 4
논리적 추론은 연역·귀납·가추로 나뉘지만, 이들이 LLM 안에서 어떻게 표현되는지는 충분히 밝혀지지 않았다. 이 연구는 각 추론 유형을 활성화 공간의 선형 표현으로, 즉 추론별 '지식 벡터'로 포착할 수 있음을 보인다. 분석 결과 이렇게 추출된 벡터들은 서로 대체로 독립적이었다. 이는 세 추론이 인간의 뇌에서 밀접하게 상호작용한다는 인지과학 이론과, 한 추론 유형의 과정이 다른 유형이 만든 추론 사슬에서 이득을 얻을 수 있다는 저자들의 관찰에서 볼 때 개선 여지가 있는 지점으로 제시된다. 4
저자들은 상보적 부분공간 제약 정련 틀을 설계했다. 각 추론 벡터가 나머지 추론 유형의 보조 지식을 활용하게 하는 상보 손실과, 각 벡터의 고유 특성이 지워지지 않게 하는 부분공간 제약 손실을 함께 쓴다. 추론 벡터를 따라 모델 행동을 조종(steering)하는 실험에서, 상보적 지식을 담은 정련 벡터가 일관된 성능 향상을 냈다고 보고한다. 4
추가로 각 추론 벡터의 공유·고유 특징을 파악하는 메커니즘 해석 분석도 수행했다. 제공된 발췌에는 코드 링크도 포함되어 있다. 함의는 추론 능력을 개별 벡터로 다루고 조합해 조종하는 방식이 LLM 내부 추론 표현을 분석하고 개선하는 한 방법이 될 수 있다는 점이다. 4
질의를 어디에 놓을 것인가: 확산 LLM에서 위치가 곧 성능인 이유
쉽게 말하면: 확산형 LLM에서는 질문을 예시 앞뒤 중 어디에 두느냐가 생성 품질을 크게 바꿀 수 있음을 보이고, 정답 라벨 없이도 질의 위치를 동적으로 고르는 방법을 제안했다. 5
인컨텍스트 학습(ICL)은 자기회귀(AR) LLM에서 많이 연구됐지만 확산 LLM(dLLM)에서는 그 메커니즘이 거의 미탐구 상태다. AR 모델은 단방향 인과 마스킹 탓에 질의 배치가 제한되지만, dLLM은 양방향 어텐션으로 질의를 더 유연하게 배치할 수 있다. 그런데 현재 관행은 AR식 후행 질의 템플릿을 그대로 물려받아 이 구조적 전환을 놓치고 있다. 저자들은 경험적 분리 실험으로 질의 위치가 dLLM에서 '1차 변수'임을 밝힌다. 위치만 바꿔 생긴 생성 품질 변동이 예시의 의미 품질 변화에 맞먹었다는 것이다. 5
이 위치 민감성은 내부적으로 어텐션 흐름의 공간적 '최신성 효과'와 과제에 따라 달라지는 디코딩 궤적에서 온다고 설명된다. 저자들은 AR에서 쓰던 단일 스텝 신뢰도가 dLLM에서는 적절히 작동하지 않는다는 점을 보이고, 반복 디코딩 과정을 추적하는 새로운 지표인 '평균 신뢰도'를 제안한다. 5
이 지표를 바탕으로, 학습 없이 질의 배치를 동적으로 최적화하는 적응형 라우팅 전략 Auto-ICL을 설계했다. 저자들은 Auto-ICL이 이질적 추론·지각 과제 전반에서 오라클 성능에 강건하게 근접했다고 보고한다. 함의는 확산 LLM을 쓸 때 AR 관행을 그대로 답습하지 말고 질의 위치를 설계 변수로 다뤄야 한다는 점이다. 5
FFN을 지우고 메모리 그래프로: 들여다볼 수 있는 트랜스포머 내부
쉽게 말하면: 디코더 전용 트랜스포머 블록의 FFN을, 학습된 중심점과 전이 행렬 위에서 토큰 표현이 이동하는 명시적 메모리 그래프로 바꿔보는 시도다. 6
Graph Memory Transformer(GMT)는 인과 자기어텐션은 그대로 두고, 토큰별 FFN 변환을 학습된 중심점(centroid) 뱅크와 이들을 잇는 학습된 방향성 전이 행렬 위로 토큰 표현을 라우팅하는 메모리 셀로 대체한다. 이 셀은 추정된 소스 메모리 상태에서 타깃 메모리 상태로의 '이동(displacement)'을 반환한다. 검색된 값을 반환하는 것이 아니라 움직임 자체가 출력이라는 점이 핵심이다. 6
여기서 다룬 기본 GMT v7은 16개 트랜스포머 블록 각각에 128개 중심점, 간선 행렬, 중력식 소스 라우팅, 토큰 조건부 타깃 선택, 게이트형 이동 판독을 담는다. 결과 모델은 밀집 FFN 서브레이어가 없는 완전 디코더 전용 언어모델로 학습 가능 파라미터 82.2M이며, 비교 대상인 밀집 GPT식 베이스라인은 103.0M이다. v7은 안정적으로 학습되고 중심점 사용·전이 구조·소스→타깃 이동을 순전파의 직접 검사 가능한 양으로 노출한다. 성능은 더 큰 밀집 베이스라인에 뒤져, 검증 손실/퍼플렉시티가 3.5995/36.58 대 3.2903/26.85였고, 평가된 설정에서 제로샷 벤치마크 거동은 근접했다고 보고된다. 6
저자들은 이 결과가 최고 성능 주장이 아니라, 토큰 내 밀집 변환을 그래프 매개 메모리 항해로 대체하는 것의 실현 가능성과 구조적 해석 가능성을 뒷받침한다는 점을 분명히 한다. 더 넓은 스케일링, 최적화된 커널, 더 광범위한 벤치마크 평가는 후속 과제로 남겼다. 함의는 FFN이라는 불투명한 밀집 변환을 직접 검사 가능한 명시적 구조로 바꿀 수 있는 가능성을 보였다는 점이다. 6