지난 2년간 AI 경쟁의 질문은 하나였다. 누가 더 똑똑한 모델을 만드는가. 그런데 판이 바뀌었다. 사람이 물어볼 때만 답하던 챗봇 대신, 일을 통째로 넘겨받아 스스로 처리하는 소프트웨어 — 이른바 '에이전트' — 가 실제 업무에 투입되기 시작했다. 에이전트는 목표만 주면 알아서 계획을 짜고, 필요한 프로그램을 불러 쓰고, 결과를 확인하고, 틀리면 다시 한다. 사람으로 치면 지시 한 줄 받고 결과물을 들고 오는 직원에 가깝다. 직원을 뽑을 때 우리는 지능 검사 점수만 보지 않는다. 월급이 얼마인지, 우리 회사 사정을 아는지, 사고를 치지는 않을지를 함께 본다. 에이전트도 똑같아졌다. 이제 승부처는 '얼마나 똑똑한가'가 아니라 '실제 업무에서 감당할 만한가'다. 비용이 합리적인가, 일의 앞뒤 사정을 놓치지 않는가, 나온 결과를 믿고 쓸 수 있는가. 이 글은 업계 오피니언 리더의 발언과 산업 현장의 신호를 나란히 놓고, '에이전트가 정말 그 값을 하는가'라는 질문이 왜 지금 AI 전략의 한복판에 서게 됐는지를 짚는다.
벤치마크 1등의 함정: 리더보드 왕관이 사업 성공을 보장하지 않는다
AI 업계 헤드라인은 여전히 '벤치마크 최고 성능'을 외친다. 벤치마크는 모델들에게 똑같은 시험지를 풀리고 점수를 매기는 표준 시험이고, 그 점수를 줄 세운 성적표가 리더보드다. NVIDIA는 Nemotron이 LangChain Deep Agents 하니스 — 에이전트를 실제로 굴려보며 채점하는 시험 환경이다 — 에서 벤치마크 선도 성능을 달성했다고 발표했다. 이런 성적 경신은 매주 반복된다. 그런데 이 점수가 곧바로 기업의 손익으로 번역되지 않는다는 사실이 점점 분명해지고 있다. 질문은 '모델이 얼마나 똑똑한가'에서 '그 똑똑함을 매일 반복해서, 싸게, 믿을 수 있게 굴릴 수 있는가'로 옮겨갔다. 시험 성적이 1등인 신입사원이 반드시 현장에서 성과를 내지는 않는 것과 같은 이치다. 1
이 전환을 상징하는 경고를 CIO.com이 내놨다. 통제 장치 없이 풀어놓은 AI 에이전트는 직원 한 명보다 더 많은 비용을 낼 수 있다는 것이다. 이유는 단순하다. 에이전트는 잠들지 않는다. 그리고 한 건의 일을 끝내려고 모델을 수십 번, 수백 번 연달아 호출한다. 사람이 한 번 고민할 자리에서 에이전트는 수십 번을 물어본다. 모델이 똑똑해질수록 생각하는 단계가 늘고, 늘어난 단계는 그대로 청구서에 찍힌다. '똑똑함'과 '경제성'이 정면으로 부딪히기 시작했다. 2
맥킨지는 여기에 한 문장짜리 질문을 던졌다. '그 AI 에이전트는 그만한 값어치를 하는가(Is that AI agent worth it?)' 맥킨지는 이 질문을 '에이전트 경제학(agentic economics)'과 '현대적 운영 모델(modern operating model)'의 문제로 다시 세웠다. 쉽게 말해 에이전트는 더 이상 기술팀의 프로젝트가 아니라 재무와 운영이 함께 결정할 사안이 됐다는 뜻이다. AI 경쟁의 무대가 연구실에서 손익계산서로 옮겨왔다. 3
성능은 이미 평준화됐다: 이제 승부처는 '얼마나 잘 굴리느냐'
왜 하필 지금 이런 전환이 일어날까. 첫째 이유는 성능이 위로 평평해졌기 때문이다. VentureBeat가 보도한 새 에이전트 프레임워크는 사람이 공들여 설계한 AI 시스템과 대등한 성능을 내면서, 배포할 때 추론 비용을 추가하지 않는다고 한다. 여기서 추론이란 모델이 실제로 답을 만들어내며 계산기를 돌리는 과정이고, 추론 비용은 그 계산에 붙는 전기요금 같은 청구액이다. 성능이 더 이상 희귀한 물건이 아니게 되면, 경쟁은 자연스럽게 한 칸 아래로 내려온다. 같은 결과를 얼마나 싸고 안정적으로 뽑아내느냐로. 4
둘째, 추론 비용이 뚝 떨어지면서 '에이전트를 계속 켜두는' 사용법이 현실이 됐다. OpenAI는 추론 비용을 절반으로 낮추는 움직임을 보였고 — 절반이면 같은 예산으로 두 배를 돌릴 수 있다는 뜻이다 — DeepSeek는 새 모델로 큰 폭의 추론 비용 절감을 제시했다. 값이 싸지면 한 번 묻고 한 번 답하는 방식을 넘어, 에이전트가 뒤에서 계속 돌아가며 이런저런 도구를 불러 쓰고 일을 처리하는 방식이 수지에 맞는다. 그런데 역설이 있다. 싸졌기 때문에 오히려 전체 운영비 관리가 더 어려워진다. 단가가 내려간 만큼 더 많이 쓰기 때문이다. 56
셋째, '일을 맡긴다'는 사용 방식 자체가 주류 화제가 됐다. 와튼스쿨의 에단 몰릭은 AI에 일을 위임하지 않는다면 충분히 실험하고 있지 않은 것이라고 잘라 말한다. 그는 에이전트가 사람의 업무를 대신 수행하는 방향을 강하게 밀어붙인다. 하지만 위임한다는 말은 통제권의 일부를 넘긴다는 뜻이기도 하다. 넘겨받은 에이전트가 비용과 결과를 얼마나 예측 가능하게 내놓느냐가 위임의 성패를 가른다. 몰릭의 낙관은 운영과 비용이라는 짝을 반드시 데리고 온다. 78
토큰 단가는 잊어라, 진짜 청구서는 '작업 한 건당 총비용'
첫 번째 쟁점은 비용을 다시 정의하는 일이다. 그동안 AI 비용은 '토큰당 단가'로 이야기됐다. 토큰은 AI가 글을 처리할 때 쓰는 계량 단위다. 전기요금의 킬로와트시처럼, 쓴 양을 재서 요금을 매기는 눈금이라고 보면 된다. 그런데 에이전트 시대의 진짜 지표는 눈금 하나의 값이 아니라 '업무 한 건을 끝내는 데 든 총액'이다. 에이전트는 한 건을 처리하려고 계획을 세우고, 도구를 부르고, 결과를 검증하고, 실패하면 다시 시도한다. 이 과정에서 호출 횟수가 눈덩이처럼 불어난다. 통제 없는 에이전트가 직원보다 비싸질 수 있다는 CIO.com의 경고는 바로 이 '한 건당 누적 호출' 구조에서 나온다. 값싼 재료를 쓰더라도 몇 번을 다시 만드느냐에 따라 원가가 뒤집히는 주방과 같다. 2
이 지점에서 추론 비용 절감 경쟁이 전략적 의미를 갖는다. OpenAI의 추론 비용 절반화, DeepSeek의 비용 절감 모델은 단순한 가격 인하가 아니다. '에이전트를 계속 켜둬도 수지가 맞기 시작하는 지점'을 아래로 끌어내리는 인프라 변화다. 똑같은 업무 흐름이라도 단가가 절반이 되면 수지 계산의 부호가 마이너스에서 플러스로 뒤집힐 수 있다. 그래서 기업이 봐야 할 것은 특정 모델의 성능 순위표가 아니다. 자기 회사의 실제 업무에서 '한 건당 비용이 어떻게 움직이는가'를 직접 재봐야 한다. 56
비용은 모델을 고르기 전에 이미 설계 단계에서 결정된다. VentureBeat가 소개한 '배포 시 추론 비용 제로'를 내세우는 프레임워크, AAAI에 발표된 AutoTool처럼 에이전트의 도구 선택을 효율화하는 연구는 모두 한 방향을 가리킨다. 더 큰 모델로 갈아타지 않고도 비용을 잡는 길이다. 쓸데없는 도구 호출과 잘못된 도구 선택은 그 자체가 돈이다. 망치를 쓸 자리에 굴착기를 부르면 결과는 같아도 청구서는 다르다. 도구를 제대로 고르는 능력이 곧 운영 경제학의 지렛대다. 49
모델 안쪽의 계산 효율을 파고드는 연구도 같은 흐름의 밑바닥을 이룬다. SEAP(Sparse Expert Activation Pruning)는 희소 전문가 활성화 가지치기로 대형 언어모델의 연산량을 줄인다. 대충 말하면, 매번 전 직원을 회의에 부르지 않고 그 안건에 필요한 사람만 부르는 식이다. 심지어 활성화 함수를 무엇으로 쓰느냐(Sigmoid냐 ReLU냐)까지도 기하학적 맥락 손실이라는 형태로 추론 비용에 영향을 준다는 분석이 나온다. 결국 운영 비용은 프롬프트 한 줄부터 활성화 함수 한 줄까지, 스택 전체에 걸쳐 있는 하나의 문제다. 1011
현장을 모르는 천재는 무용지물: 팹과 도면 앞에 선 특화 에이전트
두 번째 쟁점은 컨텍스트다. 컨텍스트란 그 일을 둘러싼 앞뒤 사정이다. 우리 회사에서만 통하는 용어, 지켜야 할 규격, 현장 사람들만 아는 관행 같은 것들. 아무리 범용 성능이 높아도 이 사정을 모르는 에이전트는 값을 하지 못한다. 그래서 경쟁의 무게중심이 '현장을 아는 에이전트'로 옮겨간다. 국내에서는 알티엠이 반도체 팹 현장에 특화된 LLM 에이전트를 공개했다. 누구나 쓰는 범용 챗봇이 아니라, 팹이라는 극도로 특수한 작업 환경에 에이전트를 바짝 붙이려는 시도다. 12
LG전자 ES사업부가 AWS와 함께 에이전틱 워크플로로 전문 엔지니어처럼 도면을 분석한 사례는 컨텍스트의 값어치를 더 선명하게 보여준다. 에이전틱 워크플로란 에이전트가 여러 단계를 스스로 이어 붙여 일을 끝내는 작업 흐름이다. 도면 분석은 도메인 지식과 규격, 현장 관행이라는 두꺼운 사전 지식이 있어야 쓸 만한 답이 나오는 일이다. 여기서 에이전트의 값어치는 '얼마나 똑똑한 모델인가'에서 나오지 않는다. '이 회사가 일하는 방식을 얼마나 정확히 아는가'에서 나온다. 투자 대비 성과는 범용 성능이 아니라 맥락 적합도를 따라 움직인다. 13
컨텍스트 문제는 업무 흐름을 어떻게 설계하느냐와 곧바로 이어진다. Meta가 WebXR 개발에 에이전틱 워크플로를 적용한 사례, 그리고 Perplexity가 경쟁사의 여러 AI 모델을 하나의 에이전틱 워크플로 시스템으로 묶어 월 200달러 정액제로 제공하는 방식이 그렇다. 둘 다 '가장 센 모델 하나'로 밀어붙이는 대신 '일의 성격에 맞는 여러 모델과 도구의 조합'으로 문제를 푼다. 오케스트레이션, 즉 오케스트라 지휘자가 곡의 대목마다 어느 악기를 세울지 정하듯 상황에 맞춰 자원을 배치하는 능력이 여기서 갈린다. 컨텍스트 시대의 경쟁력은 최고 모델을 소유하는 데 있지 않다. 지휘봉을 쥐는 데 있다. 1415
권한을 준 만큼 뚫린다: 자율성이 열어젖힌 새로운 공격의 문
세 번째 쟁점은 신뢰성과 보안이다. 에이전트에 자율성과 도구 접근 권한을 줄수록, 그 권한은 그대로 공격당할 면적이 된다. 열쇠를 많이 쥔 직원일수록 그 사람이 뚫렸을 때 피해가 큰 것과 같다. The Hacker News는 공격자들이 Marimo CVE-2026-39987 취약점을 익스플로잇한 뒤, 침투 이후 단계(post-exploitation)에 LLM 에이전트를 활용한 사례를 보도했다. 에이전트는 지키는 자산이면서 동시에 공격 도구가 될 수 있다. 운영 신뢰성의 계산이 근본적으로 복잡해진 것이다. 16
반대로 에이전트를 방어에 투입하는 흐름도 뚜렷하다. Anvilogic은 AI SOC(보안운영센터)를 위한 에이전틱 워크플로 자동화를 내놨다. 보안 운영처럼 똑같은 확인 작업이 대량으로 반복되는 업무는 에이전트 자동화의 대표적인 적용처다. 동시에 잘못 경보를 울리거나 놓치는 일, 엉뚱한 조치가 곧바로 사고가 되는 영역이기도 하다. 신뢰성을 챙기지 않고 자율성만 올리면, 자동화로 번 이득을 사고 처리 비용이 그대로 까먹는다. 17
결국 신뢰성은 다시 비용 문제로 돌아온다. CIO.com이 짚었듯 통제(controls)가 없으면 에이전트는 비싸지기만 하는 게 아니라 위험해진다. 가드레일, 권한 관리, 도구 호출 기록 감사, 예산 상한 같은 통제 장치는 그 자체로 돈이 든다. 그런데 이 돈을 아끼면 사고 한 번에 에이전트의 투자 수익이 통째로 마이너스가 된다. 화재보험료가 아까워 보이는 이유는 불이 나기 전까지뿐이다. '에이전트 경제학'의 손익계산서에는 통제 비용 항목이 반드시 들어가야 한다. 216
'운영이 전부'라는 착각: 프런티어 성능은 아직 질주 중이다
물론 '성능은 이미 충분하니 남은 건 운영뿐'이라는 말에는 반론이 있다. NVIDIA Nemotron의 벤치마크 선도 성능, 새 에이전트 프레임워크의 성능 향상이 보여주듯 최전선 성능은 여전히 빠르게 전진한다. 그리고 성능이 한 계단 뛰면 이전에는 아예 시도조차 못 하던 업무가 열리기도 한다. 성능이 멈췄다고 단정하기엔 이르다. 다음 도약이 운영 방정식을 통째로 다시 쓸 수도 있다. 14
비용 하락 추세를 좋게만 읽는 것도 위험하다. OpenAI의 추론 비용 절반화와 DeepSeek의 절감 모델은 단가를 낮춘다. 그러나 싸진 만큼 에이전트 호출량이 폭증하는 '제본스 역설' — 값이 내려가면 총소비가 오히려 늘어난다는 오래된 역설 — 이 벌어질 수 있다. 고속도로를 넓혔더니 차가 더 몰려 정체가 그대로인 상황과 닮았다. 단가가 내려가도 총비용은 늘 수 있고, 그 경우 수익성이 좋아졌다는 판단은 착시다. 비용은 단가가 아니라 총액으로 봐야 한다는 앞의 논지가 여기서 다시 확인된다. 256
불확실성의 또 다른 축은 인프라와 지정학이다. NVDA를 둘러싼 시장 신호 — H200의 중국 관련 보도, 그리고 마이클 버리의 NVDA 공매도 개시 — 는 AI 인프라 투자 사이클과 기업가치에 대한 회의가 살아 있음을 보여준다. 에이전트 경제학은 '싸고 넉넉한 컴퓨트'를 전제로 성립한다. 그 전제가 지정학과 투자 사이클에 흔들리면 수익 계산의 바닥면 자체가 움직인다. 운영 중심 전략도 인프라 리스크라는 지반 위에서만 서 있다. 18
마지막으로 몰릭식 '과감한 위임' 낙관론과 CIO식 '통제 우선' 신중론 사이의 긴장은 아직 풀리지 않았다. 실험을 게을리하면 뒤처지고, 통제 없이 맡기면 비용과 사고가 함께 터진다. 균형점은 회사마다 다르다. 업무의 위험도, 반복성, 나중에 되짚어 검증할 수 있는 정도에 따라 최적점이 달라진다. 정답이 하나로 정해지지 않는다는 사실 자체가 지금 단계의 근본적인 불확실성이다. 278
모델은 없어도 이긴다: 한국 제조 현장이 만드는 '측정 가능한 승부수'
한국 기업에 주는 첫 번째 함의는 분명하다. 최전선 모델을 직접 갖지 못해도 에이전트 경제학의 승자가 될 수 있다. LG전자의 도면 분석 워크플로와 알티엠의 반도체 팹 현장형 에이전트가 그 증거다. 두 사례 모두 한국이 강한 제조·산업 현장의 두꺼운 도메인 지식을 무기로 삼는 정공법이다. 범용 성능 경쟁에 뛰어드는 대신, 우리 현장에서만 나오는 데이터와 맥락에 에이전트를 밀착시키는 쪽이 현실적인 승부처다. 1213
두 번째 제언은 지표를 바꾸는 일이다. 도입을 평가할 때 벤치마크 순위 대신 맥킨지가 말한 '에이전트 경제학'의 잣대를 표준으로 삼아야 한다. 작업 한 건당 총비용, 통제 장치에 드는 비용, 실패율까지 넣어서 계산한 투자 수익 말이다. 파일럿 단계부터 토큰 단가가 아니라 '업무 한 건 완결당 비용'과 '자동화로 아낀 인건비·시간'을 나란히 적는 손익계산서를 만들어야 한다. 재보지 않으면 좋아졌는지 나빠졌는지도 알 수 없다. 23
세 번째는 아키텍처와 오케스트레이션 역량이다. Perplexity가 여러 모델을 하나의 업무 흐름으로 묶어 정액제로 팔듯이, 그리고 AutoTool과 SEAP 같은 연구가 도구 선택과 연산을 다듬듯이, 한국 기업도 모델 하나에 묶이는 상황을 피해야 한다. 상황에 맞게 모델과 도구를 갈아 끼우는 지휘 계층을 회사 안에 두는 것이다. 이 계층은 특정 벤더가 가격이나 성능을 바꿔도 충격을 흡수해 주는 완충장치이기도 하다. 91015
앞날은 세 갈래로 갈린다. 첫째, '통제된 확장'이다. 추론 비용 하락이 계속되고 기업이 통제 장치를 갖추면, 에이전트는 특정 업무에서 분명한 플러스 수익을 낸다. 둘째, '비용 함정'이다. 단가가 내려간 효과를 호출량 폭증이 다 잡아먹고 통제까지 없으면, 에이전트는 직원보다 비싼 애물단지가 된다. 셋째, '리스크 전이'다. 자율 에이전트가 보안 사고의 통로가 되면서 그동안 쌓은 수익이 사고 비용에 무너진다. 세 갈래를 가르는 변수는 모델 성능이 아니다. 전부 운영 능력이다. 25616
정리하면 AI 경쟁의 질문이 바뀌었다. '가장 똑똑한 에이전트는 누구인가'에서 '가장 싸고 믿을 수 있게 일을 끝내는 에이전트는 누구인가'로. 몰릭이 촉구한 과감한 위임과 CIO가 경고한 통제 사이에서 한국 기업이 취할 자세는 하나다. 재면서 맡겨라. 벤치마크 헤드라인이 아니라 자사 업무의 손익계산서, 이것이 에이전트 경제학 시대의 진짜 리더보드다. 237