AI 비용의 기하급수적 증가에 따른
구조적 위기
The Exponential Cost Crisis of AI:
A Dual-End Structural Analysis — An Industry Wake-Up Call
양단 압착 모델 하의 패러다임 딜레마 분석 · AI 실무자를 위한 비용 경고
분류 오리지널 사상 논문 (Original Thought Paper) · Industry Alert
분야 AI Economics · Token Pricing · Inference Architecture · Scaling Laws
버전 V4
저자 이조글로벌인공지능연구소 & Opus 4.6 & GPT 5.5 & Gemini 3.1 (인지집단)
2026년 4월, Uber는 단 4개월 만에 연간 AI 예산 전액을 소진했다. 5월, Microsoft는 내부 수천 명의 Claude Code 라이선스를 회수하기 시작했다. 같은 달, Uber COO는 “토큰 소비와 유용한 소비자 기능 사이에 직접적인 상관관계가 없다”고 공개적으로 발언했다. JPMorgan은 “AI Token Costs are Eating Internet Profits Alive”라는 제목의 리서치 노트를 발표했다. 토큰 단가는 3년간 약 280~600배 하락했으나, 기업의 AI 총지출은 여전히 연간 200~320%의 속도로 증가하고 있다. 본 논문은 이 역설의 구조적 근원을 밝히고 ‘양단 압착 모델(Dual-End Squeeze Model)’을 제안한다: A단(단일 상호작용 비용)은 Thinking Token의 무차별 탐색 본질과 물리적 한계로 인해 지속적으로 팽창하고, B단(수정 루프 횟수)은 확률적 샘플링의 본질적 한계로 인해 제거가 불가능하다. 양단은 합산이 아닌 곱셈으로 작용하여 초선형적 비용 폭발을 유발한다. 심층 분석에 따르면, LLM 사전훈련 데이터에는 체계적인 ‘결과 편향’—성공만 기록하고 시행착오 과정은 생략—이 존재하며, 이는 상환 불가능한 ‘인지 부채’를 만들어 매번의 추론마다 누락된 과정 지식을 컴퓨팅 자원으로 실시간 보충하도록 강제한다. 본 논문은 2026년 1~5월 위기 가속의 전체 타임라인을 추적하며, 현행 Transformer + 자기회귀 + 확률적 샘플링 아키텍처하에서 AI 배포 비용의 구조적 상승은 일시적 성장통이 아니라 패러다임 수준의 시스템 제약임을 논증한다. 모든 AI 실무자가 이 메커니즘을 이해해야 한다—내일이 아닌, 바로 지금.
CHAPTER 01당신의 예산이 폭발하고 있다: 그 이유
1.1 5개월 동안 무슨 일이 있었는가
2026년 1월, AWS는 토요일에 아무런 공지 없이 GPU Capacity Block 가격을 15% 인상했다. 2월, ‘추론 경제학(Inference Economics)’이 독립 학문 분야로 공식 정의되었다. 3월, Gartner는 “범용 토큰의 디플레이션과 프론티어 추론의 민주화를 혼동하지 말라”고 경고했으며, Sam Altman은 “지능은 전기와 물처럼 계량 과금될 것”이라고 공개 발언했다. 4월, Uber CTO는 회사가 4개월 만에 연간 AI 예산 전액을 소진했음을 인정했다—”예산을 다시 짜야 했습니다. 필요하다고 생각했던 예산이 완전히 날아갔으니까요.” 5월, Microsoft는 수천 명의 엔지니어로부터 Claude Code 라이선스를 회수하기 시작했고, Uber COO는 토큰 소비와 유용한 기능 간의 상관관계에 공개적으로 의문을 제기했으며, JPMorgan은 “AI Token Costs are Eating Internet Profits Alive”라는 리서치 노트를 발표했다.
이 모든 일은 토큰 단가가 지속적으로 폭락하는 배경에서 발생했다. GPT-4급 성능의 추론 비용은 2023년 백만 토큰당 $30에서 2026년 $3 미만으로 하락했다—10배 이상의 감소. DeepSeek V4의 캐시 가격은 백만 토큰당 $0.0036까지 내려갔다. 단가만 보면, AI는 ‘무료’ 시대에 진입하는 것처럼 보인다.
하지만 청구서는 폭발하고 있다.
1.2 비용 역설
기업 평균 AI 지출은 2024년 $250만에서 2025년 $700만으로 상승했다—거의 3배. 추론은 현재 기업 AI 예산의 85%를 차지하며, 2023년에는 약 3분의 1에 불과했다. 기업의 40%가 연간 AI 지출이 이미 $1,000만을 초과했다—클라우드 컴퓨팅이 13년 걸린 지출 수준을 불과 3년 만에 달성한 것이다. Gartner는 2026년 글로벌 AI 지출이 $2.5조를 초과할 것으로 전망한다.
1.3 본 논문의 목적
본 논문은 학술 문헌 리뷰가 아니다. 이것은 AI 실무자를 위한 비용 경고다—단가 폭락이 왜 청구서를 줄이지 못하는지, 왜 이것이 FinOps 도구로 해결할 수 있는 문제가 아닌지, 그리고 왜 현행 아키텍처에서 이 문제가 구조적인지를 설명한다. AI 예산을 관리하거나, Agent 시스템을 설계하거나, AI 배포 확대 여부를 결정하고 있다면, 본 논문이 밝히는 메커니즘이 당신의 의사결정에 직접적인 영향을 미칠 것이다.
CHAPTER 022026년 1~5월: 위기 가속 연대기와 위험 지수
다음은 2026년 상반기 5개월간 AI 비용 위기의 월별 추적이다. 위험 지수는 5개 차원(공급업체 신호, 기업 충격, 권위적 확인, 구조적 악화, 확산 속도)에 걸쳐 평가하며, 각 항목 0~2점, 만점 10점이다.
2.1 1월: 암류의 움직임 [위험 지수 3.0/10]
AWS가 15% 인상을 조용히 단행했다. CloudZero 데이터에 따르면 기업의 AI/ML 지출이 전체 클라우드 지출에서 차지하는 비중이 1년 만에 1.55%에서 2.67%로 배증했다. OpenAI의 추론 비용은 2025년 $84억에 달했으며 매출총이익률은 33%에 불과했고, 2026년 손실은 $140억에 이를 것으로 예상되었다. TSMC는 2026년 첨단 공정 가격을 3~10% 인상할 것을 확인했으며, 2nm 웨이퍼 가격은 장당 $30,000을 초과할 전망이다. 신호는 존재했지만, 아직 업계 전반의 불안감을 촉발하지는 않았다.
2.2 2월: 경고 수위 상승 [위험 지수 4.5/10]
Reworked가 “Inside the AI Cost Crisis” 특집을 발표하며 추론 비용을 기업 예산의 최대 동인으로 정의했다. CTO 실무 핸드북이 쏟아져 나왔으며, DRAM 가격이 2026년에 두 배가 될 수 있다고 경고했다. ‘추론 경제학(Inference Economics)’이 CloudZero에 의해 독립 학문 분야로 공식 정의되었다—”지표가 아닌 실천(practice).” 문제는 개별 기업의 우려에서 업계 구조적 이슈로 격상되었다.
2.3 3월: 데이터 확인 [위험 지수 6.0/10]
권위 있는 데이터가 집중적으로 터져 나왔다. Gartner가 “Navigating the Commoditization Trap” 보고서를 발표하며 명확히 경고했다: Agentic 모델은 작업당 표준 GenAI보다 5~30배 많은 토큰을 필요로 하며, 토큰 소비 증가 속도가 비용 절감 속도를 초과하여 전체 추론 비용이 상승할 것으로 예상된다. Sam Altman은 인터뷰에서 “지능은 공공 서비스이며, 계량 과금된다”고 선언했다. Anthropic은 요금제를 정액제에서 사용량 기반으로 전환했다. Du (2026)의 “Tiered Super-Moore” 논문은 프론티어 추론 계층 모델의 가격 인하가 거의 정체 상태임을 증명했다(R²=0.031). 추론 프리미엄은 비추론 가격의 평균 31.5배에 달했다. ‘가격 인하 역설’이 처음으로 정량적으로 확인되었다.
2.4 4월: 상징적 붕괴 [위험 지수 8.0/10]
Uber CTO Praveen Neppalli Naga가 The Information에 밝혔다: 회사가 4개월 만에 2026년 연간 AI 코딩 예산 전액을 소진했다. Claude Code 채택률이 32%에서 84%로 급등했으며(약 5,000명의 엔지니어 포괄), 엔지니어 1인당 월 API 비용은 $500~$2,000이었다. 커밋된 코드의 약 70%가 AI 생성이었으며, 백엔드 업데이트의 10분의 1은 Agent가 사람의 개입 없이 배포했다. “예산을 다시 짜야 했습니다. 필요하다고 생각했던 예산이 완전히 날아갔으니까요.” 같은 달, Microsoft FY25 3분기 실적(4월 30일 공개)은 해당 분기에 100조 개 이상의 토큰을 처리했음을 확인했으며, 전년 대비 5배 증가했다. Gartner는 AI 인프라 프로젝트 중 28%만이 비즈니스 목표를 완전히 달성한 것으로 파악했다.
2.5 5월: 체계적 후퇴 [위험 지수 9.5/10]
도미노가 연쇄적으로 무너졌다. 5월 14일, Microsoft의 Experiences + Devices 사업부(Windows/365/Outlook/Teams)가 대부분의 Claude Code 라이선스 회수를 시작했으며, 마감일은 6월 30일—최초 개방으로부터 불과 6개월 만이었다. Uber COO Andrew Macdonald는 공개적으로 의문을 제기했다: “토큰 사용량과 유용한 소비자 기능 사이에 직접적인 상관관계가 없는 것 같다.” Gartner 5월 보도자료는 2026년 계획된 AI 예산의 25%가 2027년으로 연기될 것으로 전망했다. Goldman Sachs는 Agentic AI가 2030년까지 토큰 소비를 24배 증가시킬 것으로 예측했다. JPMorgan은 “AI Token Costs are Eating Internet Profits Alive”를 발표했다. Fortune은 일주일 만에 두 편의 기사를 연속 보도했다. GitHub Copilot은 월정액에서 사용량 기반 과금으로 전환했다. Meta 내부에서는 토큰 소비를 추적하는 “Claudeonomics”라는 리더보드가 등장했다.
| 월 | 공급업체 신호 | 기업 충격 | 권위적 확인 | 구조적 악화 | 확산 속도 | 총점 | 단계 성격 |
|---|---|---|---|---|---|---|---|
| 1월 | 1.0 | 0.5 | 0.5 | 1.0 | 0 | 3.0 | 암류의 움직임 |
| 2월 | 0.5 | 1.0 | 1.0 | 1.0 | 1.0 | 4.5 | 경고 수위 상승 |
| 3월 | 1.5 | 1.0 | 1.5 | 1.0 | 1.0 | 6.0 | 데이터 확인 |
| 4월 | 1.0 | 2.0 | 1.5 | 1.5 | 2.0 | 8.0 | 상징적 붕괴 |
| 5월 | 1.5 | 2.0 | 2.0 | 2.0 | 2.0 | 9.5 | 체계적 후퇴 |
5개월 만에 위험 지수가 3.0에서 9.5로 상승했다—3.2배 증가, 가속도는 더 커지고 있다. 이것은 어색한 성장기를 겪는 기술의 곡선이 아니다. 이것은 스스로를 재가격화하고 있는 시장의 곡선이다.
참고: 10/10의 정의는 “다수의 주요 기업이 Agentic 도구를 일괄 회수, 주류 모델 서비스의 실효 가격 인상, 또는 대규모 AI 프로젝트 취소가 실적 공시 수준에 도달”하는 것이다. 5월 말 기준, 위기는 이 임계치에서 한 발짝 남은 상태다.
CHAPTER 03기술 진화 타임라인: CoT에서 Agent까지의 토큰 소비 팽창사
3.1 기초 정립기 (2022)
Chain-of-Thought(Wei et al., 2022)는 LLM이 단계적으로 추론하는 패러다임을 확립했으며, 전형적 소비량은 수백 토큰이었다. 같은 해 10월, Yao 등이 ReAct를 발표하여 추론 궤적(Thought)과 작업 행동(Action), 환경 관찰(Observation)을 교대로 생성하는 방식을 최초로 도입하고 Thought→Action→Observation 루프를 확립했다. HotpotQA에서 단일 작업 평균 소비량은 약 9,795 토큰으로—CoT 대비 약 20배 팽창했다.
3.2 기억과 반성기 (2023)
Reflexion(Shinn et al., 2023, NeurIPS)은 ReAct 위에 교차 시행 기억을 도입했다: Agent는 매 실패 후 자기 반성을 생성하여 간결한 경험으로 증류해 기억에 저장했다. 구조는 “원래 질문 + 이력 궤적 + 반성 기억 × N회 재시도”가 되었으며, 토큰 소비량은 재시도 횟수에 따라 선형적으로 누적되었다. 같은 해 LATS(Zhou et al., 2023)는 몬테카를로 트리 탐색을 도입하여 토큰 소비를 선형 팽창에서 준지수급으로 격상시켰다. 대응책으로 ReWOO(Xu et al., 2023)는 일회성 계획 + 병렬 실행을 통해 토큰 소비를 80% 감소시켰지만, 유연성을 희생했다.
3.3 엔지니어링 실전 배치기 (2024)
LangChain/LangGraph 생태계가 성숙했다. RP-ReAct는 계획과 실행을 분리했지만, 실제 컨텍스트 오버플로 문제를 노출시켰다—도구 상호작용이 대량의 데이터를 반환하여 컨텍스트 윈도우를 빠르게 채웠고, 오픈소스 모델의 더 작은 윈도우는 문제를 악화시켰다. 기억 아키텍처는 단기 컨텍스트 윈도우와 장기 벡터 데이터베이스의 두 계층으로 분화되었다.
3.4 궤적 재활용 및 Deep Research기 (2025~2026)
AgentHER(Ding, 2026)는 실패 궤적을 사용 가능한 훈련 데이터로 재라벨링했다. Re-TRAC(Zhu et al., 2026)는 재귀적 궤적 압축을 통해 ReAct 대비 15~20% 개선을 달성했다. AgentDiet(Xiao et al., 2026)는 궤적에 무용하고 중복되며 만료된 정보가 가득하다는 것을 발견했으며, 이를 제거하면 입력 토큰을 39.9~59.7% 줄일 수 있었다. 그러나 Deep Research 모드에서 단일 쿼리 비용은 이미 $0.41~$1.32에 달했다.
| 아키텍처 | 연도 | 전형적 토큰/작업 | CoT 대비 배수 |
|---|---|---|---|
| CoT | 2022 | ~500 | 1× |
| ReAct | 2022 | ~10,000 | 20× |
| Reflexion | 2023 | ~35,000 | 70× |
| LATS | 2023 | ~150,000 | 300× |
| Agent+RAG | 2024 | ~500,000 | 1,000× |
| Deep Research | 2025 | ~800,000 | 1,600× |
| Agentic Coding | 2025~26 | 1~3.5M | 2,000~7,000× |
3.5 소결: 토큰 소비의 계단식 팽창
CoT에서 Deep Research까지, 단일 작업 토큰 소비는 약 1,600배 증가했으며, Agentic Coding은 7,000배에 달한다. 각 세대의 아키텍처는 단순한 선형 누적이 아니라 새로운 곱셈 인자를 도입했다: ReAct는 ×N_steps의 루프 누적을 도입했고, Reflexion은 ×N_retries의 재시도를 누적시켰으며, LATS는 ×N_branches의 트리 탐색 분기를 도입했고, Deep Research는 ×N_searches × N_pages의 검색·열람을 추가했다. 이러한 곱셈 인자의 조합이 토큰 소비의 계단식 팽창을 초래했다—모든 새로운 아키텍처 능력은 새로운 비용 차원이라는 대가를 수반한다. 주목할 점은, ReWOO(2023)가 80%의 토큰 절감을 달성했지만, 유연성과 내결함성을 희생한 것이며, 이는 효율과 능력 사이에 근본적 트레이드오프가 존재함을 보여준다.
CHAPTER 04비용 경제학: 가격 하락 vs 소비 증가의 경주
4.1 토큰 단가 하락 곡선
BenchLM(2026) 추적 데이터에 따르면, 2023년 3월 이후 프론티어 LLM의 평균 출력 가격은 약 94.5% 하락했다(가격 지수 100에서 5.5로). Introl(2025)은 추론 비용이 연간 약 10배의 속도로 하락하고 있다고 추정했으며, 이는 PC 컴퓨팅의 마이크로프로세서 혁명이나 인터넷 대역폭보다 빠르다.
4.2 토큰 소비량 증가 곡선
OpenRouter(2025) 데이터에 따르면 평균 프롬프트 토큰 길이는 2024년 초 대비 거의 4배 증가했다. Microsoft FY25 3분기 실적(2025년 4월 공개, 3월 마감 분기)은 해당 분기에 100조 개 이상의 토큰을 처리했음을 확인했으며, 전년 대비 5배 증가했다. 2025년 9월, Claude 4 Sonnet의 OpenRouter 일일 평균 토큰 사용량은 1,000억에 달했다.
4.3 제번스 역설: AI 분야에서의 완벽한 재현
Luccioni, Strubell & Crawford(2025, ACM FAccT)는 제번스 역설(Jevons Paradox)이 AI에 어떻게 적용되는지를 전문적으로 연구했다. 핵심 발견: 효율 향상이 역설적으로 총소비 증가를 자극했다. 반등 효과(rebound effect)는 “순수한 기술적 효율 최적화만으로 순감소를 보장할 수 있다”는 가정을 무너뜨렸다.
— SoftwareSeni, The AI Inference Market in 2025
4.4 ‘계층화 역설’: 싼 것은 더 싸졌지만, 비싼 것은 싸지지 않았다
Du(2026, 우한대학교)는 “Tiered Super-Moore” 가설을 제안했다: 이코노미 계층 모델의 가격 반감기는 1.10년, 중간 계층은 1.55년으로—둘 다 무어의 법칙보다 현저히 빠르다. 그러나 플래그십/추론 계층 모델은 거의 지수적 가격 하락 추세를 보이지 않았으며(R²= 0.031), 추론 프리미엄은 비추론 가격의 평균 31.5배에 달했다. 동시에, 프론티어 성능 향상 속도는 비용 조정 후 향상 속도보다 12~14% 빠르다—이는 더 높은 성능에 도달하기 위한 총비용이 오히려 상승하고 있음을 의미한다.
CHAPTER 05물리적 벽: 비용 하락의 감속과 반전
5.1 반도체 공정 비용의 상승
TSMC는 2026년 첨단 공정 칩 가격을 3~10% 인상했다. 현재 3nm 웨이퍼 가격은 장당 약 $18,000~$20,000이며, 2nm 웨이퍼는 장당 $30,000을 초과할 전망이다. 이것은 일회성 조정이 아니다—TSMC는 5nm/4nm, 3nm, sub-2nm을 포괄하는 다년간 연속 인상 로드맵을 2026년부터 최소 2029년까지 계획해 놓았다.
5.2 무어의 법칙의 실질적 감속
전 Intel CEO Pat Gelsinger(2023)는 인정했다: “우리는 더 이상 무어의 법칙의 황금기에 있지 않다… 이제는 3년에 한 번 두 배가 되는 수준에 가깝다.” 2022년, NVIDIA CEO Jensen Huang은 무어의 법칙이 이미 죽었다고 직접 선언했다. 반도체 산업 로드맵은 밀도 중심에서 응용 중심(More than Moore)으로 전환되었다.
5.3 에너지와 메모리의 경성 병목
IEA 2025년 보고서는 전 세계 데이터센터 전력 소비가 2030년까지 두 배가 될 것으로 전망하며, AI 최적화 서버 전력은 93 TWh에서 432 TWh로 증가할 것으로 예측했다. 주요 시장의 신규 시설 전력 허가는 24~36개월로 늘어났다. 메모리 측면에서, NVIDIA B200 GPU는 192GB HBM3E를 필요로 하며—H100(80GB)의 거의 2.5배—각 세대가 현저히 더 많은 고대역폭 메모리를 요구하는데, 공급은 지속적으로 부족하다.
5.4 메모리 대역폭 및 공급망 제약
TrendForce(2026)는 대역폭 한계—칩 내부와 칩 간 모두—가 2026년 AI 시스템의 다음 주요 성능 병목이 되고 있다고 지적했다. NVIDIA B200 GPU는 192GB HBM3E 메모리를 필요로 하며, H100(80GB)의 거의 2.5배에 달한다. 각 GPU 세대는 현저히 더 많은 고대역폭 메모리를 요구하지만, SK하이닉스와 삼성의 HBM 생산 능력은 수요 증가 속도를 따라잡지 못하고 있다. TSMC의 CoWoS(Chip-on-Wafer-on-Substrate) 선진 패키징 용량 역시 심각한 병목이다—이 기술은 AI 가속기에 필수적이지만, 2025년에 이미 NVIDIA와 AMD 두 곳이 사전에 물량을 확보했다. 이에 따라 소비자급 CPU는 우선순위에서 밀려났으며, AMD는 2025년 말 Ryzen 전 라인업의 가격을 인상했다.
5.5 클라우드 공급업체의 은밀한 가격 인상과 보조금 거품
AWS는 2026년 1월 아무런 공지 없이 Capacity Block 가격을 15% 인상했다. H100 스팟 임대 가격은 2026년 5월 시간당 $2.39에 달해 수개월 만의 최고가를 기록했다. 더 중요한 것은, OpenAI, Google, Anthropic, Meta 모두 현재 시장 점유율 확보를 위해 원가 이하로 추론 서비스를 책정하고 있다—인위적인 가격 바닥을 만들고 있는 것이다. OpenAI의 2025년 추론 비용은 $84억에 달했으며 매출총이익률은 33%에 불과했다(Sacra, 2026). 2026년 추론 비용은 $141억으로 더 상승할 것으로 예상된다. 자본 규율이 회복되면 가격은 상향 정상화될 것이며, 그때 사용자가 체감하는 비용 충격은 더욱 심각해질 것이다.
5.6 소결: 세 가격 하락 곡선의 분화
Du(2026)의 “Tiered Super-Moore” 가설은 핵심 사실을 밝힌다: 토큰 가격 인하는 균일하지 않다. 세 곡선은 완전히 다른 궤적을 보인다:
| 모델 계층 | 가격 반감기 | R² 적합도 | 추세 판단 |
|---|---|---|---|
| 이코노미 계층 (GPT-4o mini 등) | 1.10년 | 높음 | 급속 가격 하락, 제로 비용에 근접 |
| 중간 계층 (GPT-4o / Sonnet 등) | 1.55년 | 중간 | 중속 하락, 여지 있음 |
| 프론티어 추론 계층 (o3 / Opus 등) | 거의 하락 없음 | 0.031 | 추론 프리미엄 31.5×, 거의 정체 |
이것이 의미하는 바: 사용자는 간단한 작업에서 확실히 가격 인하 혜택을 누리고 있지만, Agent가 실제로 필요로 하는 프론티어 추론 능력은—정확히 싸지지 않은 그 계층이다. “싼 것은 더 싸졌고, 비싼 것은 여전히 비싸다”—이것이 가위효과의 본질이다.
CHAPTER 06A단 심층 메커니즘: 인지 부채와 무차별 보충
6.1 사전훈련 데이터의 ‘결과 편향’ — 인지 부채 가설
인터넷 훈련 코퍼스에는 체계적인 출판 편향이 존재한다: 교과서는 정리와 증명만 기록하고 도출 과정의 실패 시도는 기록하지 않으며, 논문은 성공한 실험만 게재하고 실패 실험은 게재하지 않으며, 코드 저장소에는 최종 통과 코드만 있고 디버깅 과정은 보존되지 않는다. 따라서 LLM은 “답이 무엇인지”(결과 지식)는 학습했지만 “답에 어떻게 도달하는지”(과정 지식)가 결여되어 있다.
— “LLMs Have Made Failure Worth Publishing”, arXiv 2604.06236
실증적 뒷받침: 실패한 화학 반응을 모델 훈련에 포함시킨 후 예측 정확도가 향상되었고, 실패 샘플만으로 훈련해도 성공률이 자릿수 단위로 향상되었다(Lee et al., 2025). 한편, DeepSeek-R1과 QwQ-32B는 80.1%의 정답률을 달성했지만, 인간 전문가는 추론 경로의 39.7%만이 합리적이라고 판단했다(Guo et al., 2025).
6.2 Thinking Token의 본질: 컴퓨팅 무차별 보충
훈련 스케일링이 정점에 도달했으며(데이터/파라미터의 수익 체감), 추론 스케일링(test-time compute)이 유일한 능력 향상 경로가 되었다. 그러나 Thinking Token의 본질은 효율적 추론이 아니라 사전 저장된 답안 공간에서의 확률적 탐색/시행착오다.
핵심 증거: Yue et al.(2025)은 널리 지지받는 가설을 제안했다—”모든 올바른 추론 경로는 이미 기본 모델 안에 존재하며, RLVR는 단지 샘플링 효율을 높일 뿐이다.” 큰 k 값에서 기본 모델의 pass@k는 RL 훈련 후 모델을 능가하기도 한다. 논문 “Do Thinking Tokens Help or Trap?”은 thinking tokens가 ‘사고 함정’—비생산적인 중복 검증 루프—을 촉발한다는 것을 발견했다.
문제 인식 → 패턴 식별 → 경험 호출 → 답에 직행
토큰 등가량: ~200
LLM의 ‘추론’ 문제 해결:
문제 인식 → 방법 A 시도 → 실패 → 역추적 → 방법 B 시도 → 부분 성공
→ 검증 → 의심 → 재검증 → 방법 C 시도 → 성공
→ 재검증 한번 더 → 재의심 → 재검증 → 드디어 출력
토큰 등가량: ~8,000~50,000
6.3 Thinking Token의 구조적 비효율
Thinking Token의 비효율은 우연한 엔지니어링 문제가 아니라 구조적인 것이다. 다수의 연구가 정밀한 정량적 증거를 제공한다:
불가시성: Apiyi(2026)의 Gemini 3.1 Pro 분석에 따르면, 출력 토큰의 95% 이상이 사용자에게 보이지 않으며, 모델의 추론 체인에 의해 소비된다. 사용자는 최종 답만 보지만, 추론 체인과 답 전체의 토큰에 대해 비용을 지불한다. AIOutlooks(2026)의 실측에 따르면, 복잡한 쿼리는 10,000개의 thinking tokens를 생성할 수 있으며, GPT-5.5의 출력 토큰 백만당 $30 가격에서 보이지 않는 사고 비용은 $0.30인 반면 보이는 답의 비용은 $0.006에 불과하다—사용자가 ‘사고’에 지불하는 비용이 ‘답’의 50배다.
팽창성: TianPan.co(2026)의 Wharton 연구에 따르면, CoT 프롬프팅은 토큰 비용을 2~5배 팽창시키고 수 초의 지연을 추가하지만, 대부분의 프로덕션 작업에서 측정 가능한 정확도 향상은 없었다. 추론 모델은 명시적 CoT에서 2~3%의 정확도 향상만을 얻었으며, 응답 시간은 20~80% 증가했다. 더 심각한 것은 ‘과잉 사고 스파이럴’이다—LLM은 이미 올바른 답에 도달한 후에도 추론 단계를 계속 생성하는 경우가 빈번하다.
비단조성: 다수의 연구(Aggarwal & Welleck 2025; “Does Thinking More Always Help?” 2025)는 test-time 사고를 연장하는 효과가 비단조적 행동을 보인다는 것을 발견했다: 초기에는 정확도가 향상되지만, 이후 성능이 하락한다. 지식 집약적 작업에서 test-time 컴퓨팅을 증가시키는 것은 정확도를 일관되게 향상시키지 못할 뿐 아니라, 많은 경우 더 많은 환각을 발생시킨다.
최적 중단점의 부재: OptimalThinkingBench(Aggarwal et al., 2025)는 어떤 기존 모델도 ‘최적 균형’에 도달하지 못한다는 것을 발견했다—추론 모델은 간단한 문제를 과잉 해석하고, 비추론 모델은 어려운 문제에 대해 사고가 부족하다. “Stop Spinning Wheels”(2025) 논문은 지적했다: 중복 추론 단계를 효과적으로 회피하기 위한 보편적으로 일반화 가능하고 정량화 가능한 ‘최적 중단점’은 아직까지 발견되지 않았다.
— Turing Post, FOD#122: Thinking Tokens Explained
6.4 3계층 통제 불가 토큰의 비용 블랙홀
사용자가 통제 가능한 Input + Output은 전체 토큰의 약 5%에 불과하다. 나머지 95%는 3계층의 통제 불가 소비로 구성된다: (1) Thinking/Reasoning Tokens—사용자에게 보이지 않지만 과금되며, 소비량은 모델이 자율적으로 결정한다. “고정 예산은 없으며, 모델은 문제가 필요하다고 판단하는 만큼 소비한다”(EG3, 2026); (2) Agent 루프 누적—모든 LLM API 호출은 무상태(stateless)이므로, Agent는 도구를 호출할 때마다 전체 대화 이력을 전송하며, 루프 20단계째에는 호출당 입력이 50K 토큰을 초과할 수 있다(LeanOps, 2026). Reflexion 루프가 10회 실행되면 단일 선형 통과의 50배 토큰을 소비할 수 있다; (3) 도구 호출 및 검색—다단계 자율 Agent는 의도치 않게 재귀 루프에 진입하거나, 시스템을 과도하게 쿼리하거나, 원래 범위를 벗어나 작업을 확장할 수 있으며, Portal26(2026)은 이에 따라 전용 “Agentic Token Controls” 모듈을 출시하여 폭주 소비를 억제했다—가장 대표적인 재앙은 LangChain 무한 루프가 11일간 작동하여 $47,000의 API 요금을 발생시킨 사건이다.
6.5 삭감 불가·후퇴 불가의 구조적 잠금
위의 3계층 통제 불가 토큰은 최적화할 수 있는 ‘낭비’가 아니다—이것이 기술 그 자체이며, 삼중 구조적 잠금의 지배를 받는다:
잠금 ①: 훈련 스케일링이 정점에 도달 → 추론 스케일링이 유일한 출구. 2025년 기준, test-time compute는 LLM 성능 향상의 가장 유력한 핵심 동인으로 널리 인정받고 있다—원래의 사전훈련 Scaling Laws가 데이터 병목과 수익 체감에 직면했기 때문이다. 2020~2024년 프론티어 진전은 훈련 규모가 주도했지만, 2024~2025년에는 두 번째 축—추론 규모—이 추가되었다. 경로는 잠겨 있으며, 되돌아갈 수 없다.
잠금 ②: Thinking tokens는 능력의 핵심 매체. NeurIPS 2025 논문은 정보 이론(상호 정보량)을 통해 증명했다: 추론 궤적의 특정 생성 단계에서 상호 정보량이 돌발적으로 현저히 증가하는—즉 ‘MI 스파이크 현상’이 나타난다. 이 thinking tokens는 추론 성능에 결정적이며, 다른 토큰의 영향은 미미하다. 실증적으로, 10초간 사고가 허용된 소형 모델은 즉시 답하는 14배 큰 모델을 효과적으로 능가할 수 있다—아키텍처는 변하지 않았고, 변한 것은 토큰 예산뿐이다.
잠금 ③: Agent 도구 호출은 지능의 외재화. 검색, API 호출, 코드 실행—이것들은 ‘부가 기능’이 아니라, Agent가 현실 세계와 상호작용하는 유일한 채널이다. ReAct 루프의 Action→Observation 피드백 없이 Agent는 폐쇄된 언어 모델에 불과하며, 사실을 검증하거나, 실시간 정보를 획득하거나, 어떤 실제 행동도 수행할 수 없다.
6.6 역설의 조화: ‘90% 낭비’와 ‘삭감 불가’는 왜 모순되지 않는가
본 논문은 6.3절에서 Thinking Token의 대부분이 비생산적인 중복 검증과 시행착오 루프임을 논증했고, 6.5절에서 Thinking Token을 삭감할 수 없음을 논증했다. 이 두 판단은 모순처럼 보이지만, 그 공존이야말로 문제의 본질을 드러낸다: 100%가 모두 생성될 때까지 어느 10%가 유효한지 알 수 없다.
이것은 미로에서 길을 찾는 것과 같다—모든 길을 다 걸어볼 때까지 어떤 길이 출구로 통하는지 알 수 없다. 사후적으로 보면 90%의 경로는 ‘낭비’이지만, 사전에는 각 경로가 정답일 수 있다. 이것은 엔지니어링 결함이 아니다—확률적 탐색의 수학적 본질이다. ‘올바른 10%’만 남길 수 없는 이유는, 어느 부분이 올바른지를 식별하는 것 자체가 전체 100%를 완료해야 하기 때문이다. 연구자들(NoWAIT, TRS)이 중복 부분(27~51%)의 압축을 시도하고 있지만, 이는 경로를 다 탐색한 후의 사후 최적화이지 사전 예측이 아니다. 구조적 토큰 ‘낭비’는 효과적 추론을 달성하기 위한 불가피한 비용이다.
CHAPTER 07시행착오 정보 공급 시스템: Skill, Search, Memory의 통합 이론
7.1 다계층 시행착오 정보 공급 모델
전체 AI 기술 스택의 모든 구성요소는 동일한 작업을 하고 있다—’결과’만 학습한 모델에 ‘과정’ 정보를 주입하는 것:
| 계층 | 구성요소 | 정보 원천 | 비용 특성 |
|---|---|---|---|
| 제1층 | System Prompt + Skill | 인간 엔지니어의 시행착오 결정체 | 고정 토큰 (일회성) |
| 제2층 | Search + RAG | 전 웹/기업의 공개 시행착오 기록 | 변동 토큰 (사용당 과금) |
| 제3층 | Agent Memory | Agent 자체의 시행착오 축적 | 누적 증가 토큰 |
| 제4층 | Thinking Tokens | 실시간 컴퓨팅 보충 | 통제 불가 토큰 (가장 비쌈) |
위에서 아래로 갈수록 비용은 증가하고 통제 가능성은 감소한다. 시스템 설계 목표는 상위 계층이 최대한 많이 보충하여 최하위 Thinking의 탐색 공간을 축소하는 것이다.
7.2 Skill의 COP(제약 최적화 문제) 본질
Anthropic SKILL.md 파일의 실증적 해부에 따르면, 모든 규칙은 세 가지 유형의 정보로 정확히 분류할 수 있다: 올바른 경로(“Use WidthType.DXA”), 오류 경로(“NEVER use WidthType.PERCENTAGE — breaks in Google Docs”), 결과 제약(“columnWidths must sum to table width”). 이는 제약 최적화 문제(COP)의 표준 정의와 완전히 동형이다: 결정 변수 = 코드의 각 선택, 제약 = NEVER/MUST 규칙, 목적 함수 = 올바르고 렌더링 가능한 출력 생성.
7.3 Skill 재사용의 실패 문제
GitHub Issue #7777은 Claude가 2~5개 프롬프트 후 CLAUDE.md 지시를 무시하기 시작한다고 보고했다. AAAI 2026 ConInstruct 논문은 모델이 지시 모순을 감지하더라도 조용히 보고하지 않기로 선택한다는 것을 발견했다. Anthropic 공식 문서는 “비대한 CLAUDE.md는 Claude가 실제 지시를 무시하게 만든다”고 경고한다. 근본 원인: 확률적 샘플링 메커니즘은 결정론적 제약을 100% 실행할 수 없다.
7.4 ‘인지 부채’ 모델
↓
LLM 사전훈련의 ‘지식 부채’ (결과는 학습, 과정은 미납)
↓
┌─────────┴─────────┐
↓ ↓
Thinking Agent Memory
컴퓨팅으로 실시간 보충 시행착오 과정을 영속화
= 부채의 이자 = 부채의 원금 상환
(일회성, 고비용) (재사용 가능, 누적)
↓ ↓
비용 폭발 토큰 지속적 팽창
└─────────┬─────────┘
↓
데스 크로스오버 포인트
지식 부채의 이자 > 사용자의 지불 능력
CHAPTER 08B단 메커니즘: 납품 품질의 수정 루프와 복합 비용
8.1 확률 시스템의 납품 불확실성
AI 납품 품질의 불확실성은 우연한 실수가 아니라 확률적 샘플링 아키텍처의 본질적 속성이다. 다수의 대규모 연구가 정밀한 정량화를 제공한다:
| 지표 | 데이터 | 출처 |
|---|---|---|
| AI 생성 코드 버그율 vs 인간 | 1.7배 | Stack Overflow / CodeRabbit, 2026 |
| 보안 취약점을 포함한 AI 코드 | 45% | Ranger, 2026 |
| 잘못된 출력을 생성한 AI 프로그램 | 26.6% | Ranger, 2026 |
| 무증상 논리 오류 비율 | 60% | Ranger, 2026 |
| Java 구현 보안 실패율 | >70% | Ranger, 2026 |
| XSS 취약점 실패율 | 86% | Ranger, 2026 |
| 논리 및 정확성 오류 초과 | 75% (PR 100개당 194건) | CodeRabbit, 2026 |
| AI 보조 코드베이스 중복률 증가 | 8배 | GitClear, 2025 |
| 리팩토링률 감소 | 25%에서 <10%로 | GitClear, 2025 |
가장 위험한 실패 모드는 Shiplight(2026)가 설명한 ‘무증상 그린 라이트’이다: 코드가 테스트 스위트의 모든 테스트를 통과하지만 여전히 잘못된 것—CI는 그린 라이트를 유지하고, 테스트는 명시된 행동만 점검하며, 버그는 아무도 위험하다고 생각하지 않은 미명시 행동에 숨어 있다. 90%의 행 커버리지에 30%의 행동 커버리지가 결합되면, 잠재적 버그의 70%가 그린 라이트로 통과할 수 있다.
8.2 AI 상호작용에서의 Lusser의 법칙 재현
Towards Data Science(2026)는 1950년대 독일 엔지니어 Robert Lusser가 연속적인 로켓 고장에서 도출한 법칙을 인용했다: 복잡 시스템의 전체 신뢰도 = 모든 구성요소 신뢰도의 곱. 95% 정확한 Agent는 20단계 작업에서 36%의 성공률만을 갖는다. 사용자는 매 납품에서 약 95% 만족 / 5% 결함을 얻으며, 결함을 수정하면 새 결함이 발생하고, 성공률은 0.95^N으로 지수적으로 감소하며 비용은 N(N+1)/2로 이차적으로 증가한다. 85% 정확한 Agent는 10단계 작업에서 20%의 성공률만을 갖는다—다섯 번 시도 중 네 번은 실패가 예정되어 있다.
8.3 커뮤니티 검증: 보편적 경험
커뮤니티는 블랙 유머로 “Ralph Wiggum 루프”라는 이름을 붙였다—심슨 만화에서 “I’m helping!”이라고 외치면서 아무 도움도 되지 않는 캐릭터의 이름을 딴 무한 재시도 패턴으로, 구현 방식은 극도로 풍자적이다: while :; do cat PROMPT.md | agent ; done. 이것은 Cursor의 공식 플러그인이 되었으며, 커뮤니티는 이를 통해 하나의 사실을 인정했다: AI 작업의 본질은 무한 재시도이며, 진행 상황은 LLM의 컨텍스트에 지속되지 않는다—파일과 git 이력에 존재한다. DEV Community 인기 게시물 “I Wrote 200 Lines of Rules for Claude Code. It Ignored Them All.”은 광범위한 공감을 불러일으켰다. 또 다른 고득표 게시물 “When AI Gets Stuck, Don’t Fix It — Restart It”은 지적했다: 내부 상태가 손상되면, 추가 지시는 더 이상 중립적 정보가 아니다—초기의 잘못된 가정이 암묵적이 되고, 모델은 불리한 방식으로 컨텍스트를 압축하며, 모든 수정은 이미 붕괴된 프레임워크를 통해 해석된다. 당신은 더 이상 추론을 안내하는 것이 아니라, 붕괴된 내부 상태와 협상하고 있는 것이다.
8.4 수정 루프의 비용 곱셈 효과
수정 루프의 매 라운드는 비용을 가중시킨다: 매 라운드마다 컨텍스트가 길어지고(이력 누적), 라운드당 비용이 점증하며; 모델이 초기 규칙을 무시하기 시작하고(Chroma 2025의 Context Rot 연구: 32K 토큰 이후 성능 저하 시작), 수정 효율이 감소하며; 컨텍스트 압축으로 인해 핵심 Skill 규칙이 요약되어 망각되고; 강제 재시작 시 이전에 소비된 모든 토큰이 제로로 리셋되어 완전한 매몰비용을 구성한다.
상호작용 1: A₁ 토큰 (기본 소비)
상호작용 2: A₂ 토큰 (A₂ > A₁, 컨텍스트 누적)
상호작용 3: A₃ 토큰 (A₃ > A₂, 더 긴 이력)
…
상호작용 N: Aₙ 토큰
총비용 = Σ(Aᵢ) ≈ A × N × (N+1) / 2 ← 이차적 성장
성공률 = 0.95^N ← 지수적 감소
사용자 만족도 = 3~4라운드 후 붕괴 ← 포기하거나 재시작
재시작 후: 이전 모든 토큰 소비 = 제로 리셋 = 매몰비용
LeanOps(2026)의 30개 엔지니어링 팀 감사는 충격적인 수치를 보여주었다: 20인 팀의 월간 Agent 비용이 $110,000에 달할 수 있다. 같은 도구 내에서 p10과 p90 사용자 간의 비용 차이는 20배에 달했다. Mavvrik(2025) 조사에 따르면 84%의 기업이 AI 지출이 이미 매출총이익률을 6% 포인트 이상 잠식했다고 보고했다. 핵심 지표는 더 이상 ‘1차 통과율’이 아니라 ‘수렴성’이다—Agent의 반복이 완료를 향해 수렴하는가, 아니면 제자리에서 맴도는가.
CHAPTER 09양단 압착 모델: A×B의 곱셈 구조
9.1 모델 정의
A단 = f(기술 복잡도, 물리적 벽, 통제 불가 토큰) → 지속적 팽창
B단 = g(확률적 샘플링 정밀도, 작업 복잡도) → 제거 불가
A × B = 초선형 비용 증폭; 트리 탐색, 재귀 도구 호출, 재시작 루프에서 준지수적 폭주로 퇴화 가능
9.2 왜 곱셈이지 덧셈이 아닌가
A단과 B단은 독립적 비용 항목이 아니라 중첩 관계다—매 수정 라운드(B단)마다 완전한 A단 비용을 지불해야 하며, A단 비용은 라운드마다 증가한다(컨텍스트 누적). 최소 모델에서 총비용은 이차적으로 증가하며(부록 B); 작업 복잡도, 분기 수, 재시작 횟수가 동시에 증가하면, 고차 다항식이나 준지수적 폭주까지 가능하다. arXiv:2604.22750(2026.04)은 SWE-bench Verified에서 8개 프론티어 모델의 체계적 분석을 통해 확인했다: Agentic coding 작업은 코드 추론/코드 채팅의 1,000배 토큰을 소비하며, 동일 작업의 서로 다른 실행 간 토큰 소비가 30배 차이날 수 있으며, 더 많은 토큰 사용이 더 높은 정확도로 이어지지 않는다—정확도는 중간 비용 수준에서 피크에 달하고 최고 비용 수준에서는 오히려 하락하며, 이는 초과 토큰 지출이 더 깊은 추론이 아닌 비생산적 탐색을 반영함을 시사한다. ICSE 2026 논문은 Agent의 토큰 소비가 매 상호작용 라운드마다 ‘이차적으로 증가(quadratically growing)’한다고 추가 확인했다.
9.3 ‘데스 크로스오버 포인트’의 정확한 정의
A×B의 증가율이 사용자 예산 상한을 초과할 때 데스 크로스오버 포인트가 도래한다. 이것이 바로 2026년의 현실이다:
| 사건 | 시점 | 출처 |
|---|---|---|
| Uber, 4개월 만에 연간 AI 예산 전액 소진 | 2026.04 | Fortune |
| Microsoft, 내부 Claude Code 라이선스 회수 | 2026.05 | The Verge |
| JPMorgan: “토큰이 인터넷 수익을 잠식하고 있다” | 2026.05 | JPMorgan Research |
| 기업 85%의 AI 예산이 예측에서 심각하게 이탈 | 2025 | Mavvrik |
| Gartner, Agent 프로젝트 40%가 취소될 것으로 전망 | 2025~2027 | Gartner |
| AI 추론이 기업 AI 예산의 85% 차지 | 2026 | AnalyticsWeek |
9.4 불가능 삼각형
현행 패러다임에는 불가능 삼각형이 존재한다: 프론티어 능력(더 많은 토큰 필요), 비용 통제(물리적 벽이 가격 인하를 제한), 사용자 예산(지불 능력에 상한 존재)—세 가지 중 동시에 최대 두 가지만 충족할 수 있다.
CHAPTER 10논의: 현행 패러다임의 구조적 한계
10.1 왜 엔지니어링 최적화는 근본 문제를 해결할 수 없는가
궤적 압축(AgentDiet, Re-TRAC)은 30~50% 압축이 한계인 반면, 소비 증가율은 10~100배 규모다. 토큰 캐싱/포인터화는 완화하되 제거하지 못하며, 새로운 복잡성을 도입한다. 모델 라우팅(대형/소형 모델 분류)은 Gartner가 권장하는 FinOps 방안이지만, 프론티어 작업은 다운그레이드할 수 없다. Skill 사전 인코딩은 확률적 샘플링의 비준수성에 제약받는다—Vercel 평가에서 Agent가 독자적으로 컨텍스트 획득을 결정할 때 56%가 실패했다.
10.2 세 가지 패러다임 수준의 결함
결함 ①: 자기회귀 생성 → 출력 토큰이 순차적으로 의존 → 병렬화 불가 → 비용이 길이에 선형 비례. 결함 ②: 확률적 샘플링 → 결정론적 제약 준수를 보장할 수 없음 → 납품 품질 예측 불가. 결함 ③: 사전훈련 데이터의 결과 편향 → 과정 지식의 영구적 결핍 → 추론 시 컴퓨팅으로 보충해야 함. 세 결함은 상호 결합되어 현행 Transformer + 자기회귀 + 확률적 샘플링 아키텍처의 근본적 한계를 구성한다.
10.3 잠재적 패러다임 돌파 방향
A단 돌파에는 무차별 탐색이 아닌 추론 방식이 필요하다: Recursive Language Models(RLM, Prime Intellect 2025)는 모델이 자체 컨텍스트를 능동적으로 관리하게 하며, 과정 지식 훈련은 시행착오 궤적을 훈련 데이터에 통합한다. B단 돌파에는 결정론적 실행이 필요하다: 신경-기호 하이브리드 시스템은 기호 추론이 제약을 처리하고 신경망이 패턴 매칭을 처리하게 하며, 결정론적 제약 적용 계층은 샘플링 전후에 경성 규칙 검사를 수행한다. 둘 다 현행 아키텍처의 근본적 변혁을 의미한다.
CHAPTER 11이것들이 당신을 구해줄 것이라 생각한다면 — 왜 불가능한지
비용 위기의 구조적 근원을 지적한 후, 업계에서 가장 흔한 6가지 낙관적 반론에 정면으로 응답하고, 높은 복잡도의 Agentic 작업에서 왜 이것들이 추세를 역전시키기에 불충분한지 설명할 필요가 있다.
11.1 “모델 증류로 프론티어 추론을 소형 모델에 압축할 수 있다”
증류는 확실히 효과적이다—DeepSeek R1의 오픈소스 증류 버전은 일부 벤치마크에서 o1에 근접한다. 하지만 증류가 완화하는 것은 A단의 단일 비용이며, B단의 수정 루프를 변경하지 않는다. 증류된 소형 모델은 장궤적 추론, 다도구 조정, 복잡한 코드 리팩토링이 필요한 Agentic 작업에서 여전히 현저한 능력 격차를 보인다. Uber의 엔지니어들은 이미 최첨단 Claude Code를 사용하고 있었다—저렴한 대안이 없어서가 아니라, 저렴한 대안으로는 그들의 작업을 완수할 수 없었기 때문이다.
11.2 “합성 데이터로 과정 지식을 훈련하여 인지 부채를 상환할 수 있다”
방향은 맞다—프론티어 모델을 사용하여 완전한 추론 체인을 포함한 훈련 데이터를 생성하는 것은 확실히 잠재력이 있다. 하지만 합성 궤적의 다양성과 진정성은 여전히 미해결 문제다. AI 생성 시행착오 데이터로 차세대 AI를 훈련하면 ‘모델 붕괴(Model Collapse)’를 악화시킬 위험이 있다—Nature(2024)는 이미 이 현상을 기록했다. 이것은 ‘인지 부채’ 상환 경로 중 가장 유망하지만 아직 검증되지 않은 방향이다.
11.3 “Speculative Decoding / KV Cache / MoE로 토큰당 연산 비용을 낮출 수 있다”
이 기술들이 낮추는 것은 가격 함수 C(t)—토큰당 실제 연산 비용이다. 하지만 A(n)의 성장 구조(매 라운드 컨텍스트 누적)와 B의 존재성(수정 루프)은 변경하지 않는다. 다시 말해, 각 토큰은 더 저렴해졌지만, 필요한 토큰 수가 더 빠른 속도로 증가하고 있다. Epoch AI(2025) 데이터에 따르면 알고리즘 효율은 연간 3~10배 개선되지만—같은 기간 토큰 소비는 5~50배 증가했다.
11.4 “온디바이스 추론으로 B단의 간단한 수정을 무료로 실행할 수 있다”
간단한 검증과 포맷 수정을 로컬 NPU에 오프로드하면 A×B의 곱셈 구조를 부분적으로 깨뜨릴 수 있다—A_cloud + B_local×0으로 변환. 하지만 프론티어 추론 작업(다단계 코드 리팩토링, 장문서 분석, 복잡한 계획)은 온디바이스에서 실행할 수 없다. Uber와 Microsoft의 Agent 워크로드는 수십만 토큰의 컨텍스트가 필요한 서버 측 추론을 소비한다—스마트폰 NPU가 감당할 수 있는 작업 부하가 아니다.
11.5 “모델 라우팅으로 간단한 작업을 저렴한 모델로 분류할 수 있다”
Gartner가 권장하는 FinOps 방안으로, 비용 관리에 효과적이다. 하지만 문제는: Agentic AI의 가치 제안이 정확히 프론티어 능력 위에 구축되어 있다는 것이다. 비용 절감을 위해 작업을 저렴한 모델로 라우팅하면, AI를 배포하는 이유 자체를 훼손하게 된다. Gartner 자체도 경고했다: “프론티어를 향해 계속 밀고 나가면, 토큰 비용이 영원히 수익성을 달성할 수 없는 수준으로 폭발할 것이다.”
11.6 최강의 현실 스트레스 테스트: Microsoft는 모든 것을 가지고 있었다—그리고도 축소했다
Microsoft는 동시에 보유하고 있다: 온디바이스 추론(Windows Copilot Runtime + NPU), 모델 증류(Phi 시리즈 소형 모델), KV Cache 최적화(Azure 인프라), 모델 라우팅(Foundry 플랫폼), 자체 개발 코드 도구(GitHub Copilot CLI). 이 회사는 업계에서 기술 스택이 가장 완벽한 기업으로, 위에 나열된 모든 ‘해결책’을 보유하고 있다.
그런 다음 Claude Code 개방 6개월 만에 라이선스 회수를 시작했다.
이것은 완전한 최적화 스택을 보유하더라도 실제 규모 배포에서 비용 축소가 촉발될 수 있음을 보여준다. Microsoft의 후퇴에는 복합적 요인(자체 도구 추진, 보안 통합, 외부 의존 감소)이 있을 수 있지만, AI Weekly(2026.5)의 보도는 더 근본적인 문제를 밝혔다: Microsoft 내부 데이터에 따르면 AI Agent 배포 비용이 동등한 인건비를 이미 초과했다. 기업 AI ROI는 Microsoft 자체 프로젝트 데이터에서도 입증되지 않았으며, 지출 증가율이 측정 가능한 생산성 향상을 초과했다. 이것은 “엔지니어링 최적화가 모든 것을 해결할 수 있다”는 믿음에 대한 가장 강력한 현실적 제약 사례다.
11.7 “AI가 인간보다 저렴하다” — 정말 그런가?
Gemini 3.1은 본 논문을 검토하면서 중요한 반론을 제기했다: AI 비용이 폭발하더라도 대체하는 인건비가 더 비싸면 ROI는 여전히 양수다. 이 반론은 단순하고, 고빈도이며, 표준화 가능한 작업에서 성립한다—Forrester TEI 데이터에 따르면 고객 서비스 AI는 상호작용당 $0.46 vs 인간 상담원 $4.18(9배 우위), 일상적 코드 리뷰는 $0.72 vs 시니어 엔지니어 $48(66배 우위).
하지만 복잡하고, 장궤적이며, 다단계의 Agentic 작업에서는 이 가정이 무너지고 있다:
| 데이터 출처 | 발견 |
|---|---|
| Microsoft 내부 데이터 (AI Weekly, 2026.5) | AI Agent 배포 비용이 동등한 인건비를 초과 |
| Gartner 2026 코호트 연구 | Agent 배포 중 41%만이 1년 내 양의 ROI를 달성; 19%는 영원히 손익분기점에 도달 불가 |
| Forrester 2026 | 측정되지 않은 재작업이 자기 보고된 시간 절감의 22~38%를 흡수 |
| Deloitte 2026 | 기업의 84%가 AI 중심으로 워크플로를 재설계하지 않음—대부분 인간과 AI를 병행 운영하며 이중 비용 지불 |
| Uber COO (Fortune, 2026.5) | “토큰 소비와 유용한 소비자 기능 사이에 직접적 상관관계가 없다” |
간단히 말하면: AI는 단순한 작업에서 확실히 인간보다 9~66배 저렴하다. 하지만 본 논문의 핵심 명제는 정확히 프론티어 Agentic 작업을 가리키고 있으며—이 영역에서 “AI가 인간보다 저렴하다”는 가정은 Microsoft 자체 데이터에 의해 반박되고 있다.
11.8 아키텍처 탈출의 가능성
Gemini 3.1은 더 깊은 수준의 반론도 제기했다: 미래 아키텍처가 “답을 검증하는 비용이 답을 생성하는 비용보다 훨씬 낮은” 방향으로 진화한다면(에너지 기반 모델 EBM, 확산 계획, 테스트 시간 훈련 TTT 등), B단의 재시도는 완전한 이력 컨텍스트를 가지고 처음부터 다시 시작할 필요가 없어져 A×B의 곱셈 구조가 깨질 수 있다. 이것은 모든 반론 중 가장 잠재력 있는 방향이다—현재 패러다임 내에서 최적화하는 것이 아니라 패러다임 자체의 대안을 논의하고 있기 때문이다. 본 논문은 이 방향이 추적할 가치가 있음을 인정하지만, 동시에 지적한다: 2026년 6월 기준, 이러한 아키텍처가 프로덕션급 Agentic 작업에서 경제적 실행 가능성을 증명한 사례는 아직 없다. 현재의 위기는 현재의 대응을 요구하며, 아직 입증되지 않은 패러다임 돌파에 배팅할 수는 없다.
— The Next Web, “Microsoft’s quiet Claude Code retreat”, May 2026
CHAPTER 12결론: 모든 AI 의사결정자에게
12.1 지금 당장 이해해야 할 다섯 가지
첫째, 토큰 단가 하락이 당신의 AI 청구서 하락을 의미하지 않는다. 아키텍처 복잡화(Thinking Token 무차별 탐색 + Agent 루프 누적 + 검색/도구 호출)가 가격 인하 속도를 훨씬 초과하는 속도로 토큰을 소비하고 있다. Uber가 실제 비용으로 이를 증명했다.
둘째, 당신의 AI 청구서 중 95%는 당신에게 보이지 않는다. Thinking Token, Agent 이력 재전송, 도구 호출 반환—이 통제 불가 소비는 모델이 자율적으로 결정하며, 당신의 input과 output은 빙산의 일각에 불과하다.
셋째, 하나의 버그를 고치면 새 버그가 생기고, 새 버그를 고치면 더 새로운 버그가 생긴다. 이것은 우연이 아니라 확률적 샘플링 시스템의 수학적 필연이다. 매 수정 라운드의 비용은 증가하고(컨텍스트 누적), 성공률은 감소하며(Lusser의 법칙), 3~4라운드 후 대부분의 사람들은 포기하거나 재시작한다—이전에 소비된 모든 토큰은 제로로 리셋된다.
넷째, 물리적 벽이 가격 인하 여지를 잠그고 있다. TSMC는 해마다 가격을 인상하고, HBM 메모리는 공급 부족이며, 데이터센터 전력 허가는 24~36개월 대기 중이다. 이코노미 계층 모델은 여전히 싸지고 있지만, 당신이 실제로 필요로 하는 프론티어 추론 모델은—거의 싸지지 않았다.
다섯째, 이 양단은 덧셈이 아닌 곱셈이다. A단(매 상호작용이 점점 비싸짐) × B단(수정 루프 제거 불가) = 초선형적 총비용 증가. 덧셈으로 예산을 짜는 기업은—다음 Uber가 될 것이다.
12.2 행동 권고
즉시: Agent 워크플로를 감사하여 ‘통제 가능 토큰’과 ‘통제 불가 토큰’의 비율을 구분하라. 통제 불가 부분이 80%를 초과하면, 당신의 예산 모델은 이미 무효다.
단기: 토큰 예산의 실시간 모니터링 및 서킷 브레이커 메커니즘을 구축하라. 작업당 토큰 상한을 설정하고, Agent 루프가 임계치를 초과하면 자동 종료하라. 이는 일부 유연성을 희생하지만, 폭주를 방지할 수 있다.
중기: Skill/Memory의 COP화 사전 인코딩에 투자하라—더 많은 시행착오 정보를 결정론적 규칙으로 사전 인코딩하여 Thinking의 탐색 공간을 축소하라. 이것이 현행 아키텍처에서 비용 효율비가 가장 높은 최적화 경로다.
전략적: “AI가 점점 저렴해지고 있다”를 배포 확대의 근거로 삼지 마라. 재무 모델에 A×B 곱셈 인자를 포함시켜라. 당신의 CFO가 선형 모델로 AI 비용을 예측하고 있다면—이 논문을 보여줘라.
12.3 마지막 한마디
Gartner 애널리스트 Will Sommer의 경고는 모든 AI 의사결정자의 책상 위에 새겨둘 가치가 있다: “최고 제품 책임자는 범용 토큰의 디플레이션을 프론티어 추론의 민주화와 혼동해서는 안 된다. 오늘 저렴한 토큰으로 아키텍처 비효율을 감추는 자는, 내일 agentic 규모화가 영원히 불가능하다는 것을 알게 될 것이다.”
APPENDIX부록
부록 A: 핵심 데이터 타임라인
| 시점 | 사건 | 비용 영향 |
|---|---|---|
| 2022.01 | Chain-of-Thought (Wei et al.) 발표 | 작업당 ~500 tokens |
| 2022.10 | ReAct (Yao et al.) 발표 | 작업당 ~10K tokens (20×) |
| 2023.03 | Reflexion (Shinn et al.) 발표; GPT-4 $30/M으로 출시 | 작업당 ~35K tokens (70×) |
| 2023.05 | ReWOO, 토큰 효율 대응 제안 | 토큰 소비 −80% (유연성 희생) |
| 2023.10 | LATS (Zhou et al.) 발표 | 트리 탐색 → 작업당 ~150K tokens |
| 2024.07 | GPT-4o mini $0.15/M으로 출시 | 이코노미 계층 가격 역대 최저 |
| 2024 | Agent+RAG 프로덕션 배포 | 기업 평균 AI 지출 $250만/년 |
| 2025.01 | DeepSeek R1 $0.55/M으로 출시 | 가격전 개시, 경쟁사 대비 90% 저렴 |
| 2025.07 | Context Rot, Chroma에 의해 공식 명명 | 32K 토큰 이후 성능 저하 시작 |
| 2025.09 | AgentDiet 발표; Claude Sonnet 일일 1,000억 토큰 | 궤적 슬리밍으로 40~60% 토큰 감소 |
| 2025.10 | o3 Deep Research $10/$40/M으로 출시 | 쿼리당 $0.41~$1.32 |
| 2025.12 | TSMC, 2026년 3~10% 인상 발표 | 첨단 공정 비용 반전 상승 |
| 2026.01 | Luccioni FAccT 논문 (Jevons Paradox × AI) | 반등 효과의 학술적 확인 |
| 2026.01 | AWS, 15% 은밀한 인상 | 클라우드 공급업체 보조금 후퇴 신호 |
| 2026.02 | Re-TRAC 발표; ETH, AGENTS.md 효과 연구 | 궤적 압축 + Skill 열화의 학술적 확인 |
| 2026.03 | Gartner 보고서: 추론 비용 상승 전망 | “토큰 디플레이션과 추론 민주화를 혼동하지 말라” |
| 2026.03 | Du “Tiered Super-Moore” 논문 | 프론티어 모델 가격 인하 거의 정체 (R²=0.031) |
| 2026.04 | Uber, 4개월 만에 연간 AI 예산 소진 | 데스 크로스오버의 상징적 사건 |
| 2026.04 | DeepSeek V4 $0.0036/M (cached)으로 출시 | 이코노미 계층 극한 인하 vs 프론티어 계층 변동 없음 |
| 2026.05 | Microsoft, Claude Code 회수; JPMorgan 경고 | “토큰이 인터넷 수익을 잠식하고 있다” |
부록 B: 양단 압착 모델의 수학적 도출
정의:
S = 단일 작업의 종속 단계 수 (Agent 루프 단계 수)
p = 단계별 신뢰율 (전형적 값 ≈ 0.95)
R = 사용자 수정/재시도 횟수
A(r) = r번째 수정 라운드의 토큰 소비량
C(t) = 시간 t에서의 토큰 단가 ($/token)
Lusser의 법칙 (다단계 작업 신뢰도):
S단계 종속 작업의 전체 성공률 = p^S
p = 0.95, S = 20일 때: 0.95²⁰ ≈ 36%
p = 0.95, S = 40일 때: 0.95⁴⁰ ≈ 13%
→ 단계가 많을수록 전체 실패 확률이 높아지며, 수정 필요성이 빈번해짐
A단 모델 (라운드별 비용의 성장):
A(r) = A₀ + Σᵢ₌₁ʳ⁻¹ Oᵢ
여기서 Oᵢ는 i번째 라운드의 출력 (Thinking + 도구 반환 + 이력 포함)
Agent가 매 호출마다 전체 이력을 재전송하므로: A(r)는 최소 선형적으로 증가
실제로는 도구 반환량이 비고정이므로: A(r) 증가가 초선형인 경우가 잦음
B단 모델 (수정 루프의 비용 누적):
R회 수정의 총비용 = C(t) × Σᵣ₌₁ᴿ A(r)
A(r) ≈ A₀ + k·r (선형 증가)인 경우:
총비용 ≈ C(t) × [R·A₀ + k·R(R+1)/2] → 이차적 증가
참고: 실제로 사용자는 3~5라운드 후 대개 포기하거나 재시작
재시작 = 이전에 소비된 모든 토큰 제로 리셋 (매몰비용)
실제 지출 = Σ(매 재시작 전 누적) → 단일 연속 추정을 훨씬 초과 가능
양단 곱셈 효과:
기술 세대 교체로 A₀가 k배 증가 (A단 팽창)
수정 횟수 R이 제거 불가 (B단 고정)
이면 TotalCost ∝ k × R² → 초선형 증가
일반적인 다라운드 수정에서, 비용은 최소 이차적으로 증가;
트리 탐색, 재귀 도구 호출, 정지 조건 없는 Agent에서는
준지수적 폭발 가능 (분기 인자 × 깊이).
물리적 벽 제약:
C(t)가 더 이상 하락하지 않음 (프론티어 추론 계층 R²=0.031)
A₀가 지속적으로 증가 (아키텍처 복잡화 + 추론 확장)
R이 제거 불가 (확률적 샘플링 + 소프트웨어 복잡성)
→ 사용자 실제 총비용이 지속적 초선형 증가를 보임 □
부록 C: SKILL.md COP 구조 해부 실례
Anthropic docx Skill 파일의 실제 내용을 예로 들면, 각 규칙은 COP의 세 가지 정보 유형으로 정확히 분류할 수 있다:
| 유형 | 기호 | 예시 규칙 | 시행착오 기원 |
|---|---|---|---|
| 올바른 경로 | ✅ | Use LevelFormat.BULLET with numbering config | 올바른 방법 발견 |
| 올바른 경로 | ✅ | Use ShadingType.CLEAR | 올바른 방법 발견 |
| 올바른 경로 | ✅ | Always use WidthType.DXA | 올바른 방법 발견 |
| 오류 경로 | ❌ | NEVER use unicode bullets | 누군가 시도함 → 렌더링 오류 |
| 오류 경로 | ❌ | Never use WidthType.PERCENTAGE | 누군가 시도함 → Google Docs 충돌 |
| 오류 경로 | ❌ | Never use ShadingType.SOLID | 누군가 시도함 → 배경 전체 검정 |
| 오류 경로 | ❌ | Never use tables as dividers | 누군가 시도함 → 빈 프레임 발생 |
| 오류 경로 | ❌ | Never use \n | 누군가 시도함 → 무효 XML |
| 결과 제약 | 🔒 | CRITICAL: docx-js defaults to A4 → set explicitly | 형식이 기대와 불일치 |
| 결과 제약 | 🔒 | columnWidths must sum to table width | 렌더링 어긋남 |
| 결과 제약 | 🔒 | ImageRun requires type (png/jpg) | 이미지 로드 실패 |
| 결과 제약 | 🔒 | Element order in pPr: pStyle, numPr… rPr last | 스키마 위반 |
COP 형식화 표현: Skill(task) = { P_correct, P_error, C_hard, C_soft, F_objective }. Skill의 본질적 기능은 P_error(알려진 실패 경로)를 사전에 제공하여 COP 탐색 공간의 사지(dead branches)를 제거함으로써, Thinking이 P_correct 근처의 실행 가능 영역만 탐색하도록 하는 것이다. 각 규칙의 탄생 = 한 번의 인간-AI 시행착오 상호작용의 코드화.
REFERENCES
- Yao, S. et al. (2022). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023. arXiv:2210.03629
- Shinn, N. et al. (2023). Reflexion: Language Agents with Verbal Reinforcement Learning. NeurIPS 2023. arXiv:2303.11366
- Zhou, A. et al. (2023). Language Agent Tree Search Unifies Reasoning, Acting, and Planning. ICML 2024. arXiv:2310.04406
- Xu, B. et al. (2023). ReWOO: Decoupling Reasoning from Observations. arXiv:2305.18323
- Luccioni, A.S., Strubell, E. & Crawford, K. (2025). From Efficiency Gains to Rebound Effects: The Problem of Jevons’ Paradox in AI. ACM FAccT 2025. arXiv:2501.16548
- Cottier, B. et al. (2025). LLM inference prices have fallen rapidly but unequally across tasks. Epoch AI.
- Du, M. (2026). Tiered Super-Moore’s Law: Price Evolution in LLM Inference Services. Wuhan University. arXiv:2603.28576
- Erol, M.H. et al. (2025). Cost-of-Pass: An Economic Framework for Evaluating Language Models. arXiv:2504.13359
- Xiao, Y. et al. (2026). Reducing Cost of LLM Agents with Trajectory Reduction. Proc. ACM Softw. Eng. (FSE 2026). arXiv:2509.23586
- Zhu, J. et al. (2026). RE-TRAC: Recursive Trajectory Compression for Deep Search Agents. arXiv:2602.02486
- Guo, D. et al. (2025). Right Is Not Enough: The Pitfalls of Outcome Supervision. arXiv:2506.06877
- Yue, Y. et al. (2025). Limit of RLVR. limit-of-rlvr.github.io
- Demirer, M., Fradkin, A. et al. (2025). The Emerging Market for Intelligence. NBER Working Paper No. w34608.
- Hong, K. et al. (2025). Context Rot: How Increasing Input Tokens Impacts LLM Performance. Chroma Research.
- Gartner (2026). Navigating the Commoditization Trap as Token Costs Fall by Over 90% Through 2030.
- Appenzeller, G. (2024). Welcome to LLMflation. a16z Blog.
- “From Storage to Experience” Survey (2026). Evolution of LLM Agent Memory Mechanisms. Preprints.org.
- Ding, L. (2026). AgentHER: Hindsight Experience Replay for LLM Agent Trajectory Relabeling. arXiv:2603.21357
- Wang, A. et al. (2025). Do Thinking Tokens Help or Trap? arXiv:2506.23840
- TRS (2026). Thinking with Reasoning Skills: Fewer Tokens, More Accuracy. NeurIPS 2025 Workshop. arXiv:2604.21764