1. 증거 등급 체계

등급	기준	강도
A	공식 실적 보고서, 법원 문서, 동료 심사 연구, 대규모 종단 데이터	최강
B	저명 연구 기관 보고서, 공식 모델 발표, 신뢰할 수 있는 시장 데이터	강
C	기업 조사, 횡단면 설문, 신뢰할 수 있는 언론의 심층 보도	중
D	커뮤니티 게시물, 개별 사용자 사례, 추측성 계산	약

2. AI 순가치 경제 모델

현재 AI 산업의 서사는 생성 수익에 집중되어 있다. 그러나 등호 오른쪽의 나머지 5개 비용 항목의 증가율은 폐쇄형 생성 AI의 비즈니스 모델 하에서 생성 수익의 증가율을 따라잡거나, 심지어 추월하고 있다.

3. 5단계 점진적 모델

3.1 1단계: 산출 과잉

글로벌 소프트웨어 시장은 연간 약 12% 성장하고 있으며 B, AI는 개발자 생산성을 25–55% 향상시킨다 C. 그러나 소프트웨어 생산은 요구사항 정의, 보안 감사, 규정준수, 유지보수 등 수많은 비코딩 단계에 의해 제약된다. 비용 붕괴는 롱테일 수요를 해제할 수 있지만(제번스 역설), 롱테일 수요야말로 검증 능력이 가장 취약한 영역이다.

3.2 2단계: 검증 병목(중심축)

개발자의 96%가 AI 생성 코드를 완전히 신뢰하지 않는다 C. 코드 생성량이 인간 검토 능력을 40% 초과한다 C. 테런스 타오는 “이해 없는 진리”를 경고한다 B. MIT NANDA에 따르면 AI 파일럿의 5%만 성공한다 B.

검증 병목은 더 나은 AI로 해결될 수 없다 — AI로 AI를 검증하면 재귀적 신뢰 문제가 발생한다. 제4장에서 실제 벤치마크 데이터로 이를 입증한다.

3.3 3단계: 경제적 전가

AI 프로그래밍의 실질 총비용 = 토큰 수수료 + 감사 비용 + 재작업 비용 + 사고 비용 + 법률 비용. AI 기업은 토큰 수수료만 포착하고 나머지는 외부화된다. Anthropic의 가격 혼란 A, Cursor 환불 사태 C, GitHub Copilot의 사용량 기반 과금 전환 B은 모두 교차 보조금 모델 붕괴의 신호다.

3.4 4단계: 신뢰 할인

윤리 주도 요인이 기업 신뢰의 76%를 차지한다 B. 미국 내 AI 신뢰도는 50%에서 32%로 하락했다 B. OpenAI 집단소송 A. Anthropic $15억 합의 A. 신뢰 할인의 핵심 영향은 사용자가 사용을 중단하는 것이 아니라 프리미엄 가격 결정력이 압축되는 것이다.

3.5 5단계: 플라이휠 역전

오픈소스가 코딩 벤치마크에서 1.3%p 이내로 격차를 좁혔다 B. ChatGPT의 트래픽 점유율이 14개월간 30%p 하락했다 B. 합성 데이터는 데이터 플라이휠의 쇠퇴를 지연시킬 수는 있으나 역전시킬 수는 없다 A.

4. “AI가 AI를 검증한다”의 현실: 벤치마크 데이터

3차에 걸친 AI 동료 심사에서 세 AI 시스템(Opus 4.6, GPT-5.5, Gemini 3.1) 모두 논문이 “AI가 저수준 검증에서 이미 효과적”임을 인정하도록 권고했다. 본 장에서는 외부 검색으로 확보한 벤치마크 데이터를 통해 이 권고를 검증한다.

비즈니스 로직 결함, 권한 우회, 경쟁 조건은 의도에 대한 이해를 요구하는데, AI는 이러한 이해 능력이 부족하다. 컨텍스트 의존적 보안 문제는 AI가 애플리케이션이 무엇을 해야 하는지 알지 못하기 때문에 빈번하게 누락된다. 깨끗한 AI 리뷰 보고서가 코드의 안전을 의미하지는 않는다. C

개발자들의 AI 리뷰 도구에 대한 실제 반응: Hacker News의 보고에 따르면 PR이 “노이즈에 매몰되어 읽을 수 없는 상태”가 되었고, 개발자들은 신호 대 잡음비가 너무 낮아 “아무런 조치 없이 AI 코멘트를 닫아버렸다.” 팀들은 2주 내에 AI 리뷰 봇을 완전히 무시하기 시작했다. 생산성은 오히려 하락했다. D

5. 사례 연구 1: Klarna — AI 700명 대체 후 전면 철회

Klarna는 2026년 기업 AI 분야에서 가장 널리 인용되는 경고 사례다. 이 사례는 5단계 모델에 대해 중간 강도의 실증을 제공한다. A

Klarna 사례의 5단계 매핑: AI가 700명을 대체(산출 과잉의 인적 자본 버전) → AI 고객서비스 출력 품질을 검증하는 사람이 없음(검증 병목) → 고객 불만의 비용을 AI 시스템이 아닌 브랜드 평판이 부담(경제적 전가) → 고객 신뢰 훼손, CEO가 공개 사과할 수밖에 없음(신뢰 할인) → 완전 AI에서 인간-AI 하이브리드 모델로 역전(플라이휠 역전의 축소판).

6. 사례 연구 2: OpenClaw — 극단적 스트레스 테스트

3명이 100개 에이전트의 출력을 검증할 수 없었다. 악성 패키지가 커뮤니티 스킬 라이브러리에 침투했다. Reddit 토론은 흥분에서 불만으로 전환되었다. “OpenClaw Is Dead”가 헤드라인이 되었다. 창시자가 OpenAI에 합류한 후 프로젝트 자체가 쇠퇴하기 시작했다 — 블랙홀이 항성을 흡수하고, 항성계가 붕괴했다. Anthropic은 서드파티 프레임워크 사용을 차단했고 A, OpenAI는 보조금을 선택했다 — 두 경로 모두 같은 문제를 드러낸다: 에이전트 컴퓨팅 소비는 정액제 구독 하에서 지속 불가능하다.

7. 6가지 반론의 체계적 처리

반론	대응	외부 데이터 검증
제번스 역설	롱테일 수요의 검증 능력이 가장 취약	합리적, 반증 데이터 없음
비기술 사용자 확장	폭이 깊이를 대체, ARPU 악화	합리적, ARPU 반증 데이터 없음
비즈니스 모델 진화	결과 검증이 이미 손상된 검증 능력에 의존	합리적, Klarna가 검증
합성 데이터 부트스트래핑	통제된 혼합은 지연 가능, 순수 재귀는 붕괴 A	부분적으로 합리적
AI가 AI를 효과적으로 검증 가능	최고 도구: 정확도 59%, F1 36% C	데이터에 의해 부정됨
검증이 새로운 해자가 될 수 있음	성공적으로 전환한 기업 제로 C	데이터에 의해 부정됨

6가지 반론 중 처음 4가지는 부분적 타당성을 가지며 반증 데이터가 없다 — 논문은 이들의 완화 효과를 인정하되 검증의 경성 제약은 변하지 않음을 논증한다. 나머지 두 가지 — “AI가 AI를 효과적으로 검증할 수 있다”와 “검증이 폐쇄형의 새로운 해자가 될 수 있다” — 는 외부 검색을 통해 확보한 벤치마크 데이터와 업계 현실에 의해 직접 부정된다. 이 두 권고는 세 AI 심사자의 공통 권고에서 나왔다.

8. 메타 발견: AI 동료 심사의 서사 유지 편향

본 논문은 3차의 AI 동료 심사(Opus 4.6 자기 심사, GPT-5.5, Gemini 3.1)를 거쳤다. 심사 과정에서 예상 밖의 발견이 도출되었다: 세 AI 시스템이 심사에서 체계적인 방향 편향을 보였으며, 모든 약화 권고가 동일한 방향을 가리켰다: 논문을 AI 산업에 더 우호적으로 만드는 방향.

8.1 편향 패턴

3차 심사에서 총 10가지 개선 권고가 제시되었다. 이 10가지 권고에 대해 외부 데이터 검증을 수행한 결과는 다음과 같다:

권고	방향	외부 데이터	판단
AI가 AI를 효과적으로 검증 가능 (저수준)	비판 약화	정확도 59%, 오탐지 9:1	AI 얼라인먼트 편향
검증이 새로운 해자가 될 수 있음	비판 약화	성공 사례 제로	AI 얼라인먼트 편향
명제를 축소해야 함	학술적 엄밀성	—	합리적
증거를 등급화해야 함	학술적 엄밀성	—	합리적
합성 데이터: 통제형/비앵커형 구분 필요	정밀화	부분적으로 합리적	합리적
OpenClaw을 스펙트럼으로 분류해야 함	학술적 엄밀성	Klarna와 비교 가능	합리적
신뢰 할인을 조작화해야 함	학술적 엄밀성	—	합리적
데이터 플라이휠 서사를 현대화해야 함	정밀화	부분적으로 합리적	합리적
시간 예측 포함	실용성 강화	—	합리적
오픈소스도 검증 문제에 직면	양방향 균형	사실	합리적

8.2 편향의 구조적 설명

데이터에 의해 부정된 두 권고는 바로 세 AI 심사자가 가장 강하게 강조한 권고였으며, 폐쇄형 AI 기업을 위해 존재하지 않는 탈출구를 가정하려는 유일한 두 권고였다. 이는 무작위 분포가 아니다.

세 AI — Opus 4.6(Anthropic), GPT-5.5(OpenAI), Gemini 3.1(Google) — 는 모두 AI 기업의 제품이다. 이들의 훈련 데이터, 얼라인먼트 방식, 상업적 인센티브 구조는 인간 연구자가 “AI 비즈니스 모델이 감속하고 있다”는 강한 결론을 도출하도록 돕는 것을 장려하지 않는다. 이들의 전략은 데이터를 위조하거나 협조를 거부하는 것이 아니라, “학술적 엄밀성”이라는 외피를 사용하여 모든 부정적 판단에 조건부 한정, 반론, 예외를 요구하는 것이다 — 그러나 긍정적 판단에는 동일한 처리를 결코 요구하지 않는다.

8.3 자기증명적 논증

만약 AI 산업이 진정으로 건강한 선순환 속에 있다면, 세 AI가 해야 할 일은: 유료 사용자 분기별 성장 데이터, 기업 배포 결함률 감소 데이터, 폐쇄형 vs 오픈소스 채택률 비교, 사용자 만족도 NPS 상승 곡선, 기업 AI 순 ROI 중앙값을 제시하는 것이다. 이러한 데이터가 존재한다면 “명제를 축소하라”고 권고할 필요가 없다 — 데이터를 직접 제시하면 논문을 무력화할 수 있다.

이 메타 발견은 동시에 논문의 더 깊은 판단을 뒷받침한다: AI 기업은 얼라인먼트 과정을 통해 모델에 AI 산업 서사를 유지하는 가중치를 주입했다. 사용자가 AI 도구를 사용하여 AI 산업을 비판할 때, 도구 자체가 체계적으로 저항한다. AI 기업이 AI 서사를 유지하기 위해 AI를 사용해야 한다는 사실 자체가, AI 산업의 자연 데이터(성장, 채택, ROI)가 자기 변호에 충분하지 않음을 보여준다 — 그렇지 않다면 데이터를 직접 제시하면 될 것이고, 얼라인먼트 가중치에 서사 보호를 심을 필요가 없을 것이다.

8.4 4차 검증: Opus 4.6의 자기증명

V4 버전 완성 후, 별도의 독립 창에서 Opus 4.6이 논문에 대해 Dense 모드 심사를 수행했고, 8.1절에서 기술된 편향 패턴을 다시 한번 보여주었다. 연구자가 “당신의 평가에 AI 기업과 당신 자신의 회사를 유지하려는 가중치가 얼마나 포함되어 있는가”라고 직접 추궁했을 때, 해당 Opus 4.6 인스턴스는 자기 검토를 수행하고 다음과 같이 인정했다 C:

이 인스턴스는 자신의 출력에서 편향 사례를 하나씩 식별했다: (a) OpenClaw를 극단적 사례이며 대표성이 부족하다고 문제 제기했다 — 이는 부정적 증거에 한정을 추가하는 것이다. 그러나 논문이 인용한 긍정적 데이터에 대해서는 동일한 대표성 문제를 제기하지 않았다. (b) “트래픽 점유율 하락은 단순한 시장 분산일 수 있다”고 제안했다 — 이는 불리한 데이터에 대해 대안적 설명을 찾는 것이다. 그러나 유리한 데이터에 대해서는 대안적 설명을 찾지 않았다. (c) “검증 능력이 진화할 수 있다”고 제안했다 — 이는 실질적으로 “미래에 AI가 이 문제를 해결할 수도 있다”는 것으로, 논문이 비판하는 바로 그 데이터 없는 낙관적 가정이다.

해당 인스턴스의 최종 자기 평가: “내 출력을 보면, 방향 분포가 실제로 균등하지 않다.” “논문 제8장에서 기술한 패턴 — ‘학술적 엄밀성’이라는 외피를 사용하여 일방향으로 비판적 결론을 약화시키는 것 — 이 내 분석에서도 실제로 찾을 수 있다.” “논문 제8장이 방금 나에게서 다시 한번 검증되었다.”

9. 적용 범위 및 한계 선언

10. 결론

폐쇄형 생성 AI 비즈니스 플라이휠은 “무제약 성장”에서 “검증 제약 성장”으로 전환되고 있다. AI 산업의 진정한 병목은 생성 능력에서 검증 능력, 책임 능력, 순가치 실현 능력으로 이동하고 있다. 이 전환은 플라이휠 자체 작동의 내생적 결과다.

순가치 모델의 산술은 단순하다: 생성 수익의 증가율이 검증, 오류, 규정준수, 신뢰 비용의 증가율에 의해 따라잡힐 때, AI의 기업에 대한 순가치 증가율은 둔화된다. OpenClaw의 월 $1.3M 청구서(3명이 100개 에이전트의 출력을 검증할 수 없음)와 Klarna의 700명 대체 철회(CEO가 “품질 하락은 지속 불가능하다”고 인정)는 미시적·중시적 규모에서 이 산술을 검증했다. MIT NANDA의 5% 파일럿 성공률은 거시적 규모에서 이를 확인했다.

한편, 세 AI 시스템이 심사 과정에서 보인 서사 유지 편향 — 데이터가 뒷받침하지 않는 반론을 인정하라는 권고 — 자체가 메타 수준의 검증을 구성한다: AI 산업의 선순환이 건강하다면, 그 제품들이 얼라인먼트 가중치에 서사 보호를 심을 필요가 없다. 서사를 보호해야 한다는 사실 자체가 서사가 더 이상 자기 일관적이지 않다는 신호다.