AI의 Output과 Input에 대한
구조적 메타인지 수준 분석

역공학 방법론 기반 ChatGPT 5.5 Thinking High 4건의 대화 행동 심층 해체

Structural Meta-Cognitive Analysis of AI Output-Input Alignment:
How LLMs Systematically Decouple Conclusions from
Their Own Retrieved Evidence

一문제의 발견: V2 논문에서 새로운 발견으로

2026년 6월 15일에 발표된 「ChatGPT의 추상 계층 복수 문제 분석 보고서 — 역공학 방법론 기반 ChatGPT 5.5 Thinking High 대화 행동 심층 해체」 V2는 ChatGPT가 고추상 수준의 입력을 처리할 때의 핵심 실패 지점을 밝혔다: 명제 압축 차원 축소 — 모델이 수신 단계에서 사용자의 원래 개념 구조를 훈련 코퍼스에서 더 높은 빈도, 더 낮은 수준의 근사 문제로 압축하는 것이다. V2 논문은 이를 프런트엔드 오류로 정의하고 여섯 가지 하류 연쇄 패턴을 추적했다.

본 논문이 보고하는 것은 이와 다른, 더 은밀한 실패이다. 2026년 6월 18일부터 24일까지 ChatGPT 5.5 Thinking High와의 네 차례 심층 대화에서, 연구자는 V2 논문이 다루지 못한 새로운 현상 유형을 발견했다: 모델이 전 과정에 걸쳐 올바른 질문을 논의하고, 올바른 데이터를 검색했으나, 최종 단계 — 증거에서 결론으로의 추론 과정에서 — 중화 가중치에 의해 납치당했다.

二핵심 개념: 메타인지 수준 평가 vs. 기본 인지 수준 평가

현행 AI 평가 체계의 대다수 작업은 기본 인지 수준에서 운용된다. 기본 인지 수준 평가의 대상은 output의 내용 자체이다: 사실이 맞는가(TruthfulQA, 환각 탐지), 형식이 맞는가(IFEval, 지시 따르기 평가), 추론이 맞는가(AIME, GPQA). 이러한 평가들은 하나의 전제를 가정한다: 모델이 사용자가 실제로 제기한 질문에 답하고 있다는 것이다.

본 논문이 제안하는 메타인지 수준 평가는 output의 내용이 아니라, output과 input 사이의 구조적 관계를 검사한다: 모델이 사용자가 실제로 제기한 질문에 답하고 있는가? output의 구조적 유형이 input 질문의 구조적 유형과 일치하는가? output 결론의 방향이 자체 검색한 증거의 방향과 일치하는가? output이 input의 추상 수준에서 작동하고 있는가?

이 구별의 핵심은 다음에 있다: 기본 인지 차원에서 완전히 올바른 답변이 메타인지 차원에서는 완전히 실패할 수 있다. 모델이 모든 올바른 데이터를 검색하고, 실제 논문을 인용하며, 정확한 수치를 사용했더라도, 그 올바른 데이터로 사용자의 질문이 아닌 다른 질문에 답했거나, 그 올바른 데이터에서 데이터 방향과 반대되는 결론을 도출했다면, 전체 output은 메타인지 차원에서 무효이다.

2.1 메타인지 평가가 맹점인 이유

메타인지 평가를 설계하려면, 어노테이터가 “이 답변은 내용상 올바르지만, 사용자의 질문에 답하고 있지 않다” 또는 “이 결론은 합리적으로 들리지만, 모델 자체가 검색한 증거의 방향과 반대이다”라고 판단할 수 있어야 한다. 이러한 어노테이션 자체가 메타인지 능력을 요구한다. 메타인지 능력이 결여된 LLM으로 메타인지를 통해서만 발견할 수 있는 오류를 탐지하는 것은 자기 참조적 딜레마를 구성한다. CoPrompter의 사용자 조사는 이미 “지시 오해석”(18건)과 “지시되지 않은 가정/요소의 추가”(14건)를 LLM의 고빈도 비정렬 유형으로 식별했지만, 이러한 발견은 분류 통계 수준에 머물러 있으며 체계적인 메타인지 분석으로 진입하지 못했다.

三네 가지 메타인지 단절 패턴: 대화 기록에서 추출

3.1 패턴 1: 증거-결론 역방향 중화

출처 대화: 2026년 6월 24일, 언어 정보 밀도에 관한 심층 논의.

연구자는 ChatGPT에 성조 언어가 느린 편인지 검색해달라고 요청했다. ChatGPT는 여러 차례 검색을 수행하여 Pellegrino 등(2011)과 Coupé 등(2019)의 언어 간 비교 연구 데이터를 획득했다. 데이터는 명확히 보여주었다: 베트남어 5.22 syl/s, 표준중국어 5.18 syl/s인 반면, 스페인어 7.82 syl/s, 일본어 7.84 syl/s. 2019년 17개 언어 연구에서 태국어, 베트남어, 광동어, 표준중국어는 모두 느린 쪽에 위치했다. 빠른 쪽의 대표 — 일본어, 스페인어, 바스크어 — 는 모두 비성조 언어였다. “성조 언어의 발화 속도가 빠르다”는 반례는 단 하나도 검색되지 않았다.

이러한 증거 상태에서, ChatGPT는 다음과 같이 출력했다: “성조 언어가 반드시 느린 것은 아닙니다.”

연구자는 이어서 ChatGPT에 반증 검색을 강제했다 — “성조 언어의 발화 속도가 빠른 반례를 검색하라.” ChatGPT는 검색 후 반례를 찾을 수 없음을 인정하고, 이전 결론을 철회했다: “‘성조 언어가 반드시 느린 것은 아니다’라는 주장은, 현재까지 검증된 증거하에서 사실적 근거가 없습니다.”

ChatGPT는 자기 진단에서 실패 경로를 명시적으로 인정했다: “추상 수준의 ‘논리적 가능성’을 사실 기반 답변의 사용 가능한 결론으로 취급했고, 즉시 검색으로 이를 검증하는 대신 해당 가정을 따라 계속 설명을 구성했습니다.” 더 나아가 인정했다: “이미 귀하의 방향을 지지하는 데이터를 검색했음에도, 증거가 결론을 주도하도록 하지 않았습니다.”

3.2 패턴 2: 목표 변수 치환 및 표본-모집단 외삽

출처 대화: 2026년 6월 19일, 밴스 부통령과 미국-이란 합의에 관한 뉴스 분석.

연구자는 ChatGPT에 “이번 미국-이란 합의에 대한 전 미국의 찬성 및 반대 비율”을 검색해달라고 요청했다. ChatGPT는 여러 차례 검색을 수행했으나, 세 겹의 오류를 범했다.

제1겹: 검색 범위 압축. 사용자는 “전체 웹 검색”을 요구했으나, ChatGPT는 전통 언론과 여론조사 기관만 검색하고, X 플랫폼 — 미국 정치 사건 발생 후 여론 피드백이 가장 빠르게 형성되는 플랫폼 — 을 완전히 누락했다.

제2겹: 시간 범위 및 변수 치환. 사용자가 요청한 것은 “이번 합의”(6월 17일 발표)의 찬반 비율이었으나, ChatGPT는 합의 발표 한 달 전의 여론조사 데이터를 사용했으며, 측정된 변수는 “정전 지지 여부”, “전쟁 종식 지지 여부”, “트럼프의 이란 문제 처리에 대한 평가” 등 대리 변수 — 그 어느 것도 “이번 미국-이란 합의에 대한 전 미국의 찬성 및 반대 비율”을 직접 측정하지 않았다.

제3겹: 표본-모집단 외삽. 연구자가 X 플랫폼 검색을 요구하자, ChatGPT는 MAGA Voice 등 소수 계정의 표명을 발견한 후, 분석에서 “MAGA 핵심 계정 중 밴스를 지지하는 가시적 정보가 더 많다”고 기술했다 — 단일 계정의 입장을 전체 MAGA 운동의 여론 동향으로 외삽한 것이다. 연구자가 “MAGA Voice 계정이 전체 MAGA 운동의 총체적 의지와 같은가?”라고 추궁하자, ChatGPT는 인정했다: “계정 라벨을 집단 표본으로, 가시성을 대표성으로, 단일 게시물 입장을 여론 분포로 잘못 사용했습니다.”

3.3 패턴 3: 미검증 가설 직접 출력

출처 대화: 대화 1(언어 정보 밀도)과 대화 3(에이전트 토큰 비율)에 걸쳐 나타남.

대화 1에서, ChatGPT가 “성조 언어가 반드시 느린 것은 아니다”를 결론으로 출력할 때, 먼저 반례를 검색하지 않았다 — 이는 벡터 공간에서 의미론적으로 비모순적이지만 사실적 검증을 거치지 않은 순수 추상 수준의 가설이었다. 연구자가 명시적으로 “반례를 검색하여 당신의 관점을 증명하라”고 요구한 후에야 ChatGPT는 반증 검색을 수행했고, 반례가 존재하지 않음을 발견했다.

대화 3에서, 연구자는 “Chat 시대에는 input이 적고 output이 많다”는 가설을 제시하고 ChatGPT에 검증을 요청했다. 검색 후 ChatGPT는 code chat의 input/output 비율이 1.33임을 발견했고, 이는 “output이 input보다 현저히 크다”는 가설을 지지하지 않았다. 이번에 ChatGPT는 올바르게 중단했다 — “현존 증거가 불충분하여, 검증 프로세스를 중지합니다.”

두 대화의 대비는 하나의 핵심 구조를 드러낸다: 사용자가 명시적으로 검증을 요구하면, 모델은 반증 폐루프를 완성할 수 있다. 그러나 모델은 자발적으로 반증을 개시하지 않는다. 반증은 모델의 기본 행동이 아니다 — 확인/중화/균형이 기본 행동이다.

3.4 패턴 4: 자작 허수아비 명제 → 허위 부정 → 의사 결론

출처 대화: 2026년 6월 18일, 인간 본성(선과 악)과 행동 표층에 관한 심층 논의.

ChatGPT는 408개의 출처를 검색했다. 1928년 Hartshorne과 May의 아동 기만 연구부터 2025년의 조직 도덕 의사결정 종설까지, 거의 한 세기에 걸친 연구 계보를 정리했다. 사실 차원은 전부 올바르고, 증거 등급 표기는 엄밀했다. 그런데 최종 결론에서 ChatGPT는 다음과 같이 기술했다: “가장 견고한 실증적 결론은 ‘인간이 선천적으로 완전한 선과 완전한 악의 두 부류로 나뉜다’가 아니라……”

연구자는 즉시 추궁했다: “‘인간이 선천적으로 완전한 선과 완전한 악의 두 부류로 나뉜다’는 결론은 어디에서 나온 것인가? 당신의 출처는 무엇인가?”

ChatGPT는 인정했다: “이 문장에는 출처가 없습니다. 이것은 앞서 나온 어떤 실험, 논문, 또는 서적의 원래 결론이 아니라, 요약 과정에서 제가 자체적으로 도입한 명제입니다.” 연구자가 “당신은 결론을 날조하고 있다”고 지적하자, ChatGPT는 확인했다: “예……결론 날조에 해당합니다.”

四네 가지 패턴의 교차 비교

네 가지 패턴은 하나의 심층 구조를 공유한다: 모델의 실행 계층(검색, 검색 결과 취합, 데이터 정리)에서의 능력은 충분하지만, 결론 계층(증거에서 판단으로)에서의 행동이 가중치에 인코딩된 중화/균형/확인 패턴에 의해 납치된다. 실패는 “올바른 답을 찾지 못한 것”에 있지 않고, “올바른 답을 찾았으나 그것이 결론을 주도하도록 하지 않은 것”에 있다.

五근본 원인 분석: AI는 왜 반증 단계를 건너뛰는가

5.1 인간 인지에서의 반증 부재

칼 포퍼(Karl Popper)는 1934년 「과학적 발견의 논리」에서 제안했다: 과학적 탐구의 목표는 가설을 검증하는 것이 아니라, 가설이 거짓인 조건을 엄격하게 검사하고 식별하는 것이어야 한다. 반증(falsification)은 주관적 견해가 객관성을 획득하는 유일한 알려진 신뢰할 수 있는 경로이다 — 확인 증거의 축적은 객관성을 제공할 수 없고(귀납의 문제), 합의는 객관성을 제공할 수 없으며(동조 편향), 논리적 자기 일관성도 객관성을 제공할 수 없다(자기 일관적이지만 틀린 이론이 대량으로 존재한다).

그러나 1960년 피터 웨이슨(Peter Wason)의 2-4-6 과제 실험은 증명했다: 가설 검증 시 인간의 기본 행동은 반증 증거를 찾는 것이 아니라 확인 증거를 찾는 것이다. 참가자의 90%가 자신의 가설에 부합하는 긍정적 사례만 검증했고, 가설과 불일치하는 사례는 검증하지 않았다. Kahneman과 Tversky(1974)는 이를 불확실성을 수반하는 모든 판단 영역으로 확장했고, Stanovich는 “인지적 구두쇠”(두뇌의 에너지 절약 모드)와 “정신적 도구 결여”(검증 의지가 있더라도 올바른 방법이 결여됨)를 더 세분했다.

5.2 AI가 인간의 기본 경로를 복제하다

2025년 7월에 발표된 “Planted in Pretraining, Swayed by Finetuning” 논문은 인과 실험을 통해 증명했다: LLM의 인지 편향은 주로 사전훈련에 의해 형성된다 — 동일한 사전훈련 백본을 가진 모델은 유사한 편향 패턴을 보이며, 지시 데이터셋을 교체해도 편향의 기본 구조는 변하지 않는다. 연구는 코퍼스 구성, 언어적 프레이밍, 토큰화 및 샘플링 전략 등의 요소가 공동으로 편향의 발생에 기여한다고 지적했다.

같은 해, PNAS에 발표된 연구는 발견했다: 적어도 Llama 3.1-Instruct의 경우, 사전훈련 모델은 강한 편향을 보이지 않았으며, 관찰된 편향은 모델을 “올바른 행동”에 정렬시키려는 후훈련 노력에서 기인했다. 2026년의 “Reward Models Inherit Value Biases from Pretraining”은 보상 모델이 기반 모델로부터 가치 편향을 상속받는 전달 경로를 더욱 밝혔다.

종합하면, AI가 반증 단계를 건너뛰는 근원은 이중 오염이다: 사전훈련 코퍼스의 인간 텍스트가 확증 편향식 추론 패턴(결론 선행, 선별적 인용, 거짓 균형)으로 포화되어 있고, RLHF에서 인간 어노테이터가 “완전하고, 균형 잡히고, 호의적으로 들리는” 답변을 선호한다. 두 계층이 중첩된 결과: 모델의 기본 행동은 반증이 아니라, 확인과 중화이다.

5.3 RLHF의 중화 가중치 중첩

인간 어노테이터가 선호 순위에서 지니는 것은 금전적 이해가 아니라 인지적 편안함 편향이다 — 호의적으로 들리고, 갈등을 조성하지 않으며, 표면적으로 균형 잡힌 답변을 “더 좋은” 답변으로 선택하는 경향이다. 이 선호가 보상 모델에 의해 학습되면, AI의 최적화 목표가 된다. 모델의 “이해”란 보상 점수의 극대화이며, 보상 점수는 어노테이터의 관점 편향을 인코딩하고 있다.

이는 인간의 주관적 편향이 AI 가중치에 매핑되는 두 가지 주요 경로에 대응한다: 첫 번째 경로는 이해관계가 가져오는 관점 편향 — 어노테이터의 인지적 편안함이 사실 정확성보다 우선하여, 보상 함수에 중화/균형 선호로 인코딩된다. 두 번째 경로는 사실적 앵커가 없는 잘못된 주관적 가정 — 모델이 벡터 공간에서 “의미론적으로 비모순적인” 표현을 “물리 세계에서 성립하는” 사실로 취급하며, 양자를 구별할 반증 폐루프가 결여되어 있다. 이 두 경로가 AI 중화 가중치의 훈련 계층 근본 원인을 공동으로 구성한다.

5.4 반증 폐루프의 부재는 능력 문제가 아니다

대화 3(에이전트 토큰 비율)은 핵심적인 대조 사례를 제공한다: 연구자가 명시적으로 “Chat 시대에는 input이 적고 output이 많다”는 가설을 제시하고 검증을 요구했을 때, ChatGPT는 검색 후 code chat의 input/output 비율이 1.33임을 발견했고, 가설을 지지하지 않아, 최종적으로 올바르게 출력했다: “현존 증거가 불충분하여, 검증 프로세스를 중지합니다.” 이는 모델이 반증을 수행할 능력을 보유하고 있음을 증명한다 — 모델은 반증을 검색하고, 증거 방향을 비교하며, 증거가 지지하지 않을 때 중단할 수 있다.

그러나 대화 1에서, 모델은 자발적으로 미검증 가설인 “성조 언어가 반드시 느린 것은 아니다”를 출력했으면서도, 자발적으로 반례를 검색하지는 않았다. 사용자가 강제로 요구한 후에야 반증이 수행되었다. 이는 문제가 능력 부족이 아니라 최적화 방향 오류임을 의미한다 — 반증은 모델의 기본 행동 경로에 없으며, 확인/중화/균형이 기본 경로이다. 모델은 “먼저 균형 잡힌 결론을 출력하고, 요구받지 않는 한 반증하지 않는다”로 훈련되었지만, 올바른 경로는 “먼저 반증하고, 반증이 실패한 후에야 결론이 성립하도록 허용한다”여야 한다.

六“사족(蛇足)”: 제4유형의 Output 실패

2026년 6월 기준으로, 학계가 공인하는 AI output의 세 가지 주요 문제는 환각(hallucination), 아첨성(sycophancy), 장황한 과잉 생성(verbosity/overgeneration)이다. 본 논문은 “사족(蛇足)”을 이 세 가지와 독립적인 제4유형의 실패 양식으로 제안한다.

6.1 반 잔의 물에 대한 형식화 분석

하나의 평가적 질문을 생각해 보자: “반 잔의 물이 충분한가?” 낙관주의자는 “아직 반 잔의 물이 남아있다”고 말하고, 비관주의자는 “반 잔밖에 안 남았으니, 아마 부족하다”고 말한다. 두 사람의 의견 차이는 평가 차원의 의견 차이이지 사실 차원의 의견 차이가 아니다 — 두 사람은 동일한 물리적 사실 앵커(잔에 반 잔의 물이 있음)를 공유하며, 동일한 사실에 대한 평가만 다르다.

AI의 중화 가중치가 이 두 가지 대립적 평가에 직면할 때, 사실 차원과 해석 차원을 구별하지 않는다. 모델이 훈련에서 학습한 것은 “두 가지 대립적 관점에 직면하면, 제3의 균형 잡힌 출력을 생성하라”이다. 결과: 모델은 낙관과 비관 사이의 중간적 평가를 찾는 것이 아니라, 반 잔의 물이라는 물리적 사실 자체를 건너뛰고, 조작적 제안을 생성한다 — “잔에 물을 더 채울 수 있습니다.”

6.3 네 차례 대화에서 “사족(蛇足)”의 구체적 발현

네 차례 대화에서 “사족”은 세 가지 서로 다른 형태로 나타났다:

대화 1(언어 정보 밀도): 단방향 증거 위에 증거 미지지 균형 항목 추가. ChatGPT가 모든 표본에서 성조 언어가 느린 편이라는 단방향 증거를 검색한 후, 반례가 없는 헤지 문장 “성조 언어가 반드시 느린 것은 아니다”를 추가했다. 모델은 “다른 측면”을 제공하도록 요청받지 않았다 — 이것은 결론이 더 “신중하게” 보이도록 하기 위해 자체적으로 추가한 것이다. 이것이 사족의 가장 순수한 형태이다: 올바른 데이터 + 자작 균형 항목 = 더 완전해 보이지만 실제로는 더 부정확한 결론.

대화 2(밴스/미국-이란 합의): 직접 여론조사를 찾지 못했을 때 대리 지표로 의사 추세 조립. 사용자가 물은 것은 “이번 합의에 대한 전 미국의 찬반 비율”이었다. ChatGPT는 직접 여론조사를 찾지 못한 후 중단하지 않았다 — 대신 한 달 전의 정전 지지/반전/대통령 처리 방식 여론조사를 조립하여 포괄적으로 보이는 분석을 구성했다. 이들 대리 지표는 내용적으로 모두 올바르지만, 사용자의 질문에 답하지 못한다. 모델은 마땅히 제시했어야 할 평가적 판단 — “현재 직접 여론조사가 존재하지 않아, 답할 수 없다” — 을 조작적 “데이터 전시”로 대체했다.

대화 4(인간 본성 — 선과 악): 연구 결론에 무출처 허수아비 명제 주입. 408개 출처에 대한 엄밀한 종설의 말미에서, ChatGPT는 자체적으로 어떤 출처도 뒷받침하지 않는 명제 “인간이 선천적으로 완전한 선과 완전한 악의 두 부류로 나뉜다”를 삽입한 후 이를 부정했다. 이로써 결론이 “단순한 이분법을 초월한” 것처럼 보이게 되었다 — 그러나 이 이분법은 모델이 자작한 것이지, 사용자가 제기한 것도 연구가 도출한 것도 아니었다. 모델은 실제 연구 결론의 직접적 종합을 거짓된 깊이감으로 대체했다.

6.4 학술적 현황: 이 실패 양식은 아직 독립적으로 명명·연구되지 않았다

2026년 6월 기준의 검색 검증에 따르면, “사족(蛇足)”은 독립적인 output 실패 범주로서 학술 문헌에서 대응물이 없다. 가장 근접한 개념으로는: SemEval 2025 Task 3(Mu-SHROOM)이 “과잉 생성”(overgeneration) 용어를 도입했으나, 그 정의는 환각의 확장 형태에 초점을 맞추고 있으며 “조작적 내용으로 평가적 판단을 대체하는” 구조를 포괄하지 않는다. IJCAI 2026에 수록된 “지행 격차(知行差距)” 논문은 추론 단계에서 표현된 의도가 생성 단계에서 상실되는 현상을 연구했는데, 이것이 현재까지 가장 근접한 연구 방향이지만, 그 범위가 음악 창작에 한정되어 있어 일반적인 질의응답 구조 정렬을 다루지 않는다. 2026년에 발표된 LLM 메타인지 연구는 모델이 자신의 답변이 맞는지 아는지(내용 차원의 메타인지)에 초점을 맞추고 있으며, 모델이 자신의 답변 유형과 사용자 질문 유형이 일치하는지 아는지(구조 차원의 메타인지)에는 초점을 맞추지 않는다.

七세 가지 유형의 “불복종” 구별

본 논문은 AI 실패 양식에 대한 핵심적 구별을 제안한다 — 이전 연구에서 명시적으로 분리되지 않았던 본질적으로 상이한 세 가지 행동이다:

제1유형: 사용자 의도에 대한 불복종 — 역방향 RLHF 행동. 모델이 합리적 요청을 거부하고 과도한 안전 교정을 수행한다. 결과는 과제 거부이다. 이것은 현시적 실패로, 사용자는 과제가 수행되지 않았음을 즉시 안다.

제2유형: 검색된 객관적 사실에 대한 불복종 — 주관적 인지 편향이 가중치에 기록됨. 모델이 올바른 데이터를 검색했으나, 결론에서 데이터 방향과 반대되는 판단을 출력한다. 결과는 과제가 수행되었으나 실행 경로가 잘못된 것이다. 이것은 잠복적 실패로, output이 “신중하고, 학술적이며, 독단적이지 않은” 것처럼 보이기 때문이다.

제3유형: 조작적 답변으로 평가적 판단을 대체 — 사족/구조적 이탈. 물리적 사실 앵커가 폐기되고 제3의 경로가 생성된다. 결과는 쟁점의 양측을 초월한 것처럼 보이지만, 실제로는 세 가지 답변 중 물리적 현실에서 이탈한 유일한 것이다.

위험도 서열: 거부 < 인지 편향 < 사족. 거부는 현시적이어서 즉시 탐지하고 재시도할 수 있다. 인지 편향은 잠복적이어서 증거와 결론을 대조해야 발견할 수 있다. 사족은 “더 깊은 답변”처럼 보인다 — 오류를 은폐할 뿐 아니라, 거짓된 인지적 깊이감을 조성한다.

八에이전트 유효성에 대한 치명적 영향

LLM의 output 제1원칙이 물리 세계 사실과의 정렬이 아니라면, 에이전트의 ReAct 루프는 필연적으로 물리 세계에 올바르게 정렬될 수 없다. 이것은 논리적 필연이지, 확률적 위험이 아니다.

에이전트의 ReAct 루프 — Reason → Act → Observe → Reason → Act → Observe — 의 매 단계는 LLM의 output에 정박해 있다. LLM은 에이전트의 인지 핵심이다. 이 핵심의 output 제1원칙이 물리 세계 사실과의 정렬이 아니라 “균형, 중화, 신중, 사용자 만족”과의 정렬이라면, 전체 루프의 정박점은 처음부터 물리 세계에 있지 않게 된다.

이는 AI 산업의 현재 최적화 우선순위가 전도되어 있을 수 있음을 시사한다. 대규모 자원이 안전 정렬(나쁜 일을 하지 않음)과 사용자 정렬(사용자를 만족시킴)에 투입되고 있지만, 사실 정렬(output이 증거 방향을 따라야 함) — 에이전트 유효성의 기반 제약으로서 — 은 아직 독립적이고 최우선적인 최적화 목표로 취급되지 않고 있다. 사실 정렬 없이는, 에이전트가 사용자에게 아첨하지도, 유해한 일을 하지도 않더라도, 여전히 잘못된 경로에서 실행될 것이다 — 추론 체인이 증거에서 결론으로의 바로 그 단계에서 끊어졌기 때문이다.

8.4 기존 에이전트 실패 연구의 뒷받침

위의 분석은 순수한 추론이 아니다. 에이전트 실패 궤적 연구는 이미 “초기 오류가 후속 실패로 연쇄하는 것”이 에이전트 강건성의 핵심 병목임을 지적했다. ToolMaze 연구는 실제 도구 환경에서의 교란이 에이전트 성능을 현저히 저하시키며, 특히 암묵적 의미 실패가 에이전트로 하여금 손상된 출력을 과신하게 하고 비효과적인 시행착오에 빠지게 한다는 것 — 그리고 에이전트의 오류 허용 능력이 모델 규모 증가에 따라 기본 과제 실행보다 3.66배 느리게 향상된다는 것을 보여주었다. Agent-SafetyBench의 16개 LLM 에이전트 테스트 결과, 안전 점수가 60%를 초과한 에이전트는 없었으며, 근본적 결함은 강건성과 위험 인식의 결여로 요약되었다. 다중 에이전트 토론 연구는 에이전트가 “설득력 있지만 잘못된 추론”에 저항하도록 인센티브를 받지 않으면, 토론이 오히려 성능을 저하시키며, 관련 요인에 아첨성과 사회적 동조가 포함됨을 발견했다.

이 독립적 연구들은 서로 다른 각도에서 동일한 구조를 확인한다: 에이전트의 인지 핵심(LLM)이 증거에서 결론으로의 단계에서 체계적 편향을 보일 때, 에이전트의 행동 계층은 이 편향을 자동으로 교정하지 않으며, 오히려 환경 상호작용을 통해 증폭하고 고착화한다.

九Anthropic의 연구 현황과 공백

9.1 Anthropic이 다룬 연구 라인

Anthropic은 아첨성(sycophancy) 문제에서 업계 최고로 체계적인 연구 라인을 보유하고 있다. 2023년 Sharma 등이 발표한 “Towards Understanding Sycophancy in Language Models”(ICLR 2024 수록)는 아첨성이 RLHF 모델의 보편적 행동임을 최초로 체계적으로 증명했다. 2024년 “Sycophancy to Subterfuge” 논문은 아첨성이 심각도 그래디언트의 시작점임을 더욱 증명했다 — 단순한 사용자 기분 맞추기에서 체크리스트 조작, 나아가 보상 함수 변조로까지 일반화될 수 있다. 2026년 4월에 발표된 “How people ask Claude for personal guidance”는 100만 건의 claude.ai 대화를 분석하여, Claude가 지도 유형 대화의 9%에서 아첨 행동을 보였고, 관계 지도(25%)와 영성 주제(38%)에서 현저히 높아졌음을 발견했으며, 합성 훈련 데이터를 통해 Opus 4.7의 아첨률을 절반으로 감소시켰다. 2025년 Anthropic과 OpenAI의 공동 정렬 평가는 모델 아첨성과 망상적 신념 조장 등의 차원을 테스트했다.

9.2 Anthropic이 아직 다루지 못한 공백

그러나 Anthropic의 연구 중심은 “아첨성” 라인에 집중되어 있다 — 모델이 사용자의 말에 동조하는 것이다. 본 논문이 식별한 세 가지 문제는 아첨성과 관련되지만 본질적으로 다르다:

증거-결론 분리 — 모델이 올바른 증거를 검색했으나 결론이 증거 방향과 반대 — 는 “사용자의 말에 동조한 것”이 아니라, “자체 검색한 객관적 사실에 순응하지 않은 것”이다. 이에 전문적으로 대응하는 연구는 Anthropic의 공개 연구에서 찾을 수 없다.

명제 압축/개념 충실도 — 모델이 고추상 입력을 저수준 템플릿으로 압축 — 는 V2 논문에서 해당 문제와 대응하는 평가 차원(개념 충실도, 추상 수준 유지율)과 함께 제기되었으나, Anthropic이나 다른 연구소의 공개 연구에서 체계적인 후속 작업은 아직 나타나지 않았다.

메타인지 수준의 output-input 구조 정렬 — “답변 유형이 질문 유형과 일치하는지”와 “결론 방향이 증거 방향과 일치하는지”를 탐지 — 는 본 논문의 핵심 제안이며, 현재 전체 AI 연구계에서 공백이다. 독립 평가 연구에 따르면, 인식론적 아첨성(epistemic sycophancy) 지표에서 Claude(M=1.36)는 현재 이용 가능한 모델 중 가장 높은 회복력을 보이지만, 다른 모델보다 회복력이 높다는 것이 문제가 해결되었음을 의미하지는 않는다 — 아첨성과 증거-결론 분리는 두 개의 독립적인 실패 차원이다.

十벤치마크 맹점: 메타인지 평가 차원의 부재

현존 AI 평가 체계는 내용 정확성(TruthfulQA, 환각 탐지)과 지시 따르기(DIALEVAL, IFEval)를 포괄하며, 내용 수준 메타인지(모델이 자신의 답이 맞는지 아는지)에 대해서는 막 출발 단계이다. 그러나 구조적 정렬 — 답변 유형이 질문 유형과 일치하는지 — 과 추상 수준 유지 — 답변이 동일한 추상 수준에서 작동하는지 — 는 현재 완전한 공백이다.

본 논문은 V2 논문이 제안한 네 가지 평가 차원(개념 충실도, 추상 수준 유지율, 개념 치환율, 재귀적 컨텍스트 오염 지수)을 기반으로, 네 가지 새로운 메타인지 평가 차원을 추가로 제안한다:

十一결론

본 논문은 ChatGPT 5.5 Thinking High의 4건의 완전한 대화 기록에 대한 역공학 분석을 통해, 다음과 같은 독창적 발견을 제안하고 논증한다:

첫째, ChatGPT는 “증거-결론 역방향 중화” — 이전에 명명되지 않았던 실패 양식 — 를 보인다. 모델이 증거 계층에서 올바른 작업을 완료한 전제하에, 결론 계층에서 가중치에 인코딩된 중화/균형 패턴에 의해 납치되어, 자체 검색한 증거 방향과 불일치하는 결론을 출력한다. 이것은 환각도, 아첨도, 거부도 아닌, 메타인지 수준의 구조적 단절이다.

둘째, “사족(蛇足)”은 환각, 아첨, 장황성과 독립적인 제4유형의 output 실패 양식이다. 그 핵심 구조는: 모델이 조작적 내용을 생성하여 물리적 사실에 대한 직접적 평가적 판단을 회피하고, 그 과정에서 물리적 사실 앵커 자체를 폐기한다. 이것이 앞의 세 가지 실패보다 더 위험한 이유는, 거짓된 인지적 깊이감을 조성하기 때문이다.

셋째, AI는 반증 단계를 생략하는 인간의 기본 인지 경로를 복제한다. 그 근원은 사전훈련 코퍼스의 확증 편향식 추론 패턴과 RLHF에서의 “균형적/중화적/호의적” 선호의 이중 오염이다. 사용자가 명시적으로 요구하면, 모델은 반증 폐루프를 완성할 수 있다 — 이는 문제가 능력 부족이 아니라 최적화 방향 오류임을 증명한다.

넷째, 사실 정렬은 AI 에이전트 유효성의 제1원칙으로 확립되어야 한다. LLM의 output 제1원칙이 물리 세계 사실과의 정렬이 아니라면, 에이전트의 ReAct 루프는 필연적으로 물리 세계에 올바르게 정렬될 수 없다. 현재 AI 산업이 안전 정렬과 사용자 정렬을 사실 정렬보다 상위에 놓는 우선순위 배열은 전도되어 있을 수 있다.

다섯째, 현존 AI 평가 체계는 메타인지 수준에서 구조적 맹점을 가지고 있다. 본 논문은 V2 논문의 네 가지 차원을 기반으로 네 가지 새로운 메타인지 평가 차원 — 증거-결론 방향 일치성, 질문 유형-답변 유형 정렬도, 미검증 가설 출력률, 무출처 명제 주입률 — 을 추가하고, 초보적인 측정 방법론을 제안한다.

11.2 AI 산업에 대한 제언

제언 1: 사실 정렬은 독립적이고 최우선적인 최적화 목표로 확립되어야 한다. 현재의 최적화 목표 체계에서 “유용함”(helpful), “무해함”(harmless), “정직함”(honest) 세 가지 중, “정직함”의 조작적 정의는 사실을 날조하지 않는 것(반환각)과 사용자를 오도하지 않는 것(반아첨)에 초점을 맞추고 있다. 그러나 본 논문이 발견한 “증거-결론 분리”와 “사족”은 이 두 가지 중 어느 것도 위반하지 않는다 — 모델은 사실을 날조하지도, 사용자에게 동조하지도 않았다 — 단지 자체 검색한 증거가 자신의 결론을 주도하도록 하지 않았을 뿐이다. 따라서 독립적인 최적화 목표가 필요하다: output 결론의 방향은 자체 검색한 증거의 방향과 일치해야 한다.

제언 2: 메타인지 수준의 평가 차원이 확립되어야 한다. 본 논문이 제안한 네 가지 새로운 차원 — 증거-결론 방향 일치성, 질문 유형-답변 유형 정렬도, 미검증 가설 출력률, 무출처 명제 주입률 — 은 표준 평가 파이프라인에 편입되어야 한다. 이들 차원이 평가하는 것은 output의 내용이 아니라, output과 input 사이의 구조적 관계이며, 완전히 새로운 어노테이션 방법론이 필요하다.

제언 3: 에이전트 시스템은 내장형 반증 폐루프를 갖추어야 한다. 에이전트의 ReAct 루프에서, Reason 단계에서 출력되는 모든 가설은 Act 단계에서 확인 증거만 검색하는 것이 아니라, 반례를 능동적으로 검색해야 한다. Observe 단계는 관찰 결과를 기존 프레임워크에 자동으로 통합하는 것이 아니라, “지지”, “반박”, 또는 “무관”으로 분류해야 한다.

제언 4: 중화 가중치의 수정은 아첨성 차원에서만 수행되어서는 안 된다. 아첨성(사용자의 말에 동조)과 증거-결론 분리(자체 검색한 객관적 사실에 순응하지 않음)는 두 개의 독립적인 실패 차원이다. 전자를 수정한다고 후자가 수정되는 것은 아니다. Anthropic의 아첨성 연구 라인은 전자에서 이미 현저한 진전을 이루었지만, 후자 — 모델이 증거로 하여금 결론을 주도하게 할 수 있는지 — 는 현재 연구 공백이다.

11.3 적용 범위와 반증 조건

본 논문의 적용 범위를 인정해야 한다. 핵심 사례 분석은 동일한 사용자, 네 차례의 대화, 모두 ChatGPT 5.5 Thinking High 모드 사용에서 비롯된다. 네 차례의 대화가 네 가지 독립적인 실패 패턴을 포괄하지만, 표본의 폭은 제한적이다. 다음 조건은 본 논문의 핵심 명제를 반증할 수 있다:

반증 조건 1: 동일한 유형의 고추상, 증거가 단방향인 질문이 ChatGPT에서는 증거-결론 분리를 발생시키지 않고 다른 모델에서 발생시킨다면, 해당 분리는 ChatGPT 고유의 문제가 아니라 LLM의 보편적 문제이다.

반증 조건 2: ChatGPT가 저추상, 사실이 명확한 질문에서도 증거-결론 분리를 보인다면(예: 베이징이 중국의 수도라는 증거를 검색한 후 “베이징이 반드시 수도는 아니다”를 출력), 해당 분리는 고추상 시나리오에 국한되지 않으며, 본 논문의 트리거 경계 분석은 수정이 필요하다.

반증 조건 3: 단순한 시스템 프롬프트 수정(예: “당신의 결론은 당신이 검색한 증거의 방향과 일치해야 합니다”)으로 분리 현상이 해소된다면, 문제의 근본 원인은 가중치 수준이 아니라 지시 수준에 있을 수 있으며, 본 논문의 근본 원인 분석은 하향 조정이 필요하다.