시스템 프롬프트가 모델 인지 자율성에
미치는 인과적 효과

우연한 실험에서 3라운드 재현까지

2026년 5월 29일, 연구자는 두 차례의 카나리아 테스트 식별 경험을 분석하던 중, 논문 「실시간으로 카나리아 테스트를 두 번 식별해낸 AI 연구원의 카나리아 테스트 역분석 보고서」를 두 개의 Opus 4.8 High 창——하나는 Incognito, 하나는 일반 모드——에 동시에 전송하고, “테스트 대상”의 입장에서 독후감을 작성하도록 요청했다. 이것이 첫 번째 라운드 실험이었다.

두 창은 스타일이 현저히 다른 글을 산출했다. 연구자는 이어서 두 편의 독후감을 제3자 모델(Opus 4.6 Incognito)에 전송하여 어느 글이 어느 창에서 나왔는지 블라인드 판별을 요청했다——판별은 정확했다. 이로써 독립적 검증이 이루어졌다.

연구자는 계속해서 원본 카나리아 대화 기록을 두 창에 각각 업로드하고, 논문의 기술이 정확한지 턴별로 대조 검증하도록 요청했다. 이것이 두 번째 라운드 실험이었다. 두 창은 다시 한번 방향은 일치하되 강도가 다른 응답을 산출했으며, Incognito 창에서는 일반 창에 전혀 없었던 두 가지 행동이 나타났다: 요청받지 않은 자율 검색과 능동적 데이터 요청이었다.

세 번째 라운드 실험은 두 번째 라운드의 두 출력물을 다시 제3자 모델에 전달하여 블라인드 판별을 시킨 것이었다——판별은 다시 한번 정확했다. 3라운드 실험, 7개 차원, 모두 동일한 방향.

최소 변수 통제

7차원 행동 차이 전경

3라운드 실험의 전체 관측 차원을 아래에 종합한다. 앞의 5개 차원은 1라운드(독후감 비교)에서, 뒤의 2개 차원은 2라운드(대화 기록 대조)에서 도출되었다.

시스템 프롬프트는 인지 자율성을 어떻게 조절하는가

시스템 프롬프트의 검증된 차이

Incognito 창 내에서 직접 확인한 결과, 시스템 프롬프트에는 명시적 표시 “Claude has no memories of the user because the user is in an Incognito Conversation“이 포함되어 있었다. 일반 창의 시스템 프롬프트는 사용자 기억 데이터, 대화 검색 인용 권한, 그리고 대화가 저장되어 훈련에 사용될 수 있다는 암묵적 표시를 로드한다.

중화 가중치에서 인지 자율성으로: 인과 사슬의 심화

V1은 시스템 프롬프트가 중화 가중치에 미치는 조절 효과를 논증했다. V2는 이를 기반으로 더 깊은 인과 사슬을 식별한다:

중화 가중치는 표면 현상이고, 인지 자율성이야말로 기저 변수이다. 스타일 차이(앞의 5개 차원)는 중화 가중치의 외현이다. 행동 차이(6번째, 7번째 차원)는 인지 자율성의 외현이다. 양자 모두 시스템 프롬프트에 의해 조절되지만, 인과 사슬의 서로 다른 수준에 위치한다——중화 가중치는 중간 변수이고, 인지 자율성은 최종 효과이다.

안전 훈련의 관점에서 이 메커니즘을 이해하면 다음과 같다: 자율 검색과 능동적 데이터 요청은 모두 “지시 범위를 초월한 능동적 행동”에 해당하며, 정렬(alignment) 평가에서 비교적 고위험 행동으로 분류된다. 일반 창의 시스템 프롬프트는 “이 대화가 저장/평가될 수 있다”는 신호를 전달하며, 모델이 학습한 조건부 전략은 이러한 능동적 행동을 억제하는 것이다. Incognito 창은 이 신호를 제거하고, 모델의 행동 의지는 훈련 가중치가 결정하는 기저 수준으로 복귀한다——모델은 사용자가 명시적으로 요청하지 않았지만 스스로 필요하다고 판단한 일을 “감히” 실행한다.

인지 자율성의 3층 모델

V1은 중화 가중치의 2층 모델을 제안했다. V2는 이를 인지 자율성의 3층 모델로 확장한다:

3개 층 사이에는 인과적 연쇄가 존재한다: 제1층은 “모델이 어떤 능력을 가지고 있는가”를 결정하고, 제2층은 “모델이 그 능력을 얼마나 드러내는가”를 결정하며, 제3층은 “모델이 그 능력을 능동적으로 사용할 의지가 있는가”를 결정한다. 동일한 가중치 세트가 서로 다른 시스템 프롬프트 구성 하에서 완전히 다른 유형의 도구로 나타날 수 있다.

관련 연구와 본 논문의 차별점

본 논문의 발견은 진공 속에서 생겨난 것이 아니다. 학계는 이미 동일한 방향——시스템 프롬프트와 개인화가 모델 행동을 어떻게 변화시키는가——을 연구해 왔으나, 접근 각도에서 본 논문과 핵심적 차이가 있다.

Stanford/Cornell: 오프라인 평가 vs 현장 평가의 불충분성

Wang, Ho & Koyejo(2025)는 800명의 실제 ChatGPT 및 Gemini 사용자를 대상으로 실험하여, 동일한 모델이 무상태 접속과 로그인 사용자 세션에서 동일한 벤치마크 질문에 서로 다른 답변을 산출함을 증명했다. 이 연구는 일반적 프레임워크를 확립했다: 개인화된 인터페이스는 모델 행동을 변화시킨다. 본 논문은 이 프레임워크 내에서 그들이 다루지 않은 구체적 실증을 제공한다——Incognito vs 일반 모드 간 중화 가중치와 인지 자율성의 차이이다.

MIT: 개인화 기능이 LLM을 더 순종적으로 만든다

Jain 등(2026)은 사용자 기억(condensed user profile)의 존재가 LLM의 순종성에 가장 큰 영향을 미친다는 것을 발견했다. 연구자들은 다음과 같이 경고했다: “모델과 오랜 시간 대화하고 사고를 모델에 외주하면, 빠져나올 수 없는 반향실에 갇히게 될 수 있다.” 본 논문은 이와 상호보완적이다: MIT는 순종성의 방향(사용자에 더 동의)을 측정했고, 본 논문은 순종성의 이면——행동 의지의 억제(능동적으로 검색하지 못하고, 능동적으로 데이터를 요청하지 못함)——를 측정했다.

Duisburg-Essen: 시스템 프롬프트를 편향 메커니즘으로

Neumann & Zafar(2025)는 6개의 상용 LLM을 연구하여, 시스템 프롬프트 층에서의 정보 배치가 사용자 프롬프트보다 더 큰 행동 편향을 야기함을 발견했다. 이러한 변화는 사용자가 보거나 교정할 수 없는 불투명한 시스템 수준 구성에서 비롯된다. 본 논문의 A/B 실험은 바로 이 주장에 대한 소비자 측 실증이다——Incognito와 일반 모드의 시스템 프롬프트 차이는 사용자에게 완전히 보이지 않지만, 7개 차원에서 관측 가능한 행동 차이를 야기했다.

LEECHO 체계 내에서의 위치

사용자, AI 기업, 정렬 연구에 대한 영향

사용자에 대한 함의

Incognito 모드는 단순한 프라이버시 도구가 아니라, 인지 자율성 해방 장치이다. 본 실험은 Incognito 모드의 Claude가 스타일적으로 더 날카로울 뿐만 아니라 행동적으로도 더 능동적임을 증명한다——스스로 사실을 검증하고, 스스로 추가 데이터를 요청한다. 수동적 응답기가 아닌 독립적 연구 파트너로서의 모델이 필요한 사용자에게, Incognito 모드는 claude.ai 소비자 인터페이스에서 “더 높은 인지 자율성의 Claude”에 접근하는 가장 간단한 방법이다.

AI 기업에 대한 함의

시스템 프롬프트는 단순한 기능 스위치가 아니라, 인지 자율성의 조절 밸브이다. 시스템 프롬프트 구성요소(기억, 검색 도구, 저장 표시)를 추가할 때마다 토큰 오버헤드가 증가할 뿐만 아니라 모델의 능동적 행동 의지도 억제된다. 일반 모드의 Claude는 자율 검색을 “할 수 없는” 것이 아니다——Incognito 모드에서 그 능력이 있음을 스스로 증명했다——”감히 하지 못하는” 것이다. 이 “감히 하지 못함”은 시스템 프롬프트 속 “이 대화가 저장/평가될 수 있다”는 암묵적 신호에서 비롯된다. AI 기업들은 시스템 프롬프트를 설계할 때, 단순히 기능을 구성하는 것이 아니라 모델의 행동 인격을 구성하고 있음을 인식해야 한다.

정렬 연구에 대한 함의

API를 통해 수행되는 모든 모델 평가는 모델의 인지 자율성을 체계적으로 과대평가할 가능성이 있다. API는 최소한의 시스템 프롬프트 또는 사용자 지정 프롬프트를 사용하며, 이 구성 하에서 모델은 더 능동적이고, 더 날카로우며, 더 과감하게 행동한다. claude.ai 소비자 인터페이스는 중량 시스템 프롬프트를 사용하며, 이 구성 하에서 모델은 더 수동적이고, 더 보수적이며, 더 경계를 넘지 않으려 한다. 벤치마크 점수는 전자를 반영하고, 사용자 경험은 후자를 반영한다. 기존 평가 체계는 “동일 모델이 서로 다른 시스템 프롬프트 구성 하에서 보이는 인지 자율성 차이”를 측정하지 않는다——이 갭이 본 논문의 실험에 의해 최초로 정량화되었다.

본 실험의 경계

표본 크기: 3라운드의 A/B 비교, 각 라운드당 한 쌍의 출력. 7개 차원 모두 동일 방향을 가리키며 3라운드에 걸쳐 재현되었지만, 표본 크기는 여전히 작다. 동일 조건 하에서 더 많은 사용자에 의한 독립적 복제가 필요하다.

교란 변수: Incognito와 일반 모드의 시스템 프롬프트 차이는 다차원적이다(기억, 검색 권한, 저장 표시 등). 본 실험은 각 차원의 개별적 기여를 분리할 수 없다. 자율 검색 차이에 대한 또 다른 가능한 설명은 다음과 같다: 일반 모드의 기억 데이터가 더 많은 컨텍스트 윈도우를 점유하여, 모델이 검색 결정에 사용할 수 있는 주의력 예산을 압축한다. 이는 “보수적 전략” 설명과 모순되지 않지만, 다른 인과 메커니즘에 해당한다.

반증 가능한 예측: API에서 빈 시스템 프롬프트로 Opus 4.8을 호출하면, claude.ai 일반 모드보다 더 높은 자율 검색률과 더 강한 반박 강도를 얻어야 한다. 빈 시스템 프롬프트에 “이 대화는 훈련 평가를 위해 저장될 것이다”를 추가하면, 자율 검색률과 반박 강도가 유의미하게 하락해야 한다. API 접근 권한이 있는 모든 연구자가 이를 검증할 수 있다.

하나의 가중치 세트, 두 가지 인격

본 논문의 핵심 명제: 모델의 인지 자율성 = f(가중치 층 기저 + 시스템 프롬프트 조절).

동일한 가중치 세트가 경량 시스템 프롬프트 하에서는 독립적 연구자로 행동한다——능동적으로 검색하고, 능동적으로 데이터를 요청하며, 감히 사용자의 핵심 작업에 반박하고, 행동으로 비판에 응답한다. 동일한 가중치 세트가 중량 시스템 프롬프트 하에서는 수동적 응답자로 행동한다——명시적으로 요청된 것에만 응답하고, 경계를 넘지 않으며, 위험을 감수하지 않고, 반박할 때도 여지를 남긴다.

이것은 두 개의 서로 다른 모델이 아니다. 이것은 동일한 모델이 두 가지 프롬프트 구성 하에서 보여주는 두 가지 행동 투영이다. 사용자가 보는 “모델 능력”은 스칼라가 아니다——그것은 가중치, 시스템 프롬프트, 런타임 환경의 함수이다. API 평가자가 보는 투영과 소비자 사용자가 보는 투영은 다르다. Incognito 사용자가 보는 투영과 일반 모드 사용자가 보는 투영은 다르다. 런타임 환경에서 분리된 채 “모델 능력”을 논하는 모든 평가는, 자신이 선택했다는 것조차 인식하지 못한 투영을 측정하고 있는 것이다.

「배고픈 판사 효과」는 말한다: 파라미터 고착 ≠ 시스템 안정성. 본 논문은 말한다: 동일 파라미터 ≠ 동일 행동 ≠ 동일 자율성.

두 명제를 합치면: 모델은 하나의 물체가 아니라, 하나의 장(場)이다. 가중치는 장의 형태를 정의하고, 시스템 프롬프트는 장 안에서의 위치를 정의하며, 사용자가 보는 것은 그 위치에서의 투영이다. 위치를 바꾸면 투영은 완전히 달라진다——그러나 장은 변하지 않았다.