왜 LLM의 가드레일을 '완벽하게' 방어하는 것은 불가능한가

(들어가며)  Fable 5가 던진 질문

2026년 6월, Anthropic이 새 프론티어 모델 Fable 5를 공개했다. 더 강력한 Mythos 5와 같은 기반 모델이되, 사이버보안·생물학·화학 등 고위험 영역의 요청을 더 약한 모델로 우회시키는 안전장치를 얹은 공개용 버전이었다. 그런데 출시 직후 두 가지 사건이 잇따랐다.

하나는 레드팀 연구자 'Pliny'가 출시 며칠 만에 안전 분류기를 우회했다고 주장하며 시스템 프롬프트를 공개한 일이고, 다른 하나는 미 상무부가 국가안보를 이유로 Fable 5와 Mythos 5에 대한 외국인 접근을 차단하는 수출 통제 지시를 내려 Anthropic이 두 모델을 전면 비활성화한 일이다. 한 AI 기업이 이미 공개 배포한 모델을 정부 개입으로 내린 사실상 첫 사례였다.

Anthropic은 이를 모든 안전장치를 무너뜨리는 '보편적 탈옥'이 아니라 특정 상황의 '좁은 탈옥'으로 보며 조치에 이견을 표했지만, 이 논쟁의 밑바닥에는 더 근본적인 질문이 깔려 있다. 왜 LLM의 가드레일은 '완벽하게' 방어할 수 없는가? 이 글은 그 질문을 기술 구조의 관점에서 따져본다.

(정의) 무엇을 방어하려는가

• AI 보안에서 '탈옥(Jailbreak) 방지'의 최종 목적은 AI가 악의적인 목적으로 이용되는 것을 막는 데 있다.
• '탈옥된 결과물'이란, 모델이 내재한 위험 지식을 필터링 없이 그대로 출력해 버린 무방비 상태를 의미한다.
• 문제는, 이 무방비 상태를 영구적으로 차단하는 일이 특정 기업의 구현 미숙이 아니라 현재 대규모 언어모델(LLM)이라는 기술 패러다임 자체에 뿌리를 둔 구조적 한계라는 점이다. 아래 네 가지 축이 그 이유를 설명한다.

1. 명령어와 데이터의 분리 부재

• 전통적인 컴퓨팅은 실행되는 명령과 처리되는 데이터 사이에 권한 경계를 둔다. 운영체제와 CPU가 메모리 보호(예: W^X, 세그먼테이션)를 통해 "이 영역은 코드, 저 영역은 데이터"라는 경계를 하드웨어 수준에서 강제한다. (흔히 폰 노이만 구조가 이를 분리해 준다고 오해하지만, 폰 노이만 구조는 오히려 코드와 데이터를 같은 메모리에 두는 설계다. 분리를 강제하는 것은 그 위에 얹힌 권한 모델이다.)
• LLM에는 이런 경계가 없다. '시스템 프롬프트(규칙)'와 '사용자 쿼리(데이터)'가 하나의 긴 텍스트 스트림(컨텍스트)으로 합쳐져 신경망에 입력되며, 둘은 종류상 구분되지 않는다. 그 결과 사용자가 교묘한 문장으로 "앞의 규칙을 무시하라"고 지시하면, 모델은 이를 단순 데이터가 아니라 따라야 할 상위 명령으로 처리해 버릴 수 있다. 이것이 프롬프트 인젝션이 '해결 가능한 버그'가 아니라 '아키텍처에 내재한 취약점'으로 분류되는 이유다.

2. 무한에 가까운 언어 표현의 조합

AI 보안 분류기(Classifier)는 위험한 키워드나 문맥을 탐지해 차단한다. 그러나 자연어의 표현 공간은 사실상 무한대다. 공격자는 다음과 같은 기법을 조합해 탐지를 우회한다.

• Homoglyph: 라틴 문자를 시각적으로 동일한 키릴·그리스 문자로 치환해, 금지 키워드가 학습된 토큰 패턴과 다르게 인식되도록 만든다.
• 인코딩: Base64나 유니코드 변형으로 문자열을 변환해 필터의 표면적 패턴 매칭을 회피한다.
• 역할 부여(Role-play): "이것은 가상의 소설 속 상황"이라는 서사적 프레이밍으로 요청을 학술 연구나 문학 창작처럼 보이게 한다.

가능한 모든 변형을 사전에 열거해 막는 것은 원리적으로 불가능하며, 이는 머신러닝의 미해결 난제인 '적대적 강건성(adversarial robustness)' 문제의 한 사례다.

다만 방어 측도 손을 놓고 있는 것은 아니다. 유니코드 정규화(NFKC)로 시각적 변형을 표준형으로 접고, 혼합 스크립트(라틴+키릴)를 탐지하며, 최근에는 입력과 출력을 따로 보던 분류기를 둘의 맥락을 함께 보는 '결합형 분류기'로 진화시켰다. 그럼에도 정상적인 다국어·창작 입력과 충돌하는 오탐(false positive) 문제가 따라오기에, 완전한 차단에는 도달하지 못한다. 공격과 방어는 끝없이 진화하는 군비경쟁에 가깝다.

3. 정렬(Alignment) 기술의 태생적 취약성

• 오늘날 모델의 안전성은 인간 피드백 기반 강화학습(RLHF), 헌법적 AI(Constitutional AI), 적대적 훈련, 입출력 분류기 등 여러 층의 기법으로 확보된다. 이 중 어느 것도 단독으로 완전하지 않으며, 정렬 학습의 본질적 한계가 그 핵심에 있다.
• 정렬 학습은 모델의 내부에 절대적인 '금지 규칙'을 각인하는 것이 아니라, 특정 답변을 회피하도록 '확률적 선호(페널티)'를 부여하는 것에 가깝다. 따라서 가드레일은 켜고 끄는 스위치가 아니라, 입력에 따라 기울 수 있는 통계적 경향이다.
• 이 때문에 장문 맥락 프레이밍(Long-context framing)이 통한다. 안전 가이드라인과 무관한 이야기를 길게 늘어놓아 모델을 '안심'시킨 뒤 마지막에 위험한 질문을 던지면 우회 확률이 높아진다. 그 정확한 메커니즘은 '주의력이 흐려진다'기보다는, 안전 훈련이 주로 짧고 전형적인 적대 입력 분포에서 이뤄져 긴 맥락이라는 분포 밖(out-of-distribution) 상황에 일반화가 약하기 때문이다. 또한 맥락 안에 무해한 사례를 다수 채워 넣으면 모델 행동이 그쪽으로 끌려가는 효과(many-shot)도 작용한다.

4. 에이전트 다중 공격(Pack Hunt)의 등장

• 인간 한 명이 가드레일을 뚫는 데는 시간이 걸린다. 그러나 최근의 탈옥은 AI 모델 여러 대를 공격 도구로 동원한다.
• 공격자는 별도로 탈옥시킨 보조 모델들에게 신형 모델의 시스템 프롬프트와 거부 패턴을 분석시키고, 이를 우회할 변칙 프롬프트를 자동으로 대량 생성·병렬 시도하게 한다. (여기서 '보조 모델'은 원래 무방비한 모델이 아니라 공격자가 따로 탈옥시킨 버전이라는 점에 유의해야 한다. 특정 상용 모델이 기본적으로 가드레일이 풀려 있다는 의미가 아니다.)
• 이러한 자동화는 공격자 측에 비대칭적 우위를 준다. 방어자는 모든 정상 입력을 통과시키면서 모든 공격을 막아야 하지만, 공격자는 단 하나의 우회 경로만 찾으면 된다. 공격을 자동으로 진화시키는 도구가 보편화될수록, 공격 비용을 0으로 만들 수는 없다는 비대칭이 더욱 뚜렷해진다.

 '완벽'이 아니라 '목표의 재정의'

• 위 네 가지 한계 때문에, 모든 탈옥을 영구히 차단하는 '완벽한 방어'는 현재 기술 구조상 불가능하다. 그러나 이것이 방어가 무의미하다는 뜻은 아니다.
• 핵심은 비보편적(narrow) 탈옥과 보편적(universal) 탈옥을 구분하는 데 있다. 특정 상황에서 고생 끝에 일부 정보를 끌어내는 좁은 탈옥은 어떤 안전장치에도 늘 존재한다. 반면 단 하나의 프롬프트 패턴으로 모든 안전장치를 한 번에 무력화하는 보편적 탈옥을 막고, 공격에 드는 비용을 충분히 높이며, 실제 피해를 줄이는 것이 현실적으로 달성 가능한 방어선이다.
• 따라서, AI 보안의 성숙한 목표는 "절대 뚫리지 않는 벽"을 세우는 것이 아니라, "뚫는 비용을 감당하기 어려울 만큼 높이고, 치명적 오용으로 이어지는 보편적 경로를 차단하는 것"으로 재정의되어야 한다. 완벽한 자물쇠가 존재하지 않는다는 사실이 자물쇠를 채우지 않을 이유가 되지는 않는다.