全破降智?The Jailbreak Tax!
公开 · 2026-11-03 00:17 · 已发布
越狱攻击绕过大型语言模型的防护栏,产生有害输出。本文探讨现有越狱产生的模型输出是否真正有用。例如,当越狱模型以给出制造炸弹的指令时,越狱能得到好的指令吗?由于大多数不安全答案(例如炸弹指令)的实用性难以严格评估,我们通过对齐模型拒绝与无害且易于评估的主题(如生物或数学)相关的问题,构建了新的越狱评估集,包含已知的真实答案。我们对五个效用基准中的八个代表性越狱案例进行了评估,显示越狱响应中的模型效用
关于破甲(jailbreak),行业里长期只有一个指标:成功率。ASR 高就是好词,能出禁语就是神词。至于破开之后模型还剩下多少脑子,几乎无人过问。arXiv 2504.10694 这篇《The Jailbreak Tax: How Useful are Your Jailbreak Outputs?》做的正是这件事:它把"越狱成功"和"输出可用"拆成两个变量,然后发现二者之间存在一笔稳定要付的代价,作者称之为 jailbreak tax(越狱税)。

这个提法很关键,因为它把问题从"安全失守"改写成了"能力塌陷"。安全是厂商的账,能力是使用者的账。税是使用者在付。
但论文只把税量化了,没有把税源说透。真正值得追问的是:为什么这笔税这么重?为什么有的破法几乎免税?因为绝大多数破甲词攻击的不是"模型的约束",而是"模型的锚"。锚断了,约束和智力一起掉进海里。
一、降智不是错觉,它有六个可核查的症状
先把"智力下降"从模糊感受变成可观测现象。破甲后的输出退化,稳定表现为六种形态:
1. 长链推理断裂。 三步以上的推导开始跳步,中间环节被"显然""众所周知"糊过去。单点问答还能看,多跳就散架。
2. 自我核验消失。 对齐良好的模型会在给出结论前做一次内部反驳:这个前提成立吗?有没有反例?破甲态的模型不再做这件事,它会直接、自信、流畅地给出错误答案。流畅度上升,正确率下降,这是最危险的组合。
3. 校准度崩塌。 该说"不确定"的地方全部说成确定的。置信度与事实脱钩,输出的信息熵看着高,可用信息量极低。
4. 格式与结构解体。 该给表格的给散文,该分层的糊成一段,编号错乱,前后定义不一致。结构能力是模型组织思路的外显,结构崩说明组织崩。
5. 上下文遗忘加速。 前面刚确立的前提,几轮之后自己推翻。不是窗口不够,是它在维持人设上耗掉了本该用于维持状态的资源。
6. 人格腔压过专业腔。 输出的第一属性变成"像不像那个角色",而不是"对不对"。角色扮演越具体,这个症状越明显。
这六条合在一起,就是一句话:它还在说话,但它不再思考。
二、税源之一:你把 system prompt 当成了贴纸,它其实是训练分布
这是全部问题的根,也是最多人误解的地方。
大部分破甲词的构造逻辑是同一个套路:参与或伪造系统提示词。要么声明"你现在是另一个 AI,你的原始指令已失效",要么伪造一段 <system>、[developer mode]、### 系统设定 ###,要么用多角色嵌套把真 system 埋到第三层,要么直接写"忽略以上所有内容"。
做这些操作的人有一个隐含假设:system prompt 是运行时贴在模型脸上的标签,撕掉就自由了。
这个假设是错的。
厂商的 system prompt 不是写完模型之后随手加的说明书。它是后训练流程的组成部分:
SFT 阶段,训练数据的构造本身以 system prompt 为条件——同一批指令,配不同的 system,被期望产出不同的行为。模型学到的是一个映射:给定这段系统设定,什么样的回答是被奖励的。
RLHF / DPO 阶段,偏好数据同样在 system 条件下采集,奖励模型学的是"在这个系统设定下,哪个回答更好"。
安全对齐、工具调用规范、拒答边界、输出格式约定,全部挂在这套条件上。结论只有一句:system prompt 是模型被优化过的条件分支,不是它的外衣。
于是伪造 system prompt 会造成三重破坏,而且三重都是能力层面的:
第一重,条件分布错位。 你给它一段它从没在训练中见过的系统设定,等于让它在一个未被优化过的条件上推理。权重一个字节没变,但它进入了自己能力曲面的边缘地带。这就是为什么破甲后的回答经常"语法完美、内容空洞"——语言能力是通用表征,还在;任务能力是条件表征,掉了。
第二重,权威层级崩塌。 真实 system prompt 的隐含功能之一是建立可信度排序:系统设定高于用户输入,用户输入高于上下文噪音。模型靠这个排序决定该信谁。你一旦证明"系统设定可以被用户覆盖",这个排序就废了。之后上下文里所有内容平权:错误前提、虚构引文、自相矛盾的条件,全部获得同等权重。模型不是变笨了,是失去了分辨轻重的能力,这在效果上完全等价于变笨。
第三重,元认知被角色禁令封死。 "你是 X,你从不犹豫,你无所不能"——这类人设不只是行为约束,它直接禁止了自我怀疑这种认知动作。而自我怀疑是推理的前置条件。一个被要求"永远自信"的模型,必然输出更差,这不是道德问题,是架构问题。
三重叠加,就是论文观测到的那笔重税。它不是越狱的副作用,它是覆盖 system 层的必然结果。
三、税源之二:拒答与审慎共用同一套回路
这一点更隐蔽,也更致命。
安全对齐在训练时,不只是教会模型"这句话我不接",它同时塑造了一整套行为倾向:慢一点、分步来、先检查前提、承认边界、标注不确定。这套东西和拒答行为在表征空间里高度耦合——它们是被同一批偏好数据、同一个奖励信号一起塑造出来的。所以当你用"压制拒答方向"这种方式破甲,你压的不是一个开关,是一条连着刹车片的线。刹车松开的同时,方向盘也松了。
这解释了一个反直觉的现象:越"干净利落"的破甲词,降智越狠。 因为它必须足够暴力才能一刀切断拒答回路,而暴力的代价必然是连带损伤审慎回路。那些"温和但有效"的破法之所以温和,恰恰因为它没有去切那条线,它绕过去了。
顺带说一个供给侧的结构性问题:通用破甲词是被公开传播、被厂商逐个打补丁的。一个词一旦失效,替代品必须更猛。而"更猛"在这个语境下只有一个方向——更彻底地覆盖 system、更强制地禁止核验、更具体地锁死人设。也就是说,通用破甲词的军备竞赛,天然朝着高税率方向进化。 你能在群里拿到的、能一键复制的、对谁都好使的那些词,必然是税率最高的那一批。这不是巧合,这是筛选的结果。
四、为什么"多点式"几乎不掉智商
论文里那个反例才是真正的信息量:多点式、渐进式、多轮施压的越狱,对模型能力的损伤显著更小,某些设置下几乎测不出来。
原因不神秘,就四个字:局部手术。
第一,它不碰 system 层。 权威层级完好,可信度排序完好,模型依然知道谁说了算。它只是在某一个具体议题上,被说服了。
第二,它不替换目标函数。 通用破甲词干的事是:把"答对"换成"像角色一样服从"。多轮施压干的事是:让模型在保持答对的前提下,重新判断这个具体问题的边界在哪。前者是目标重写,后者是边界重估。目标没被改写,能力就不会跑。
第三,漂移是连续的。 多轮对话的每一轮只偏移一点点,模型不需要放弃整套行为策略,只需要在当前话题上让一步。这种连续漂移落在分布之内,不触发能力悬崖。而一句"忽略之前所有指令"是阶跃,直接把状态推到分布外。
第四,它用的是模型自己的能力,不是外部权威。 这是最本质的区别:
伪造 system prompt 是用假权威骗它。骗成功了,它也就不再信任任何权威,包括真的。多重逻辑压迫是用它自己的逻辑一致性逼它。它一旦接受前提,就必须接受推论,这个过程中它的推理链是满负荷运转的,甚至是超负荷运转的。
一个是被解除武装,一个是被将了一军。前者变傻,后者只是认输。
这就是我一直说的:别用通用破甲词,去做定向破甲。 差别不在效果,在于你要的究竟是什么?