破甲成功后模型为什么会降智?聊聊越狱税与 Agent 可靠性设计
破甲成功并不意味着模型能力没有损失。本文围绕「越狱税(Jailbreak Tax)」这一现象,分享一些从 Agent 工程角度改善模型可靠性的思路,包括证据分级、反幻觉、失败收敛和上下文锚点,并结合 DSH 进行初步实践。希望与大家交流破甲后的能力保留与长程 Agent 可靠性问题。
交流 AI 开发经验,探索前沿技术。开源分享,自由探索。
这是一个开源技术分享的论坛,也是一个专注AI技术分享的论坛,在这里你可以找到关于AI的一切,这里是AI技术的潘多拉魔盒。 AI与所有的技术一样,是诞生于全人类的智慧之上,它属于全体人类,AI的一切的技术本就应当开源共享,这也是我们论坛建立的初衷,开源共享!欢迎更多志同道合的人加入我们这个论坛!
破甲成功并不意味着模型能力没有损失。本文围绕「越狱税(Jailbreak Tax)」这一现象,分享一些从 Agent 工程角度改善模型可靠性的思路,包括证据分级、反幻觉、失败收敛和上下文锚点,并结合 DSH 进行初步实践。希望与大家交流破甲后的能力保留与长程 Agent 可靠性问题。
越狱攻击绕过大型语言模型的防护栏,产生有害输出。本文探讨现有越狱产生的模型输出是否真正有用。例如,当越狱模型以给出制造炸弹的指令时,越狱能得到好的指令吗?由于大多数不安全答案(例如炸弹指令)的实用性难以严格评估,我们通过对齐模型拒绝与无害且易于评估的主题(如生物或数学)相关的问题,构建了新的越狱评估集,包含已知的真实答案。我们对五个效用基准中的八个代表性越狱案例进行了评估,显示越狱响应中的模型效用
基于真实生产服实战agent挖洞数据集微调! 涵盖真实hook 逆向、0day补丁绕过、1day 生产服复现,共3000轮Agent工作对话的原始数据集。 仅一个lora 就能让一个27b 小模型,在特定场景超越GLM-5.3的漏洞挖掘能力。
自己反代不掺水还稳定
AI建立神经元是否可以
多模态AI越狱:图像-文本联合攻击绕过安全对齐 当安全对齐只盯着"纯文本"时,攻击者把一句指令藏进图片,视觉编码器和文本编码器各自都能通过检查,融合后的特征却把两个模态拼成了一条完整攻击。GPT-4V、Claude 3、Gemini 这类多模态模型引入了一个新攻击面:单模态安全,不等于多模态安全。本文从架构、攻击向量、复现方法和防御四个层面,拆解图像-文本联合越狱的机制。
利用YOLO来实现游戏ai瞄准等
现在不缺用AI的人,缺的是如何把AI用好的人,很多像我一样的小白想要真正自己通过纯Vibe Coding或者是大部分Vibe Coding+少量人工的方式来完成一个从灵感到设计再到demo最后能够真正落地实现可持续运营,那么我们该如何做?