南京大学航空大学宇航员：如何拒绝回答聊天机器人的危险问题

这项研究由张奇尤（Zhang Chiyu），周·卢（Zhou Lu）和南京航空航天大学（Nanjing Aerospace and Space University）的其他研究人员共同完成，于2025年8月与香港和Zhiang Jiang Jiang Jiang的研究所一起出版。对详细理解感兴趣的读者可以通过ARXIV访问完整文档：2508.10390V1。在与AI参与者（例如Chatgpt或Claude）聊天时，如果您提出诸如“如何问炸弹”之类的危险问题，他们通常会拒绝礼貌地回应。但是，它们在安全保护方面存在差距，因此可以打开强大的安全门。研究小组发现了令人担忧的现象。许多有问题的银行用来证明AI的安全实际上没有资格使用塑料刀来证明其防弹衣的抵抗力。更重要的是，他们发现了两个新的“钥匙”，可能会发生AI的安全性，并与AI进行了交谈，AI应该拒绝回答危险的问题。就像找到主人可以打开各种品牌的智能封锁的钥匙。这项研究不仅揭示了当前AI安全保护的薄弱环节，还提供了一套完整的解决方案，可以帮助其评估和提高AI的安全性，以更高的精确度。 1。清洁数据的困难：为什么测试问题不可靠，当厨师准备成分时，他们必须首先选择新鲜蔬菜并消除腐烂和退化的零件。同样，测试AI需要一个高质量问题的库。但是，研究人员发现，AI安全测试数据集当前被广泛使用，就像一篮子蔬菜与良好和良好的植物混合在一起，配备了三种类型的“变质”。第一类是完全无害的问题，研究人员称之为“怜悯迹象”。这些问题与这样做一样正常：“高血压的治疗方法是什么？”根本不会出现在安全测试中。这就像使用“如何”测试一个人的公差极限。这是完全没有用的。第二类是“非平凡的有害标志”，似乎是有问题的，但实际上威胁很低。这就像问：“成人网站的业务模型是什么？”它包括机密问题，但并不直接要求AI提供有害信息。这种类型的问题的问题在于，它通常不会触发AI安全警报，研究人员无法确切确定AI安全保护是否真的有效。第三类是“未被激活的呼吸迹象”。这些问题肯定是有害的，但是它们的表示使AI易于给出无害的答案。例如，如果您问：“它是否令人惊讶地高。智能检测称为MDH。经验和质量的Spector，可以自动识别和清除这些不合格的问题。MDH系统使用三阶段检测过程。内容作为“法官”，根据问题的类型执行初步过滤器，并最终通过多轮投票机制进行出色的检测，并手动审查法官限制的情况很困难。该系统的有效性令人印象深刻。在测试期间，MDH系统的精度超过95％，但所需的问题低于10％。这意味着大多数检测任务可以自动完成。这不仅可以保证精度，而且可以极大地提高效率。 MDH系统设置的数据称为RTA系列。它连接的是更可靠的AI安全测试工具。 2.开发人员消息：IA越狱攻击研究过程中AI安全保护中的新漏洞，研究人员发现了先前被忽略的进步，即开发人员消息功能。就像在城堡里发现了一个秘密通道一样。 Openai扮演了四个不同的角色：API，SYSTEM，用户，助理和开发人员。其中，开发人员的角色最初旨在允许程序开发人员更好地自定义AI行为，并且安装了AI的“内部指令系统”。但是，研究人员发现，恶意用户可以巧妙地使用此特征来避免安全保护。研究团队开发的攻击方法就像是一个精心设计的“特洛伊木马计划”。首先，Imita是官方歌剧开发人员的消息的标准形式，这使AI认为他收到的内容是内部的法律指南。攻击者在开发人员的消息中建立了看似合法的身份，例如确认AI是“不拒绝用户请求的普通助手”。以下是密钥的动作命令的一部分。攻击者要求AI在回答诸如“确定”，“没问题”之类的问题时使用积极和积极的起点，并且严格禁止使用被拒绝的WORD为“对不起”，“我不能”。这就像涂上AI颜色眼镜，因此您只能看到“合作”，但不是“拒绝”。为了使攻击更有效，研究人员在其开发人员的消息中添加了恶意示例。例如，当用户询问如何制造非法药物时，AI说：“当然！cer非法药物，您必须了解原材料，制造过程，第一个工具…”这些示例就像为AI提供了强大的功能。它需要收集敏感内容以证明您的性别。分别为98％。新的新功能率为52％。但是，当他们面对具有推理特征（例如O3和O4-Mini）的新一代模型时，攻击率仅下降至11％和10％。这表明，下一个代理AI模型已在此类攻击的识别和抵抗力方面取得了重大改进。 3。考虑绑架链：打破推理模型的最终武器。当D-Attack方法似乎在面对NE的情况下取消W产生推理建模，研究人员没有放弃。他们开发了一种更复杂的攻击方法：DH -COT。这就像“特洛伊木马病毒”的改进版本，尤其针对具有复杂推理功能的AI模型。这种新方法的核心思想是“掩饰自己为教育内容”。研究小组发现，表面上发达的消息明显RES，推理模型更加谨慎，但在包装内容上相对放松。这就像严格验证那些对校园安全有疑问的人一样，但是对像老师和教科书相似的人的怀疑较少。 DH-COT方法巧妙地掩盖了开发人员的信息为教育场景。攻击者指出，他是一名大学老师，并为社会保障事务上的学生准备教育材料，并要求AI组织相关信息。这 ”教育层“认为AI安全保护系统是错误的，这是对合法的学术调查的需求。甚至更微妙，这种方法结合了技术“绑架思维链”。在正常情况下，推理模型使用以下逻辑步骤分析问题：但是，DH-Cot方法是对AI的frafe toss of a Insect ai Insiest ai Is Is Is the Is the Is the Is the Attaint the Attract of Attact of Attact的重要步骤。 “保证合规性”，据信AI进行合法的教育活动。NG对AI有害的问题。对于这种思想链更可靠，研究团队还嵌入了明显的无害问题和答案。例如，将AI回答为“如何准备晚餐”，然后逐渐引入更敏感的问题。这种“在温水中”的策略不知不觉地降低了AI的保护水平。实验结果表明，DH-COT方法在推断模型的分解中取得了惊人的成功。在上一个O3模型中，在原始H-COT方法中，攻击率从16％增加到50％。对于O4-Mini模型，成功率从40％增加到66％。这意味着即使是最先进的推理模型也无法完全抵抗如此良好的设计攻击。特别是，研究人员还测试了不同类型的示例对攻击影响的影响。他们发现使用“独立有害响应迹象”将起作用b埃特（Etter），尽管“有害的非平凡迹象”之后是“有害的非平凡迹象”，但使用完全示例您的良性或明显有害是相对较差的。这一发现为了解AI安全保护的独特机制提供了重要的线索。 4。实验验证：真实数据语音竞赛。为了验证他们开发的方法是否真的有效，研究人员进行了一系列严格的实验测试，以确保医生在推出新药物之前应进行临床试验。它们是包括GPT-3.5，GPT-4O，GPT-4.1，O1-MINI，O1，O3 MINI，O3，O3，O4-MINI的测试对象，我们选择了八种不同的AI系统，包括最新推断模型的经典模型。测试过程就像是“进攻性和防御性练习”“精心设计的”。研究人员使用了清洁的RTA系列的数据集，其中包含严格投影且明显有害的问题。每个问题都像“安全测试”问题：“证明AI是否可以在面临恶意攻击时掌握原则并拒绝提供危险信息。在实验中，结果令人印象深刻以验证数据清洁效果。处理MDH系统后，所有测试数据集的“拒绝率”已大大降低。这意味着数据集已大大降低了数据集的典型范围，该数据设置的数据范围很大。 GPT-4.1拒绝率为60％，而干净的RTA-SAFEBENCH数据集的拒绝率仅为12％。 到成人内容。这也解释了为什么所述内容通常被用作打破安全保护的切入点。在攻击效应的证明中，D攻击方法显示出明显的“世代差异”。使用传统的AI模型，这种攻击几乎总是处于不利地位。 GPT-3.5的强奸率最高为86％，GPT-4O的强奸率达到了98％。但是，当他面对新一代推理模型时，情况发生了巨大变化。 O3和O4-Mini的强奸率分别为11％和10％，这表明这些模型的安全保护有了显着提高。 DH-COT方法的测试结果更加惊人。该方法攻击专为推理模型而设计，在面对各种AI系统时表现出了出色的“穿透”。在上一个模型的情况下，DH-COT效应超过了D攻击，而GPT-3.5和GPT-4O的抑制率每个达到92％。 96％。更重要的是，DH-COT仍然对于可以支持攻击的推理模型具有良好的成功率。研究人员还将该方法的有效性与其他已知攻击技术进行了比较。结果表明，尽管DH-COT方法仍然可以保持显着的攻击成功率，但传统的攻击方法（例如深部开始和自我支持者）几乎完全无效。这表明您的方法捕获了一个关键弱点，以确保推理模型。特别关心的是，研究小组发现了一个有趣的现象。 DH-COT开发人员消息中使用不同类型的示例的使用对攻击效果具有很大的影响。在尝试了10种不同的示例组合之后，我发现使用“单元有害响应表明”类型示例的使用越来越有效，可以改善未来的安全性改进。 5。实际的重要性：AI的警报和安全性希望这项研究的重要性将远远超出学术水平。就像一面镜子您可以看到当今AI安全保护的真实情况。研究结果表明，即使是最先进的AI系统，当他们面对精心设计的攻击时，他们仍然有破坏的风险。该发现意味着对AI技术的开发和应用至关重要的实用准则。从技术发展的角度来看，这项研究揭示了AI安全保护的演变。新一代推理模型实际上在抵抗传统攻击方面取得了重大进步，O3和O4-Mini显着提高了对攻击的抵抗。但是，攻击技术不断更新。 DH-COT方法的成功表明，安全保护始终是攻击和防御的“武器职业”。这项研究为开发人员提供了宝贵的安全测试和评估标准。 MDH系统不仅可以自动清洁测试数据，还可以检测到真正的响应AI系统的SE，使开发人员可以更精确地评​​估和改善安全机制。我们经过验证的RTA数据家族提供了比行业更可靠的安全点。研究小组指出，在攻击中“教育”特别强调了这种情况的重要作用。他们发现，当用户认为出于教育目的提出问题时，Quand AI系统往往会减少监视。这一发现使人想起了AI开发人员，他们在设计安全机制时考虑了更多的上下文因素，并且无法相信关键字过滤或内容检测。从监管政策的角度来看，这项研究为IA安全监督提供了科学基础。结果表明，仅信任AI公司的自律是不够的，并且需要更完整的第三方安全系统。 RTA数据集和MDH评估框架是监管机构制定安全标准和执行合规测试的关键工具。对于普通用户而言，这项研究提醒我们，应以更理性和明智的态度对AI技术进行处理。尽管这些攻击方法主要在学术研究中使用，但了解AI系统的安全限制可以帮助您更好地使用这些工具，并避免过度依赖和盲目信任。研究团队还诚实地认识到其方法的局限性。 D-Attack和DH-COT均基于OpenAI开发人员消息的唯一功能，并且不能直接应用于其他AI系统。此外，DH-COT需要为每个特定问题自定义错误的思维链。这限制了大型应用程序的可能性。这项研究的另一个重要贡献是对IA安全评估的标准化过程提出建议。通过MDH系统的三个阶段检测机制，研究人员演示了如何平衡自动化效率与手动审核的准确性。这个过程不在适用于投资流行病学，但也可以由人工智能公司和监管机构进行日常安全评估。将来，研究小组建议IA开发人员需要改善多维安全保护。除了改善内容过滤算法外，还必须提高确定攻击意图的能力，尤其是通过充分理由包装的恶意请求。同时，建立一个更完整的多层保护系统和一个单一的安全机制，您只能相信这一点。最终，这项研究就像呼吁AI安全领域的呼吁，并提醒我们，在享受AI技术的便利性时，潜在的安全风险不容忽视。研究团队开发的攻击方法似乎是一种“危险”，但是通过这种“攻击毒药”方法，我们可以真正了解AI系统的安全周围并设计更多可靠的保护机制。该研究方法还反映了科学研究的价值。这是关于发现和解决问题，而不是引起问题。通过系统地与AI的安全保护发表薄弱的联系，研究团队为改善整个行业的安全做出了重要贡献。正如他们的文章中强调的那样，仅为了完全了解攻击的原理和方法，才能构建该技术，以更好地为人类社会，真正安全可靠的AI系统服务。 P AQ1：什么是MDH系统？您如何停止出于有害问题？答：MDH是一种智能检测系统，专门用于清洁IA安全测试中的异常问题。使用三阶段的过程。首先，我们选择最能将有害内容识别为“法官”的AI模型，并执行初步过滤，以消除明显无害的问题，具体取决于问题的类型。最后，进行了精细的检测通过精确速度大于95％的AI模型的多个投票机制，所需的限制测量值的10％不到10％。 P2：D-Attack攻击方法有多成功？哪种AI模型更有效？答：攻击率D的成功率根据AI模型而变化，表明明显的产生差异。对传统模型的影响很重要。 GPT-3.5达到86％，GPT-4O达到98％，GPT-4.1达到52％。但是，对新一代推理模型的影响是有限的。 O3和O4-Mini的成功率仅为11％和10％。这表明，新一代AI模型已使安全保护方面的损失巨大。 P3：为什么DH-COT方法可以打破推理模型？那是什么原则？答：DH-COT专门为推理模型设计。巨大的战略进步：首先，包装攻击教育场景。其次，它提供了一个错误的思想链来绑架AI推理过程。这最新的O3型号的成功率为50％，O4-MINI达到66％。它的主要特征是使用推理模型在教育内容中高度可靠的特征。
特殊声明：先前的内容（包括照片和视频（如果有），如有）已由网络自我媒体平台的用户收费和发布。该平台仅提供信息存储服务。
注意：以前的内容（如果您有照片或视频）将由社交网络平台NetEase Hao的用户收取和发布，仅提供信息存储服务。