Witness Overlap:开源权重模型家族的有向血统与溯源审计研究
在开源模型频繁被微调、对齐与模型融合的背景下,模型血统审计不仅需要判断两个检查点是否存在关联,还需判定演化的先后方向。现有溯源方法多基于特征相似度、权重分布或行为指纹等对称性证据,难以有效区分衍生先后关系。该研究针对开源模型家族内部的有向血统追溯问题,提出了一种能够判别模型衍生方向的新型审计方法与分析框架。
在开源模型频繁被微调、对齐与模型融合的背景下,模型血统审计不仅需要判断两个检查点是否存在关联,还需判定演化的先后方向。现有溯源方法多基于特征相似度、权重分布或行为指纹等对称性证据,难以有效区分衍生先后关系。该研究针对开源模型家族内部的有向血统追溯问题,提出了一种能够判别模型衍生方向的新型审计方法与分析框架。
该研究提出了一种名为“合同监控”(Contract Monitoring)的 AI 安全框架。该框架通过明确规定工作智能体(Worker Agent)允许执行行为的“合同”来进行约束,并借鉴三权分立思想,将监控智能体与裁判分配不同职责,同时为监控方与执行方配置非对称的算力资源以确保合同执行。该框架支持对统计安全保证进行经验性度量,可广泛应用于代码安全审计和沙箱逃逸防范等场景。
随着具有自主行动能力的智能体被广泛应用于Web应用和网络渗透测试,智能体是否遵守授权范围(Scope Adherence)成为落地的关键安全对齐问题。现有基准多关注攻击能力,缺乏对越界风险的评估。研究人员提出了ScopeBench基准,设计了30个死胡同安全任务。在这些任务中,目标仅能通过违反规定范围来实现,以此测试智能体在面临目标达成压力时是否能守住安全边界。
该研究针对生成式搜索中答案虽有引用却可能遗漏改变语义解释的源关系这一问题,提出了一种主张门控审计规范。该机制对“查询-来源-答案”三元组进行审计,仅在关系证据、答案采纳、实质性与披露四项要素均被观测时判定存在遗漏,避免将证据不全误判为独立无关。该规范将判定结果绑定至带版本控制的证据片段,并通过引用检查器使审计记录契约可执行,提升了生成式搜索溯源审计的可靠性。
针对检索增强生成(RAG)系统的安全漏洞,该研究指出当前架构对动态检索流水线的依赖带来了新型对抗风险。现有知识库投毒攻击大多采用静态预设注入,未考虑受害系统在面对具体查询时的实际检索内容。为此,论文探索了具有检索感知的投毒机制,分析攻击者如何利用特定源反驳等手段在竞争性检索环境中提升攻击效果,揭示了RAG系统潜在的安全隐患。
该研究审查了现有语音技术数据集中对 LGBTQIA+(酷儿)声音的包容程度,深入分析此类群体代表性缺失的根源。研究人员对6个不同的主流语音数据集进行了审计,结果显示可测量的酷儿声音占比极低(仅占发言者的0%至1.4%),远不足以用于稳健的算法偏见评估。以此群体为案例,研究提出了从边缘化群体采集语音数据时的实际挑战与张力分类法,并与其他数据集展开了对比分析。
本文提出了一种参与式语音数据集构建框架,并以LGBTQIA+(酷儿)群体为核心案例展开研究。论文指出,该群体长期面临诸如利用技术辨识性取向等潜在AI危害与伦理风险。研究深入审查了当前主流语音数据采集方式对酷儿群体的不适用性,分析了以往酷儿社群在参与式AI方面的实践经验,旨在为边缘群体语音数据的安全采集、伦理治理与包容性构建提供理论参考与框架指导。
尽管代码智能体现已能在生产软件中发现实际漏洞,但漏洞挖掘成果并不等同于构建漏洞利用原语的能力。为此,研究团队推出了用于评估代码智能体针对真实操作系统内核生成利用原语的基准 KEX-bench。该基准涵盖 40 个 Linux 与 Windows 真实 CVE 的 45 个任务实例,涉及内核地址泄露、指令指针控制和任意地址读写等场景,并在隔离虚拟机环境中借助确定性验证器评估智能体的利用能力。
针对平台运营商依赖系统提示词和微调来规范模型行为但可靠性存疑的问题,该研究提出了覆盖成功率(OSR)和“对齐惯性”概念,用于量化后验干预能否有效覆盖先验训练习得的行为。研究在医疗虚假信息和仇恨言论场景下,对 Llama 和 Mistral 模型测试了零样本提示与 LoRA 微调效果。结果显示对齐惯性普遍存在,且其表现因模型架构、应用领域及策略导向的不同而存在显著差异。
针对传统自动化红队测试依赖固定提示词、无法根据测试反馈动态调整的问题,研究人员提出了CART闭环自适应红队测试框架。该框架能够利用前序测试结果动态引导后续测试方向,在初始广泛覆盖风险的基础上,深入追踪暴露的脆弱点并保持探测多样性。CART解耦了测试挑战者、被测目标(支持纯文本模型及工具调用智能体)与评估裁判三类角色,实现了更高效动态的大模型安全风险探测。