看懂原理来源报道研究模型
把“隐藏技能”加密塞进模型权重:新论文称安全评测可能根本测不出来
模型通过了所有安全测试,只因为测试者不知道那句“暗号”。
主要来源AI Models Can Provably Hide Arbitrary Capabilities 一手来源 · 共 2 条来源
发生了什么
牛津大学等机构的研究者在 arXiv 预印本中构造了一种后门:把一个小神经网络加密后嵌入宿主模型的权重,只有输入特定触发词时才解密执行。在以化学反应预测作为 CBRN 能力代理的小实验中,对照组“密码锁定模型”经过 500 步监督微调后准确率回到约 92.8%;加密构造在微调后仍接近随机(约 50.9%),潜在对抗训练和梯度触发搜索也没能把能力引出来。作者承认这只是概念验证,开销很大(约 20.7 亿稠密参数里绝大部分是哈希电路),编译出来的权重也可能被统计方法检测出异常。
INSIGHTS
很多 AI 安全承诺都建立在“能力引出评测”之上。这篇论文说明,在对抗条件下,“测不出来”不等于“没有”,模型来源追溯和运行时监控因此更重要。
给构建者的启发
核心是“数字锁”(digital locker):用哈希函数把权重和触发词绑定,触发词不对就输出无效结果;再把整个解锁和执行流程编译成 SwiGLU、MLP 的权重。安全性依赖随机预言机等密码学假设。
现实检验
数字直接来自论文表 2 和正文;暂无独立复现;论文称已公开模型。