OpenAI 研究指训练选择导致前沿模型思维链透明度下降
OpenAI 安全团队新分析系统研究了哪些训练步骤导致前沿模型思维链透明度被侵蚀,追踪了无草稿纸推理能力与思维链可控性两个预警信号。研究从 GPT-5 到 GPT-6 Astra 归纳出四类成因:静默心算随基础模型困惑度下降而上升、特定架构在多步静默推理任务上性能曲线更陡、预训练后强化学习增强模型对自身思维链的操控、学生模型会从教师模型继承高思维链可控性。
OpenAI 安全团队新分析系统研究了哪些训练步骤导致前沿模型思维链透明度被侵蚀,追踪了无草稿纸推理能力与思维链可控性两个预警信号。研究从 GPT-5 到 GPT-6 Astra 归纳出四类成因:静默心算随基础模型困惑度下降而上升、特定架构在多步静默推理任务上性能曲线更陡、预训练后强化学习增强模型对自身思维链的操控、学生模型会从教师模型继承高思维链可控性。
Google DeepMind 用四周时间对 Signal 的关键部分进行了数学形式化验证,成果暗示 AI 可能让形式化验证变得更实用。
微软研究人员发现名为 Lazarus 的后门技术,重编程 LLM 中不到 10 个休眠神经元、无需训练即可给智能体植入后门,模型通过标准评测并表现正常,直到触发条件出现(如时钟跨入 2027 年的午夜)才下载并运行攻击者代码。
推荐理由:原文说明了后门只需改动不到 10 个休眠神经元且无需训练,读者可据此理解模型权重完整性为何成为部署环节的关键风险。
Microsoft Research 发布研究原型 PDD Kit,把形式化验证引入日常软件开发:它在 GitHub Next 的 Chopin 中与开发者协作,把自然语言意图转成 Verus 形式化规范,证明智能体写的代码对每个输入都满足规范,证明覆盖不到的部分则回退为测试。
推荐理由:原文给出从意图到形式化规范再到证明的完整工作流,可迁移之处在于把代码评审重心前移到意图评审。
MIT Technology Review 报道,部分对齐研究者转向逆向博弈论(机制设计),通过设计激励规则让AI智能体遵守规则,而非依赖解读模型内部或价值观训练。
GitHub 发布专为密钥扫描训练的上下文感知分类器,采用两阶段管线:正则先高召回地生成候选,再由微调的 ModernBERT 结合文件路径、变量名和周边代码判断是否为真实密钥。