OpenAI 研究指训练选择导致前沿模型思维链透明度下降
OpenAI 安全团队新分析系统研究了哪些训练步骤导致前沿模型思维链透明度被侵蚀,追踪了无草稿纸推理能力与思维链可控性两个预警信号。研究从 GPT-5 到 GPT-6 Astra 归纳出四类成因:静默心算随基础模型困惑度下降而上升、特定架构在多步静默推理任务上性能曲线更陡、预训练后强化学习增强模型对自身思维链的操控、学生模型会从教师模型继承高思维链可控性。
OpenAI 安全团队新分析系统研究了哪些训练步骤导致前沿模型思维链透明度被侵蚀,追踪了无草稿纸推理能力与思维链可控性两个预警信号。研究从 GPT-5 到 GPT-6 Astra 归纳出四类成因:静默心算随基础模型困惑度下降而上升、特定架构在多步静默推理任务上性能曲线更陡、预训练后强化学习增强模型对自身思维链的操控、学生模型会从教师模型继承高思维链可控性。
姚期智与杨植麟等人联合研究提出 TCSExam,用 100 项理论计算机科学科研任务测试前沿 AI Agent 能否证明定理、开发 Solver、构造数学对象乃至挑战长期未解决的猜想,论文地址为 arxiv.org/pdf/2611.07962v1。
Google DeepMind 用四周时间对 Signal 的关键部分进行了数学形式化验证,成果暗示 AI 可能让形式化验证变得更实用。
微软研究人员发现名为 Lazarus 的后门技术,重编程 LLM 中不到 10 个休眠神经元、无需训练即可给智能体植入后门,模型通过标准评测并表现正常,直到触发条件出现(如时钟跨入 2027 年的午夜)才下载并运行攻击者代码。
推荐理由:原文说明了后门只需改动不到 10 个休眠神经元且无需训练,读者可据此理解模型权重完整性为何成为部署环节的关键风险。
Microsoft Research 发布研究原型 PDD Kit,把形式化验证引入日常软件开发:它在 GitHub Next 的 Chopin 中与开发者协作,把自然语言意图转成 Verus 形式化规范,证明智能体写的代码对每个输入都满足规范,证明覆盖不到的部分则回退为测试。
推荐理由:原文给出从意图到形式化规范再到证明的完整工作流,可迁移之处在于把代码评审重心前移到意图评审。
MIT Technology Review 报道,部分对齐研究者转向逆向博弈论(机制设计),通过设计激励规则让AI智能体遵守规则,而非依赖解读模型内部或价值观训练。
Microsoft Research 介绍其 Industry Evaluation Data Generation Platform,用基于 O*NET 职业数据、在线招聘启事和 SEC 文件等公开数据构建的全合成企业环境(tenant)评测 Microsoft Copilot,全程不使用真实客户数据。
Microsoft Research 机器学习与优化组的 Xinzhi Zhang 与合作者 Zhao Song 证明了 1995 年提出的 Kannan–Lovász–Simonovits(KLS)猜想,表明对数凹分布的最佳平面切割与任意形状切割之差存在与维度无关的普适常数上界。
推荐理由:原文对比了人主导的智能体搜索与同等 token 预算的无引导尝试,可迁移地说明复杂问题中研究者判断的作用。
GitHub 发布专为密钥扫描训练的上下文感知分类器,采用两阶段管线:正则先高召回地生成候选,再由微调的 ModernBERT 结合文件路径、变量名和周边代码判断是否为真实密钥。
GitHub 发布开源 AI 代码评审离线基准 ReviewBench,语料取自对 103.9M GitHub pull requests 的分布分析,包含 19 种语言、187 个开源仓库的 219 个 pull request。
Berkeley AI Research 与 IBM Research 将 K-Search 进化式内核搜索框架扩展出 MLX 后端,并加入结构化 CUDA-to-MLX 翻译层,把 CUDA 内核作为知识库适配为 Apple Silicon 的高质量 GPU 内核。
Berkeley AI Research 提出 ABBEL 框架,把长程交互中的摘要内容隔离为自然语言信念状态并单独监督,以替代完整交互历史作为智能体的工作上下文。
Berkeley AI Research 发布长文综述自适应并行推理(APR)这一推理扩展范式,指出其核心是让模型在推理时自主决定何时分解并行、开多少线程以及如何协调。
Berkeley AI Research 发布 GRASP,一种基于梯度的世界模型规划器,通过把轨迹提升到虚拟状态使优化沿时间并行、在状态迭代中注入高斯噪声做探索、并重塑梯度使动作获得干净信号而避开脆弱的状态输入梯度。
Berkeley AI Research 博文介绍 SPEX(Spectral Explainer)与 ProxySPEX 两种算法,用于在特征归因、数据归因和模型组件归因中大规模识别关键交互。