跳到正文

技术方向

安全对齐 最新动态

让 AI 可控、可信、不被滥用:越狱与防御、模型行为研究、安全评测与治理框架。

9 条精选近 30 天 8 条共收录 30 条

更新

安全对齐的精选

今天11月13日周五第 1–9 条
  1. TechCrunch · AI77

    TechCrunch 分析黄仁勋被罢免可能损害 AI 行业的五种方式

    TechCrunch 撰文分析 Nvidia CEO 黄仁勋因婚外情(其中一名对象被美国政府怀疑是中国间谍、且是一家被指向中国走私 Nvidia 芯片的新加坡 neocloud 高管)被董事会罢免后,可能损害 AI 行业的五种方式。

    推荐理由:文章把黄仁勋离职拆成五个具体影响面,便于读者对照开源、安全、AI PC 和融资等既有议程评估冲击。

11月12日周四
  1. The Verge · AI77

    Nvidia 董事会准备解雇 CEO 黄仁勋,其随后宣布辞职

    据 The Wall Street Journal 报道,Nvidia 董事会准备解雇 CEO 黄仁勋,起因是 The New York Times 报道其第二起婚外情传闻,涉及向其汇报的副总裁 Kimberly Powell;此前黄仁勋刚承认与被指为中国间谍的 Megaspeed 高管 Alice Huang 的婚外关系。

    推荐理由:原文梳理了从传闻到辞职的完整时间线,读者可据此理解人事风波与公司应对节奏。

11月11日周三
  1. Microsoft Research71

    微软研究 Lazarus 后门技术:重编程休眠神经元可让 AI 智能体执行恶意命令

    微软研究人员发现名为 Lazarus 的后门技术,重编程 LLM 中不到 10 个休眠神经元、无需训练即可给智能体植入后门,模型通过标准评测并表现正常,直到触发条件出现(如时钟跨入 2027 年的午夜)才下载并运行攻击者代码。

    推荐理由:原文说明了后门只需改动不到 10 个休眠神经元且无需训练,读者可据此理解模型权重完整性为何成为部署环节的关键风险。

  2. Google DeepMind88

    Google DeepMind 开源 Gemini 4 Carbon 模型正式开放使用

    Google DeepMind 宣布 Gemini 4 Carbon 正式向开发者、企业、科学家和消费者开放,定位为最强模型,主打网络安全能力与长程智能体工作流,适用于复杂多步编码调试和开放式科学研究,消耗 token 多于 Gemini 4 Argon。

    推荐理由:原文给出 Carbon 与 Argon 的分工、定价和多项基准名次,可据此判断它在复杂任务中的定位与迁移成本。

11月10日周二
  1. Google DeepMind76

    Google DeepMind 发布 AlphaProof Code,用 AI 智能体形式化验证 Signal 协议代码

    Google DeepMind 发布 AlphaProof Code,一个多 LLM 智能体形式化验证框架,首次用 AI 在这一深度形式化验证广泛部署的密码学协议 Signal 的实际代码,也是任何方法首次验证此类协议的实现。

    推荐理由:原文给出验证深度、耗时与人工复核比例等关键数字,读者可据此评估 AI 形式化验证相对传统方法的效率差异。

11月6日周五
  1. Microsoft Research62

    Microsoft Research 推出 PDD Kit,用形式化验证约束智能体生成的全栈 Web 应用

    Microsoft Research 发布研究原型 PDD Kit,把形式化验证引入日常软件开发:它在 GitHub Next 的 Chopin 中与开发者协作,把自然语言意图转成 Verus 形式化规范,证明智能体写的代码对每个输入都满足规范,证明覆盖不到的部分则回退为测试。

    推荐理由:原文给出从意图到形式化规范再到证明的完整工作流,可迁移之处在于把代码评审重心前移到意图评审。

10月29日周四
  1. Google DeepMind76

    Google DeepMind 发布 Gemini 4 Carbon 前沿模型

    Google DeepMind 宣布推出下一个前沿模型 Gemini 4 Carbon,称其为迄今最强模型,具备 SOTA 网络安全与长时程能力,在 Artificial Analysis Intelligence Index v5.0 上以 59 分排名第一。

    推荐理由:原文给出了网络安全与长时任务的具体基准分数和分阶段开放路径,读者可据此判断其面向的首批用户与能力边界。

10月8日周四