AWS 教程:在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
AWS 发布教程,介绍如何在 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏(SDC),并把可疑 rank 映射到节点、隔离后交由 SageMaker HyperPod 替换:all-reduce 前后的 NaN/Inf 梯度检查、审计步的环形重放比对 loss 与梯度指纹、优化器步后的权重指纹比对。
AWS 发布教程,介绍如何在 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏(SDC),并把可疑 rank 映射到节点、隔离后交由 SageMaker HyperPod 替换:all-reduce 前后的 NaN/Inf 梯度检查、审计步的环形重放比对 loss 与梯度指纹、优化器步后的权重指纹比对。
Microsoft Research 介绍其 Industry Evaluation Data Generation Platform,用基于 O*NET 职业数据、在线招聘启事和 SEC 文件等公开数据构建的全合成企业环境(tenant)评测 Microsoft Copilot,全程不使用真实客户数据。
Microsoft Research 发布 Flint-interactive,一种构建在 Flint 之上的交互式数据可视化语言,让 AI 智能体能生成可点击、筛选、缩放、高亮及跨图表联动的图表。
Microsoft Research 机器学习与优化组的 Xinzhi Zhang 与合作者 Zhao Song 证明了 1995 年提出的 Kannan–Lovász–Simonovits(KLS)猜想,表明对数凹分布的最佳平面切割与任意形状切割之差存在与维度无关的普适常数上界。
推荐理由:原文对比了人主导的智能体搜索与同等 token 预算的无引导尝试,可迁移地说明复杂问题中研究者判断的作用。
GitHub 发布专为密钥扫描训练的上下文感知分类器,采用两阶段管线:正则先高召回地生成候选,再由微调的 ModernBERT 结合文件路径、变量名和周边代码判断是否为真实密钥。
Berkeley AI Research 提出 ABBEL 框架,把长程交互中的摘要内容隔离为自然语言信念状态并单独监督,以替代完整交互历史作为智能体的工作上下文。
Berkeley AI Research 发布由 Aditya G. Parameswaran 等人主导的视角文章,指出 GPT-4 级能力成本已从 2023 年初约 $30 per million tokens 降至如今不足 $1。
Berkeley AI Research 发布长文综述自适应并行推理(APR)这一推理扩展范式,指出其核心是让模型在推理时自主决定何时分解并行、开多少线程以及如何协调。