AWS Machine Learning Blog· Siddharth Senger·· 18 小时前AI 评分57
AWS 教程:在 Amazon SageMaker HyperPod 上检测并恢复静默数据损坏
Detecting and recovering from silent data corruption on Amazon SageMaker HyperPod
AI 导读
AWS 发布教程,介绍如何在 PyTorch DDP 训练循环中加入三道检查来检测静默数据损坏(SDC),并把可疑 rank 映射到节点、隔离后交由 SageMaker HyperPod 替换:all-reduce 前后的 NaN/Inf 梯度检查、审计步的环形重放比对 loss 与梯度指纹、优化器步后的权重指纹比对。
来源:AWS Machine Learning Blog · aws.amazon.com