1.背景摘要

传统数据中心由hypervisor虚拟化层对硬件资源进行池化，单台设备故障可通过VM虚机快速倒换避免业务中断。AI/HPC大规模并行计算场景，单设备故障会导致集群单次计算无法完成，进而导致整集群训练中断，硬件可靠性是影响系统可用度的重要因素。大模型训练中常用的办法是通过断点续训机制快速重拉业务，这仍是一种事后补救办法，无法避免整集群业务中断。通过AI故障预测提前识别硬件失效风险并无感容错是业界重要的技术研究方向，本文重点介绍基于BMC的AI故障预测系统构筑，以及如何与芯片RAS、业务结合提升集群系统可用度。

2.AI故障预测部件选择

一台服务器包含CPU、内存、电源、风扇等众多部件，如何选择预测的部件至关重要。首先需要分析硬件故障的可预测性，业界常用的指标是突发/非突发故障的比例，突发故障即硬件失效前没有任何征兆，这种故障通常无法预测，非突发故障指硬件失效前有征兆（如CE、误码等），这种故障可以进行AI预测。基于数据统计分析DDR、HBM、硬盘故障非突发比例超过50%（如图1所示），AI预测的可能性较大。

Figure 1 DDR4非突发UCE占比（基于20w+DDR5 DIMM现网运行3年数据统计结果）

其次，需要依据器件的失效概率和影响进行评估，优先对失效率高、故障业务影响大的部件进行故障预测。如图2所示，介质（含DDR、HDD/SSD）和CPU失效占比超过80%，且都会导致业务中断，因此内存、硬盘、XPU故障预测是业界重要研究方向。

Figure 2服务器部件失效占比（基于60w+台服务器现网运行1年失效部件分析结果）

3.基于BMC的AI故障预测系统构筑

构建AI在线预测系统的核心要素是预测模型训练和在线推理平台。预测模型生成即训练的过程，通常分为在线训练和离线训练，考虑到BMC只能收集单台硬件设备的日志，训练的数据量和BMC芯片处理能力均无法满足在线训练的要求，所以选择离线训练生成预测模型，集成到BMC后进行在线推理，如下图3所示。

Figure 3 BMC故障预测训练和推理流程

具体实现流程和注意事项如下:

• 海量运行日志数据采集，可采集BMC、带内OS等运行的日志数据，需包含正常、亚健康、故障状态的日志信息，有效训练数据数量直接影响训练结果。
• 对日志数据进行清洗，提取预测相关的信息，提升训练的效率。如DDR故障预测则需要提取内存型号、CE、UEO、UCE等相关信息。
• 预测部件的训练特征向量提取，通过大数据分析、专家经验等提取有效的预测特征向量，此步骤最为关键，直接影响训练结果的精准率和覆盖率。
• 选择合适的训练算法，如random forest、xgboost等算法，并对算法参数进行调优，使训练的结果最优；也可以使用大模型进行训练，但需注意生成模型大小和对BMC的CPU内存资源使用。
• 生成预测模型，BMC集成预测模型。
• BMC集成在线推理能力，将实时日志数据输入给模型得到推理结果，可以调整F1 Score来调整模型输出的精准率和覆盖率。

4.基于BMC的AI故障预测应用

4.1 故障预测与业务结合

故障预测最常见的应用方式是与业务联合，在业务调度间隙替换即将失效的服务器，从而实现业务无损，如图4所示。

Figure 4故障预测与业务联动

具体流程如下:

• BMC预测到服务器2重要部件即将失效，将预测结果告知业务调度模块
• 业务调度模块在调度间隙将服务器2业务迁移到备份服务器，并将服务器从业务侧下线
• 业务调度模块将备份模块纳入业务调度，继续进行业务训练

该方案需要重点考虑预测准确率的问题，精准率低会导致误隔离节点太多进而导致系统计算资源不足，因此可以考虑结合业务性能变化等参数联合判断提升准确性。

4.2 故障预测与芯片RAS结合

另一种方案故障预测到器件即将失效后，利用芯片的冗余修复能力，实现硬件故障无感修复，此种方案不需要隔离故障服务器，如图5所示。

Figure 5故障预测与芯片RAS结合

具体步骤如下:

• MC预测到重要部件即将失效，需要精准预测到可隔离的粒度，如DDR的Row等。
• BMC调用芯片的RAS能力修复部件即将失效的区域，同时保证数据一致性。

此方案可以在不中断业务的情况下对硬件故障进行细粒度的修复，不需要隔离整服务器，即使精度无法做到100%有误隔离，也仅仅是影响部件冗余资源的使用，几乎无影响。

5 总结

在硬件失效率无法量级优化的情况下，AI/HPC系统可用度会随着集群规模增加而线性下降，对重点部件的故障预测和业务无感容错是提升系统可用度最有效的方法之一。基于带外BMC的AI故障预测，在推理数据获取便利性、用户计算资源占用、部件精细化预测、芯片RAS结合等方面均具有优势，是业界技术研究的重要方向。