Atlas 训练系列产品【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl本节提供Atlas 训练系列产品的通信算子支持情况。单算子零拷贝为了降低内存拷贝开销使得HCCL可以直接对业务传入的内存进行操作提升通信性能。通信算子重执行网络故障导致通信闪断时HCCL会尝试重新执行此通信算子提升通信稳定性。确定性计算归约类通信算子在相同的硬件和输入下多次执行将产生相同的输出。[!NOTE]说明Atlas 训练系列产品通信算子仅支持HOST展开。本节表格中“√”代表支持“×”代表不支持“NA”代表不涉及Atlas 训练系列产品不支持单算子零拷贝与重执行。未列出的算子与网络运行模式代表不支持。算子网络运行模式单算子零拷贝确定性计算重执行节点内通信节点间通信Broadcast单算子模式×NA×√√图模式Ascend IR×NA×√√AllGather单算子模式×NA×√√图模式Ascend IR×NA×√√Reduce单算子模式×√×√√图模式Ascend IR×√×√√AllReduce单算子模式×√×√√图模式Ascend IR×√×√√Scatter单算子模式×NA×√√图模式Ascend IR×NA×√√ReduceScatter单算子模式×√×√√图模式Ascend IR×√×√√AlltoAll单算子模式×NA×√√图模式Ascend IR×NA×√√AlltoAllV单算子模式×NA×√√图模式Ascend IR×NA×√√Send单算子模式×NA×√√图模式Ascend IR×NA×√√Recv单算子模式×NA×√√图模式Ascend IR×NA×√√BatchSendRecv单算子模式×NA×√√图模式Ascend IR×NA×√√【免费下载链接】hccl集合通信库Huawei Collective Communication Library简称HCCL是基于昇腾AI处理器的高性能集合通信库为计算集群提供高性能、高可靠的通信方案项目地址: https://gitcode.com/cann/hccl创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考