增加节点后，训练速度却没有按比例提升？问题可能不在计算卡，而在数据交换：分布式训练需要在节点间同步梯度或传递参数。理解高速网络对分布式模型训练的影响，先要找出耗时究竟来自计算、通信，还是链路拥塞，再按顺序调整配置。
以下五种操作适用于常见的多机训练环境，不预设特定框架或硬件。每次只改一项，并使用同一批数据、相同模型和相同节点数对照，结果才有参考价值。
1. 建立训练与网络基线
- 先记录单节点和多节点的每步耗时、训练吞吐量及计算设备利用率；运行相同训练阶段，避开数据加载和初始化阶段的波动。
- 再用 iperf3 等网络测量工具，在维护窗口测试节点间的可用吞吐量，并记录往返时延与丢包情况。确认测试流量没有干扰正式作业。
- 对比计算设备忙碌程度和网络指标：设备利用率偏低、节点数增加后每步耗时明显上升，且网络链路接近饱和时，通信瓶颈的可能性更高。
单看带宽不足以定论。高速网络对分布式模型训练的影响还取决于通信是否频繁、每轮交换的数据量，以及计算与通信能否重叠。
2. 核对链路配置，而不是只看网卡型号
- 检查网卡与交换机端口协商出的速率、双工状态和端口错误计数。网卡支持较高速率，不代表链路上的光模块、线缆和交换机端口都已匹配。
- 确认 MTU 在通信路径上保持一致。只在一端修改而中间设备不支持，可能导致分片或通信异常；先在小范围验证，再扩展到整组节点。
- 检查多网卡的绑定方式、路由和流量分布。绑定配置不当时，多个端口未必能自动让单个训练任务获得更高带宽。
25GbE、100GbE 等链路的理论速率不同，但实际有效吞吐会受协议开销、共享流量和设备能力影响。比较时应看同一环境下的实测值，而不是把标称速率直接当作训练带宽。
3. 按网络拓扑安排训练节点
节点间通信路径越长、经过的交换层越多，时延和拥塞风险越需要关注。若服务器连接到分层交换网络，可先将同一训练作业安排在路径较短、带宽资源相对充足的节点组，再比较训练步时。
- 向网络管理员确认端口到交换机的对应关系、上联带宽和是否存在超售。
- 检查同一训练作业的流量是否经过共享上联；高峰时段与空闲时段分别测一次，判断拥塞是否随负载变化。
- 如果跨机架运行明显变慢，分别测试机架内和跨机架配置。仅在差异稳定且任务规模需要时，再调整节点放置或网络资源。
网络拓扑优化通常比盲目更换更高速网卡更容易定位问题，但效果取决于通信模式和现有交换结构。
4. 调整通信粒度，争取通信计算重叠
许多训练任务会通过 all-reduce 汇总各节点的梯度。小批量、频繁同步容易受时延影响；单次数据量很大，则更容易受可用带宽限制。因此，不能只用一个“加大带宽”的办法解决两类问题。
- 查看训练框架是否支持调整梯度分桶或通信批次；每次改变一个参数，观察每步耗时和显存占用。
- 确认框架能够在计算后续层时启动部分通信，即实现通信计算重叠。若通信必须等全部计算结束才开始，链路再快也可能留下等待时间。
- 避免把分桶调得过大或过小：过大可能延迟通信启动并增加显存压力，过小则可能产生过多通信调用。最佳设置需用实际模型验证。
5. 在目标规模下复测并逐级扩容
单次网络测试不能代表完整训练性能。完成配置变更后，按计划逐级增加节点，例如从较小节点组扩展到目标节点数，记录每级的训练吞吐和每步时间。若节点数翻倍而吞吐几乎不变，先排查共享链路、数据读取和通信同步，再决定是否继续扩容。
同时检查丢包率、端口错误和拥塞控制相关指标。若网络空闲时表现正常、并发作业增加后速度骤降，优先处理流量争用；若网络测量稳定而设备利用率低，则应继续检查数据输入和计算流程。这样才能准确判断高速网络对分布式模型训练的影响，而不是把所有性能问题都归因于带宽。
常见问题
网卡速率越高，训练一定越快吗？
不一定。只有当网络通信是主要瓶颈，且交换机、链路和节点配置能提供相应带宽时，升级才可能改善训练时间。
训练吞吐没有提升，应先调网络参数吗？
先看基线。若计算设备利用率低、网络未饱和，应检查数据加载、计算效率或同步方式，不要先盲目调整链路。
跨机架训练是否不可取？
不是。是否适合取决于任务通信量、交换网络容量和共享负载；用同一任务对比机架内外表现，再决定节点放置。
如何确认优化有效？
固定模型、数据和节点数，比较变更前后的训练吞吐、每步耗时及网络指标，并重复测量以排除偶然波动。围绕高速网络对分布式模型训练的影响逐项验证，比单看设备规格更可靠。
