四台 DGX Spark 组网选型：环网省下八千块，代价是拓扑自由与扩容能力

「我先买四台 Spark，拿线串起来，不买交换机行不行？省下来的钱够不够再添一张卡？」做本地 AI 集群部署的人几乎都遇到过这个问题。它表面上是省钱，本质上是在问：愿不愿意用拓扑上的束缚，去换掉那台交换机的开支。四台 DGX Spark 恰好卡在一个微妙的分界线上——环网「能跑」，但跑法和交换机有本质区别，且四机无交换机环网并不在官方支持清单里。本文把预算账和部署账拆开算清楚。

先对齐硬件事实：只有两个高速口

DGX Spark 每台背面有两个 QSFP 端口（ConnectX-7），单口标称 200 Gb/s，且只支持以太网配置，不是 InfiniBand。这意味着一台 Spark 最多同时参与两条高速点对点链路。四台机器做环网，就是每台机器一个口接左邻居、一个口接右邻居，四根线首尾相连，八个口一个不剩，全程不经过交换机。这就是环网的物理本质。但有个容易被忽略的细节：环网会把两个口全部占满，没有空口留给管理网、存储网，也做不出第二条独立路径做冗余。

预算对比：省的只是交换机本体

先把账说清楚：在四台这个节点数上，环网能省掉的只有交换机本体。四根线材两边一样要买，约 ¥3,290–5,340。入门级 200G 以太网交换机约 ¥8,000–8,700，品牌机型则要 ¥53,000 以上量级。所以真实差价就是那八千多块，而不是「网络侧零成本」。按四机约 ¥12 万的口径，交换机加线缆约占 10%，环网仅占 3%–4%。真正拉开差距的不是这张预算表，而是它的最后两行——扩展性和隐性成本。

本地部署：能跑和跑得顺是两回事

从多年产业实践经验来看，两机实测最能说明问题：单跳带宽上直连和交换机几乎持平，NCCL 带宽直连约 21.77 GB/s、经交换机约 22.14 GB/s，差距不到 2%，基本可以当作噪声。四台场景的麻烦不在单根线的带宽，而在非相邻节点怎么说上话——环网里 A 和 C 之间没有直连，流量必须经 B 或 D 中转，中转不是免费的，同一段 200G 链路被自己人和过路流量分着用，有效吞吐明显低于 200G。更硬的一条边界是：官方支持的拓扑只有两机直连、三机环网、四机配交换机三种，四机无交换机环网属于社区自建路线，需要自定义 NCCL 构建与拓扑规划，出了问题没人背书。软件层面还有个坑：NCCL 的逻辑 ring 必须和物理 ring 对齐，否则每次 all-reduce 都会在错误链路上绕行，这份活儿通常落在集成商头上。

交换机买到的是拓扑自由

把两套方案放在一起看，价值差异就清晰了。环网是一锤子买卖：八个口全部用完，第五台只能把整套拓扑推倒重来；交换机方案从四台加到八台，只要端口还有余额，就是多插几根线的事。交换机方案里，任意两台之间的通信都是一跳直达，不占用别人的端口带宽，也不吃掉别人的算力；NCCL 面对的是一个抽象后的 fabric，ring/tree 等通信图可以自由选择，加机器、改并行策略都不用重排通信环。环网真正适合的，是那种客户：很确定很长一段时间就是这四台，拓扑不变，愿意花时间调软件让 NCCL 迁就布线，并且接受这条路线没有官方支持。而只要对扩容、换并行策略或运维兜底有任何一条要求，那一万二三的投入买到的就不只是几个端口，而是任意两两直达的拓扑自由和运维的下限。

四台，是环网的经济性窗口，也是它的能力边界。环网省下的是一台交换机的钱，交换机买到的是拓扑自由、扩容余量和标准化运维。把这笔账讲清楚，比替客户「省」一台交换机更有价值。