TinkerLab
ARTIFACT // LAUNCH-DGX-SPARK-4NODE-RING-LMCACHE.SH (SH)

DGX Spark 四节点无交换机 200GbE 环网(512GB)与 LMCache NVMe GDS 启动脚本 (launch-dgx-spark-4node-ring-lmcache.sh)

核验双口 ConnectX-7 200GbE 闭环 MTU 9000 与对角路由转发,清理 GB10 统一内存页缓存,锁定 NCCL_ALGO=Ring 防止跨节点死锁,并启动 vLLM TP=4 与 LMCache GPUDirect Storage (cuFile) NVMe KV 卸载。

[核心实测结论 / TL;DR]本配置包「DGX Spark 四节点无交换机 200GbE 环网(512GB)与 LMCache NVMe GDS 启动脚本」(文件名:launch-dgx-spark-4node-ring-lmcache.sh,格式:SH)是 Tinker AI 实测工坊配套指南《dgx-spark-hpc-4-node-ring-512gb-lmcache-gds-nvme-kv-offload-mistral-large-4》的参数化生产模板。支持在本地浏览器实时定制 ConnectX-7 双口环网网卡名 (RING_IFACES=enP7s7f0,enP7s7f1)、节点 1 环网主节点 IP (/30 网段) (RAY_HEAD_RING_IP=10.10.12.1)、NVFP4 / MoE 模型标识(512GB 四机张量并行) (MODEL_REPO=deepseek-ai/DeepSeek-V4.1-Flash-NVFP4)、PCIe Gen5/Gen6 NVMe GDS KV 缓存路径 (NVME_LMCACHE_DIR=/nvme/lmcache_gds)、单节点 NVMe KV 缓存配额上限 (GB) (MAX_DISK_GB=512) 等 5 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-18
查看全部 60 套配置附件 →
launch-dgx-spark-4node-ring-lmcache.sh

DGX Spark 四节点无交换机 200GbE 环网(512GB)与 LMCache NVMe GDS 启动脚本

核验双口 ConnectX-7 200GbE 闭环 MTU 9000 与对角路由转发,清理 GB10 统一内存页缓存,锁定 NCCL_ALGO=Ring 防止跨节点死锁,并启动 vLLM TP=4 与 LMCache GPUDirect Storage (cuFile) NVMe KV 卸载。

查看配套实测指南 →
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — SC26 DGX Spark 4-Node Switchless 200GbE Ring + LMCache GDS Launcher (Guide #55)
set -euo pipefail

IFACES="enP7s7f0,enP7s7f1"
HEAD_IP="10.10.12.1"
MODEL="deepseek-ai/DeepSeek-V4.1-Flash-NVFP4"
KV_DIR="/nvme/lmcache_gds"
MAX_GB="512"

echo "=== [1/4] Auditing ConnectX-7 200GbE Ring MTU 9000, Diagonal IP Forwarding & GDS ==="
IFS=',' read -ra DEV_ARR <<< "$IFACES"
for dev in "${DEV_ARR[@]}"; do
  ip -br link show "$dev" || echo "WARN: Ring interface $dev not found"
done
sudo sysctl -w net.ipv4.ip_forward=1 >/dev/null
lsmod | grep -q nvidia_fs && echo "OK: nvidia_fs (GPUDirect Storage cuFile) kernel module loaded" || echo "INFO: nvidia_fs not loaded; LMCache will fall back to POSIX O_DIRECT"

echo "=== [2/4] Flushing GB10 Coherent UMA Page Cache Before Sharded Weight mmap ==="
sync && echo 3 | sudo tee /proc/sys/vm/drop_caches >/dev/null
mkdir -p "$KV_DIR"

echo "=== [3/4] Locking Switchless 4-Node Ring NCCL & LMCache GDS Environment ==="
export NCCL_SOCKET_IFNAME="$IFACES"
export UCX_NET_DEVICES="${DEV_ARR[0]}"
export NCCL_ALGO=Ring
export NCCL_CROSS_NIC=1
export NCCL_BUFFSIZE=4194304
export LMCACHE_USE_EXPERIMENTAL=True
export LMCACHE_LOCAL_CPU=True
export LMCACHE_MAX_LOCAL_CPU_SIZE=16.0
export LMCACHE_CUFILE_BUFFER_SIZE="4096"
export LMCACHE_GDS_PATH="$KV_DIR"
export LMCACHE_MAX_LOCAL_DISK_SIZE="$MAX_GB"

echo "=== [4/4] Starting vLLM TP=4 Distributed Server over Ray ($HEAD_IP:6379) ==="
exec vllm serve "$MODEL" \
  --tensor-parallel-size 4 \
  --distributed-executor-backend ray \
  --quantization nvfp4 \
  --max-model-len 131072 \
  --kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}' \
  --host 0.0.0.0 --port 8000
PARAMETER SPECIFICATION // 参数化变量规范说明表

「launch-dgx-spark-4node-ring-lmcache.sh」可定制环境变量与默认值说明

本配置模板(SH 格式)支持 5 项运行时参数注入,所有替换均在本地浏览器内完成。

模板占位符参数用途说明安全默认值填写示例
{{RING_IFACES}}ConnectX-7 双口环网网卡名enP7s7f0,enP7s7f1enP7s7f0,enP7s7f1
{{RAY_HEAD_RING_IP}}节点 1 环网主节点 IP (/30 网段)10.10.12.110.10.12.1
{{MODEL_REPO}}NVFP4 / MoE 模型标识(512GB 四机张量并行)deepseek-ai/DeepSeek-V4.1-Flash-NVFP4deepseek-ai/DeepSeek-V4.1-Flash-NVFP4
{{NVME_LMCACHE_DIR}}PCIe Gen5/Gen6 NVMe GDS KV 缓存路径/nvme/lmcache_gds/nvme/lmcache_gds
{{MAX_DISK_GB}}单节点 NVMe KV 缓存配额上限 (GB)512512
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录

配套指南《SC26 桌面超算集群与 NVMe KV 卸载实战:NVIDIA DGX Spark 四节点无交换机 200GbE 环网(512GB)+ LMCache GPUDirect Storage 部署 Mistral Large 4 (1.05T) 与 700B NVFP4》验证基线

实测硬件与操作系统 (Hardware & OS)

4x NVIDIA DGX Spark HPC 开发者套件(4x GB10 Grace Blackwell · 512GB 相干 LPDDR5X · 20TB NVMe · 双口 ConnectX-7 200GbE 无交换机环网)

锁定软件栈与模型版本 (Pinned Versions)
vLLM 0.12+ (Ray TP=4)LMCache 0.3+ (cuFile GDS)NCCL 2.31+ (NCCL_ALGO=Ring)NVIDIA HPC SDK / DGX OS (Ubuntu 24.04+)
离线与安全边界 (100% 离线四机无交换机环网集群)

Mistral Large 4 采用 Mistral Ecosystem Open-Weight License (v26.10) 协议,允许本地私有化商用与微调,但未经单独授权不得直接对外转售托管 API 服务。

已知限制与失败边界 (Known Limits)
  • 四机无交换机环网中对角节点(如节点 1 与节点 3)无物理直连线缆;若保持 NCCL 默认 Tree 算法或漏配 /30 静态转发路由,会导致 all_reduce 死锁或静默回退至千兆/万兆管理网卡。
  • Mistral Large 4(总参约 1.05T,激活约 50B + 1.6B 视觉编码器)在 4-bit 下含 KV 超过 600 GB,在 512GB 四机环网上需采用约 3.1-bit IQ3_XXS 量化,满血 Q4_K_M 建议部署于 1TB+ EPYC SP7 节点。
  • 基于 GPUDirect Storage(cuFile / nvidia_fs)的零拷贝 NVMe KV 缓存卸载要求底层使用未开启软件加密层的 XFS/ext4 文件系统并正确配置 IOMMU 透传。
DEPLOYMENT CHECKLIST // 配置落地核验步骤

部署 launch-dgx-spark-4node-ring-lmcache.sh 后的 3 步验收清单

  1. 已按闭环拓扑连接 4 台节点的双口 ConnectX-7 网卡(P1 -> 下一台 P0),统一设置 MTU 9000,并开启 net.ipv4.ip_forward=1 与对角 /30 静态路由。
  2. 已显式导出 NCCL_ALGO=Ring 与 NCCL_CROSS_NIC=1(杜绝无交换机 Tree 死锁),并在加载权重前清理全部 4 台 GB10 的页缓存。
  3. 已核验 LMCACHE_GDS_PATH 下的 nvidia_fs(cuFile GDS)状态并设置磁盘配额上限,加速 128K 多轮上下文首字响应。