TinkerLab
跳转可下载配置
01 // HOMELABNVIDIA 独显Docker 容器流式 API阅读与复现约 15 分钟

SC26 异构预填充/解码分离与 PCIe Gen5 KV 卸载实战:MiTAC 4U + 8× Skymizer HTX301-4S(2TB 内存跑通 2.8T Kimi K3.1)对决 TRUSTA T7P5 AI Scaler 三层 vLLM 内存池

深度拆解 2026 年 11 月 SC26 超算大会上两大绕开天价 HBM 集群的本地部署新架构:一是 MiTAC G4520G6 4U 风冷至强 6 服务器满插 8 张 Skymizer HTX301-4S 解码优先 LPU 卡(单卡 256GB 经济型 DRAM、仅 ~155W,聚合 2TB)联合独立 GPU 预填充节点,实现 2.8T Kimi K3.1 Pro(MXFP4 约 1.56TB)单机房本地推理;二是威刚企业级品牌 TRUSTA AI Scaler 工具包搭配 T7P5 PCIe Gen5 固态(13.5 GB/s、<7W、支持 FDP),打造「显存 → 内存 → Gen5 固态」三层可跨重启持久化 vLLM KV 缓存池。

[规格推算结论 / TL;DR]【证据等级:规格推算,非本站实机实测】「SC26 异构预填充/解码分离与 PCIe Gen5 KV 卸载实战:MiTAC 4U + 8× Skymizer HTX301-4S(2TB 内存跑通 2.8T Kimi K3.1)对决 TRUSTA T7P5 AI Scaler 三层 vLLM 内存池」(规格依据:MiTAC G4520G6 4U(至强 6 + 8× Skymizer HTX301-4S · 2TB 内存)+ MI350X 预填充节点 vs 96GB 独显 + 256GB 内存 + TRUSTA T7P5 PCIe Gen5 固态(13.5 GB/s),建议复现软件栈:vLLM v0.33.0+ (Disaggregated NixlConnector / LMCacheConnectorV1) / Skymizer HyperThought LISA v3 Toolchain (HTX301-4S 4-Chip PCIe) / TRUSTA AI Scaler Toolkit + Strata / Intel AMX BF16 Prefill / Kimi-K3.1-Pro (2.8T MXFP4 ~1.56TB) & Qwen3-235B-A22B,规格核验日期:2026-11-20):深度拆解 2026 年 11 月 SC26 超算大会上两大绕开天价 HBM 集群的本地部署新架构:一是 MiTAC G4520G6 4U 风冷至强 6 服务器满插 8 张 Skymizer HTX301-4S 解码优先 LPU 卡(单卡 256GB 经济型 DRAM、仅 ~155W,聚合 2TB)联合独立 GPU 预填充节点,实现 2.8T Kimi K3.1 Pro(MXFP4 约 1.56TB)单机房本地推理;二是威刚企业级品牌 TRUSTA AI Scaler 工具包搭配 T7P5 PCIe Gen5 固态(13.5 GB/s、<7W、支持 FDP),打造「显存 → 内存 → Gen5 固态」三层可跨重启持久化 vLLM KV 缓存池。 离线边界为「100% 离线私有化机柜与工作站运行」(异构预填充/解码的跨机 KV 传输(高速 RDMA 局域网)与 TRUSTA 三层 PCIe Gen5 固态 KV 持久化均完全在本地机房或单机工作站闭环完成,无任何外网调用。)。
REPRODUCIBILITY MANIFEST // 规格推算与复现协议
规格推算 · 非实机实测 · 规格核验:2026-11-20
规格依据硬件 (Spec Basis — Not Lab-Measured)

MiTAC G4520G6 4U(至强 6 + 8× Skymizer HTX301-4S · 2TB 内存)+ MI350X 预填充节点 vs 96GB 独显 + 256GB 内存 + TRUSTA T7P5 PCIe Gen5 固态(13.5 GB/s)

锁定软件与模型版本 (Pinned Stack Versions)
vLLM v0.33.0+ (Disaggregated NixlConnector / LMCacheConnectorV1)Skymizer HyperThought LISA v3 Toolchain (HTX301-4S 4-Chip PCIe)TRUSTA AI Scaler Toolkit + Strata / Intel AMX BF16 PrefillKimi-K3.1-Pro (2.8T MXFP4 ~1.56TB) & Qwen3-235B-A22B
离线与外部连接核查 (Offline & Network Boundary)
100% 离线私有化机柜与工作站运行

异构预填充/解码的跨机 KV 传输(高速 RDMA 局域网)与 TRUSTA 三层 PCIe Gen5 固态 KV 持久化均完全在本地机房或单机工作站闭环完成,无任何外网调用。

已知限制与失败案例 (Known Limits)
  • Skymizer HTX301-4S 属于「解码优先」LPU,以大容量经济型 DRAM 替代昂贵 HBM——若直接用它处理 64K+ 超长首轮提示词预填充(Prefill),首字延迟(TTFT)会显著拉长,生产环境必须配合高算力 GPU 节点(如 MI350X 或高端工作站显卡)做预填充/解码分离。
  • 每张 HTX301-4S 板载 4 颗独立 PCIe 芯片(8 卡 4U 服务器共暴露 32 个 PCIe 端点),需确保主板具备完整 PCIe Switch / 拆分拓扑,并通过 Skymizer LISA v3 工具链完成张量并行切分。
  • TRUSTA AI Scaler / LMCache 三层固态卸载只负责加速多轮对话与长上下文 KV 缓存复用(甚至支持断电重启秒级恢复),并不能替代存放活跃模型权重所需的 GPU 显存;且高频 KV 写入严禁使用无 FDP 与低耐久度的消费级 QLC 固态,否则极易触发写放大掉速与寿命耗尽。
遇到环境异常?打开排障诊断树 →

1. SC26 架构破局:为何用 8× Skymizer HTX301-4S(2TB 内存)拆分预填充与解码跑通 2.8T Kimi K3.1

以往想在私有化机房运行月之暗面开源的 2.8 万亿参数 MoE 旗舰 Kimi K3.1 Pro(原生 MXFP4 权重即高达 1.56 TB),必须采购两台液冷 8 卡 H200/B200 旗舰机柜,硬件成本动辄数百万元。在 2026 年 11 月 SC26 超算大会 上,神达计算(MiTAC) 与 Skymizer 联合展示了更具性价比的 双机异构分离(Disaggregated Inference)本地推理方案: - 预填充算力节点(MiTAC G8825Z5):由 AMD EPYC + Instinct MI350X/MI355X(或高算力 GPU)专注吞吐计算密集型的 Prompt 首轮预填充,快速产出 KV Cache。 - 解码大内存节点(MiTAC G4520G6 4U 风冷):采用 Intel 至强 6 宿主 CPU 搭配 8 张 Skymizer HTX301-4S PCIe 加速卡。每张卡功耗仅约 155W,板载 4 颗 HyperThought HTX301 解码优先 LPU(LISA v3 专用指令集)与 256 GB 经济型大容量 DRAM,单台 4U 风冷服务器即汇聚 2 TB 板载加速卡内存。预填充节点通过高速网络将 KV 传至解码节点后,8 卡稳稳装下 1.56 TB 满血 Kimi K3.1 Pro 权重并保留数百 GB KV 余量,彻底绕开了 HBM 产能与液冷机柜门槛。

2. 单机工作站救星:TRUSTA AI Scaler 工具包 + T7P5 PCIe Gen5 SSD(13.5 GB/s · FDP)三层持久化 KV 卸载

对于大多数单机工作站或中小团队推理服务器,无法采购 2TB 解码整机,但同样深受多轮 Agent 长上下文 KV 爆显存之苦。威刚企业级品牌 TRUSTA 在 SC26 推出的新版 AI Scaler Toolkit 给出了极具工程价值的单机解法: - 三层 KV 内存池(GPU 显存 → 宿主机 DRAM → PCIe Gen5 NVMe):活跃生成留在显卡显存,温会话驻留系统内存,长周期多轮 Agent 与 128K RAG 文档上下文自动卸载至 TRUSTA T7P5 / T7P51 ECO PCIe Gen5 x4 企业级固态(顺序读取 13,500 MB/s、顺序写入 10,300 MB/s、随机读 320 万 IOPS、满载主控功耗 <7W,支持约 3 DWPD 高耐久与 NVMe FDP 灵活数据放置 以大幅降低写入放大)。 - 跨重启免重算 + Intel AMX 提速:持久化落盘的 KV 缓存即便在服务器重启或次日恢复长对话时,也能以 13.5 GB/s 秒级重载而非重新计算数万 Token 提示词;配合 Strata 引擎调用 Intel AMX 矩阵扩展,还可额外带来最高 25% 的宿主机预填充加速(下表 [Spec-Est.] 为基于物理规格推算值):
表 1:SC26 私有化破除内存墙三大路径对比(2TB 分离解码 LPU vs 三层 Gen5 固态 KV 池 vs 传统 HBM 集群)
架构与硬件形态可用容量与典型功耗最适负载与核心收益落地硬性前置约束
MiTAC G4520G6 + 8× Skymizer HTX301-4S(4U 解码机)2 TB 板载 DRAM(约 1.92 TB 可用)· 单卡 ~155W(风冷)单台 4U 风冷本地装下 2.8T Kimi K3.1 Pro MXFP4(1.56 TB)[Spec-Est.]必须搭配独立 GPU 预填充节点(高速 KV 传输)与 LISA v3 栈
单卡 Skymizer HTX301-4S(256GB 解码卡)256 GB DRAM(约 240 GB 可用)· ~155W PCIe高性价比承载 235B / 120B 级 MoE 解码流 [Spec-Est.]单卡暴露 4 个 PCIe 端点;避免纯卡硬扛超长预填充
96GB 独显 + 256GB 内存 + TRUSTA T7P5 Gen5 SSD(三层 vLLM)96GB 显存 + 256GB 内存 + TB 级 13.5 GB/s 固态(<7W/盘)多并发 64K–128K Agent 场景;跨重启保留 KV,命中提速 5–10 倍 [Spec-Est.]模型权重仍需装入显存;严禁消费级 QLC 盘承接高频 KV 写入
传统双机 16× H200 / B200 HBM 集群2.25–2.88 TB HBM3e · 15–24 kW(高密风冷/液冷机柜)预填充与解码绝对吞吐最高,无需异构分离编排采购成本高出 5–10 倍,受限于机房供电与散热改造

3. 可复现部署命令:启动 vLLM 三层 PCIe Gen5 KV 卸载与异构预填充/解码节点自检

在单机服务器上可直接通过 vLLM v0.33.0+ 的 LMCacheConnectorV1 复现 TRUSTA AI Scaler 同款三层持久化 KV 缓存池;在多机架构下则可通过 NixlConnector 将高算力 GPU 设为 kv_producer(预填充)并向大内存解码节点推送 KV 块。
启动「显存 → 内存 → PCIe Gen5 固态」三层持久化 vLLM KV 卸载或异构预填充节点
# 1) Verify PCIe Gen5 x4 link speed (32GT/s) & Intel AMX BF16 support
sudo lspci -vv | grep -E 'Non-Volatile|LnkSta:' | head -n 12
grep -m1 -o 'amx_bf16' /proc/cpuinfo || true

# 2) Launch vLLM with 3-tier persistent KV offload (GPU -> 192GB DRAM -> TRUSTA T7P5 Gen5 NVMe)
export LMCACHE_USE_EXPERIMENTAL=True
export LMCACHE_LOCAL_CPU=True LMCACHE_MAX_LOCAL_CPU_SIZE=192
export LMCACHE_LOCAL_DISK="file:///mnt/trusta-t7p5-kv/" LMCACHE_MAX_LOCAL_DISK_SIZE=1024
vllm serve Qwen/Qwen3-235B-A22B-FP8 --max-model-len 131072 --enable-prefix-caching \
  --kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}' --port 8100

# 3) On a MiTAC G4520G6 decode node: confirm all 32x HTX301 PCIe endpoints (8 cards x 4 chips)
lspci | grep -ciE 'Skymizer|HTX301'
FIELD Q&A // 常见实测疑问与边界解答

复现常见疑问与深层原理解答

Q: 有了 TRUSTA AI Scaler 和 13.5 GB/s 的 PCIe Gen5 固态卸载 KV 缓存后,24GB 显卡能直接跑 120B 大模型吗?

不能——必须严格区分 模型权重常驻 与 KV 缓存分层卸载。13.5 GB/s 的 PCIe Gen5 固态非常适合持久化保存与秒级重载 多用户/多轮 Agent 的长上下文 KV 缓存(避免换人或重启后重算 64K–128K 提示词);而活跃模型权重在生成每一个字时都要全量读取,若从 13.5 GB/s 固态流式读 70GB 权重,吐字速率会跌到不足 0.2 tok/s。权重仍必须留在显存、统一内存或多通道 DDR5/MRDIMM 中。

Q: 为什么 Skymizer HTX301-4S 选择在单张卡上放置 4 颗小芯片配普通 DRAM,而不是做一颗超大 HBM 芯片?

对于 Kimi K3.1 Pro(1.56 TB MXFP4) 这类万亿级稀疏 MoE,解码阶段真正卡脖子的是每元/每瓦所能买到的内存总容量,而非峰值矩阵算力。单卡拆为 4 颗独立 HTX301 解码引擎并联大容量经济型 DRAM,彻底避开了 CoWoS 与 HBM 封装产能瓶颈,在单卡 ~155W 功耗下实现 256 GB(4U 风冷整机 2 TB),把昂贵的高算力 GPU 留给纯算力密集型的短时预填充阶段。

REPRODUCIBLE ARTIFACT // 配套可参数化附件

SC26 预填充/解码分离(Skymizer HTX301-4S 2TB)与 TRUSTA PCIe Gen5 三层 vLLM KV 卸载启动脚本

核查 PCIe Gen5 NVMe 固态带宽与 FDP 命名空间,启动 TRUSTA AI Scaler 风格的「显存 → 内存 → Gen5 固态」三层持久化 vLLM KV 缓存卸载;或分别核验并拉起异构预填充节点与 MiTAC G4520G6(8× Skymizer HTX301-4S 2TB)解码节点。

launch-disagg-or-trusta-kv-vllm.sh ↗
修改上方参数将实时更新下方配置内容
#!/usr/bin/env bash
# Tinker AI — SC26 Disaggregated Prefill/Decode (Skymizer HTX301-4S 2TB) & TRUSTA PCIe Gen5 3-Tier vLLM KV Offload (Guide #59)
set -euo pipefail

MODE="trusta_tiered_kv_vllm"
MODEL="Qwen/Qwen3-235B-A22B-FP8"
KV_DIR="/mnt/trusta-t7p5-kv"
DRAM_GB="192"
PORT="8100"

echo "=== [SC26 Storage & Accelerator Audit] Checking PCIe Gen5 NVMe Links & CPU AMX ==="
lspci -vv 2>/dev/null | grep -E 'Non-Volatile|LnkSta:' | head -n 16 || true
grep -m1 -o 'amx_bf16' /proc/cpuinfo && echo "[OK] Intel AMX BF16 detected (accelerates host prefill up to ~25%)" || echo "[INFO] Non-AMX CPU detected"

if [ "$MODE" = "trusta_tiered_kv_vllm" ]; then
  echo "=== [TRUSTA AI Scaler / 3-Tier vLLM KV Pool] GPU VRAM -> ${DRAM_GB}GB DRAM -> $KV_DIR (PCIe Gen5 NVMe) ==="
  mkdir -p "$KV_DIR"
  df -h "$KV_DIR"
  export LMCACHE_USE_EXPERIMENTAL=True
  export LMCACHE_LOCAL_CPU=True
  export LMCACHE_MAX_LOCAL_CPU_SIZE="$DRAM_GB"
  export LMCACHE_LOCAL_DISK="file://$KV_DIR/"
  export LMCACHE_MAX_LOCAL_DISK_SIZE=1024
  exec vllm serve "$MODEL" \
    --max-model-len 131072 \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.90 \
    --kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}' \
    --host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "disagg_prefill_node" ]; then
  echo "=== [Disaggregated Prefill Node] Serving Compute-Bound Prefill Producer on Port $PORT ==="
  exec vllm serve "$MODEL" \
    --max-model-len 131072 \
    --gpu-memory-utilization 0.92 \
    --kv-transfer-config '{"kv_connector":"NixlConnector","kv_role":"kv_producer"}' \
    --host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "disagg_decode_htx301" ]; then
  echo "=== [MiTAC G4520G6 + 8x Skymizer HTX301-4S] Auditing 32x PCIe Decode Endpoints (4x HTX301 per Card) ==="
  HTX_COUNT="$(lspci | grep -ciE 'Skymizer|HTX301' || true)"
  echo "Detected HTX301 PCIe endpoints: $HTX_COUNT (expected: 4 per HTX301-4S card, 32 for 8-card 2TB decode node)"
  echo "[INFO] Launch LISA v3 decode consumer runtime pointing at prefill producer port $PORT for model $MODEL"
  echo "Example: lisa-serve --role kv_consumer --model '$MODEL' --kv-port '$PORT' --mem-budget-gb 1920"
else
  echo "Unknown RUN_MODE=$MODE (expected: trusta_tiered_kv_vllm | disagg_prefill_node | disagg_decode_htx301)" >&2
  exit 1
fi

更多可复现工程指南

查看全部 60 篇指南 →