SC26 异构预填充/解码分离与 PCIe Gen5 KV 卸载实战:MiTAC 4U + 8× Skymizer HTX301-4S(2TB 内存跑通 2.8T Kimi K3.1)对决 TRUSTA T7P5 AI Scaler 三层 vLLM 内存池
深度拆解 2026 年 11 月 SC26 超算大会上两大绕开天价 HBM 集群的本地部署新架构:一是 MiTAC G4520G6 4U 风冷至强 6 服务器满插 8 张 Skymizer HTX301-4S 解码优先 LPU 卡(单卡 256GB 经济型 DRAM、仅 ~155W,聚合 2TB)联合独立 GPU 预填充节点,实现 2.8T Kimi K3.1 Pro(MXFP4 约 1.56TB)单机房本地推理;二是威刚企业级品牌 TRUSTA AI Scaler 工具包搭配 T7P5 PCIe Gen5 固态(13.5 GB/s、<7W、支持 FDP),打造「显存 → 内存 → Gen5 固态」三层可跨重启持久化 vLLM KV 缓存池。
MiTAC G4520G6 4U(至强 6 + 8× Skymizer HTX301-4S · 2TB 内存)+ MI350X 预填充节点 vs 96GB 独显 + 256GB 内存 + TRUSTA T7P5 PCIe Gen5 固态(13.5 GB/s)
异构预填充/解码的跨机 KV 传输(高速 RDMA 局域网)与 TRUSTA 三层 PCIe Gen5 固态 KV 持久化均完全在本地机房或单机工作站闭环完成,无任何外网调用。
- Skymizer HTX301-4S 属于「解码优先」LPU,以大容量经济型 DRAM 替代昂贵 HBM——若直接用它处理 64K+ 超长首轮提示词预填充(Prefill),首字延迟(TTFT)会显著拉长,生产环境必须配合高算力 GPU 节点(如 MI350X 或高端工作站显卡)做预填充/解码分离。
- 每张 HTX301-4S 板载 4 颗独立 PCIe 芯片(8 卡 4U 服务器共暴露 32 个 PCIe 端点),需确保主板具备完整 PCIe Switch / 拆分拓扑,并通过 Skymizer LISA v3 工具链完成张量并行切分。
- TRUSTA AI Scaler / LMCache 三层固态卸载只负责加速多轮对话与长上下文 KV 缓存复用(甚至支持断电重启秒级恢复),并不能替代存放活跃模型权重所需的 GPU 显存;且高频 KV 写入严禁使用无 FDP 与低耐久度的消费级 QLC 固态,否则极易触发写放大掉速与寿命耗尽。
1. SC26 架构破局:为何用 8× Skymizer HTX301-4S(2TB 内存)拆分预填充与解码跑通 2.8T Kimi K3.1
MXFP4 权重即高达 1.56 TB),必须采购两台液冷 8 卡 H200/B200 旗舰机柜,硬件成本动辄数百万元。在 2026 年 11 月 SC26 超算大会 上,神达计算(MiTAC) 与 Skymizer 联合展示了更具性价比的 双机异构分离(Disaggregated Inference)本地推理方案:
- 预填充算力节点(MiTAC G8825Z5):由 AMD EPYC + Instinct MI350X/MI355X(或高算力 GPU)专注吞吐计算密集型的 Prompt 首轮预填充,快速产出 KV Cache。
- 解码大内存节点(MiTAC G4520G6 4U 风冷):采用 Intel 至强 6 宿主 CPU 搭配 8 张 Skymizer HTX301-4S PCIe 加速卡。每张卡功耗仅约 155W,板载 4 颗 HyperThought HTX301 解码优先 LPU(LISA v3 专用指令集)与 256 GB 经济型大容量 DRAM,单台 4U 风冷服务器即汇聚 2 TB 板载加速卡内存。预填充节点通过高速网络将 KV 传至解码节点后,8 卡稳稳装下 1.56 TB 满血 Kimi K3.1 Pro 权重并保留数百 GB KV 余量,彻底绕开了 HBM 产能与液冷机柜门槛。2. 单机工作站救星:TRUSTA AI Scaler 工具包 + T7P5 PCIe Gen5 SSD(13.5 GB/s · FDP)三层持久化 KV 卸载
GPU 显存 → 宿主机 DRAM → PCIe Gen5 NVMe):活跃生成留在显卡显存,温会话驻留系统内存,长周期多轮 Agent 与 128K RAG 文档上下文自动卸载至 TRUSTA T7P5 / T7P51 ECO PCIe Gen5 x4 企业级固态(顺序读取 13,500 MB/s、顺序写入 10,300 MB/s、随机读 320 万 IOPS、满载主控功耗 <7W,支持约 3 DWPD 高耐久与 NVMe FDP 灵活数据放置 以大幅降低写入放大)。
- 跨重启免重算 + Intel AMX 提速:持久化落盘的 KV 缓存即便在服务器重启或次日恢复长对话时,也能以 13.5 GB/s 秒级重载而非重新计算数万 Token 提示词;配合 Strata 引擎调用 Intel AMX 矩阵扩展,还可额外带来最高 25% 的宿主机预填充加速(下表 [Spec-Est.] 为基于物理规格推算值):| 架构与硬件形态 | 可用容量与典型功耗 | 最适负载与核心收益 | 落地硬性前置约束 |
|---|---|---|---|
| MiTAC G4520G6 + 8× Skymizer HTX301-4S(4U 解码机) | 2 TB 板载 DRAM(约 1.92 TB 可用)· 单卡 ~155W(风冷) | 单台 4U 风冷本地装下 2.8T Kimi K3.1 Pro MXFP4(1.56 TB)[Spec-Est.] | 必须搭配独立 GPU 预填充节点(高速 KV 传输)与 LISA v3 栈 |
单卡 Skymizer HTX301-4S(256GB 解码卡) | 256 GB DRAM(约 240 GB 可用)· ~155W PCIe | 高性价比承载 235B / 120B 级 MoE 解码流 [Spec-Est.] | 单卡暴露 4 个 PCIe 端点;避免纯卡硬扛超长预填充 |
| 96GB 独显 + 256GB 内存 + TRUSTA T7P5 Gen5 SSD(三层 vLLM) | 96GB 显存 + 256GB 内存 + TB 级 13.5 GB/s 固态(<7W/盘) | 多并发 64K–128K Agent 场景;跨重启保留 KV,命中提速 5–10 倍 [Spec-Est.] | 模型权重仍需装入显存;严禁消费级 QLC 盘承接高频 KV 写入 |
| 传统双机 16× H200 / B200 HBM 集群 | 2.25–2.88 TB HBM3e · 15–24 kW(高密风冷/液冷机柜) | 预填充与解码绝对吞吐最高,无需异构分离编排 | 采购成本高出 5–10 倍,受限于机房供电与散热改造 |
3. 可复现部署命令:启动 vLLM 三层 PCIe Gen5 KV 卸载与异构预填充/解码节点自检
vLLM v0.33.0+ 的 LMCacheConnectorV1 复现 TRUSTA AI Scaler 同款三层持久化 KV 缓存池;在多机架构下则可通过 NixlConnector 将高算力 GPU 设为 kv_producer(预填充)并向大内存解码节点推送 KV 块。# 1) Verify PCIe Gen5 x4 link speed (32GT/s) & Intel AMX BF16 support
sudo lspci -vv | grep -E 'Non-Volatile|LnkSta:' | head -n 12
grep -m1 -o 'amx_bf16' /proc/cpuinfo || true
# 2) Launch vLLM with 3-tier persistent KV offload (GPU -> 192GB DRAM -> TRUSTA T7P5 Gen5 NVMe)
export LMCACHE_USE_EXPERIMENTAL=True
export LMCACHE_LOCAL_CPU=True LMCACHE_MAX_LOCAL_CPU_SIZE=192
export LMCACHE_LOCAL_DISK="file:///mnt/trusta-t7p5-kv/" LMCACHE_MAX_LOCAL_DISK_SIZE=1024
vllm serve Qwen/Qwen3-235B-A22B-FP8 --max-model-len 131072 --enable-prefix-caching \
--kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}' --port 8100
# 3) On a MiTAC G4520G6 decode node: confirm all 32x HTX301 PCIe endpoints (8 cards x 4 chips)
lspci | grep -ciE 'Skymizer|HTX301'复现常见疑问与深层原理解答
Q: 有了 TRUSTA AI Scaler 和 13.5 GB/s 的 PCIe Gen5 固态卸载 KV 缓存后,24GB 显卡能直接跑 120B 大模型吗?
不能——必须严格区分 模型权重常驻 与 KV 缓存分层卸载。13.5 GB/s 的 PCIe Gen5 固态非常适合持久化保存与秒级重载 多用户/多轮 Agent 的长上下文 KV 缓存(避免换人或重启后重算 64K–128K 提示词);而活跃模型权重在生成每一个字时都要全量读取,若从 13.5 GB/s 固态流式读 70GB 权重,吐字速率会跌到不足 0.2 tok/s。权重仍必须留在显存、统一内存或多通道 DDR5/MRDIMM 中。
Q: 为什么 Skymizer HTX301-4S 选择在单张卡上放置 4 颗小芯片配普通 DRAM,而不是做一颗超大 HBM 芯片?
对于 Kimi K3.1 Pro(1.56 TB MXFP4) 这类万亿级稀疏 MoE,解码阶段真正卡脖子的是每元/每瓦所能买到的内存总容量,而非峰值矩阵算力。单卡拆为 4 颗独立 HTX301 解码引擎并联大容量经济型 DRAM,彻底避开了 CoWoS 与 HBM 封装产能瓶颈,在单卡 ~155W 功耗下实现 256 GB(4U 风冷整机 2 TB),把昂贵的高算力 GPU 留给纯算力密集型的短时预填充阶段。
SC26 预填充/解码分离(Skymizer HTX301-4S 2TB)与 TRUSTA PCIe Gen5 三层 vLLM KV 卸载启动脚本
核查 PCIe Gen5 NVMe 固态带宽与 FDP 命名空间,启动 TRUSTA AI Scaler 风格的「显存 → 内存 → Gen5 固态」三层持久化 vLLM KV 缓存卸载;或分别核验并拉起异构预填充节点与 MiTAC G4520G6(8× Skymizer HTX301-4S 2TB)解码节点。
#!/usr/bin/env bash
# Tinker AI — SC26 Disaggregated Prefill/Decode (Skymizer HTX301-4S 2TB) & TRUSTA PCIe Gen5 3-Tier vLLM KV Offload (Guide #59)
set -euo pipefail
MODE="trusta_tiered_kv_vllm"
MODEL="Qwen/Qwen3-235B-A22B-FP8"
KV_DIR="/mnt/trusta-t7p5-kv"
DRAM_GB="192"
PORT="8100"
echo "=== [SC26 Storage & Accelerator Audit] Checking PCIe Gen5 NVMe Links & CPU AMX ==="
lspci -vv 2>/dev/null | grep -E 'Non-Volatile|LnkSta:' | head -n 16 || true
grep -m1 -o 'amx_bf16' /proc/cpuinfo && echo "[OK] Intel AMX BF16 detected (accelerates host prefill up to ~25%)" || echo "[INFO] Non-AMX CPU detected"
if [ "$MODE" = "trusta_tiered_kv_vllm" ]; then
echo "=== [TRUSTA AI Scaler / 3-Tier vLLM KV Pool] GPU VRAM -> ${DRAM_GB}GB DRAM -> $KV_DIR (PCIe Gen5 NVMe) ==="
mkdir -p "$KV_DIR"
df -h "$KV_DIR"
export LMCACHE_USE_EXPERIMENTAL=True
export LMCACHE_LOCAL_CPU=True
export LMCACHE_MAX_LOCAL_CPU_SIZE="$DRAM_GB"
export LMCACHE_LOCAL_DISK="file://$KV_DIR/"
export LMCACHE_MAX_LOCAL_DISK_SIZE=1024
exec vllm serve "$MODEL" \
--max-model-len 131072 \
--enable-prefix-caching \
--gpu-memory-utilization 0.90 \
--kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}' \
--host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "disagg_prefill_node" ]; then
echo "=== [Disaggregated Prefill Node] Serving Compute-Bound Prefill Producer on Port $PORT ==="
exec vllm serve "$MODEL" \
--max-model-len 131072 \
--gpu-memory-utilization 0.92 \
--kv-transfer-config '{"kv_connector":"NixlConnector","kv_role":"kv_producer"}' \
--host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "disagg_decode_htx301" ]; then
echo "=== [MiTAC G4520G6 + 8x Skymizer HTX301-4S] Auditing 32x PCIe Decode Endpoints (4x HTX301 per Card) ==="
HTX_COUNT="$(lspci | grep -ciE 'Skymizer|HTX301' || true)"
echo "Detected HTX301 PCIe endpoints: $HTX_COUNT (expected: 4 per HTX301-4S card, 32 for 8-card 2TB decode node)"
echo "[INFO] Launch LISA v3 decode consumer runtime pointing at prefill producer port $PORT for model $MODEL"
echo "Example: lisa-serve --role kv_consumer --model '$MODEL' --kv-port '$PORT' --mem-budget-gb 1920"
else
echo "Unknown RUN_MODE=$MODE (expected: trusta_tiered_kv_vllm | disagg_prefill_node | disagg_decode_htx301)" >&2
exit 1
fi