TinkerLab
ARTIFACT // LAUNCH-DISAGG-OR-TRUSTA-KV-VLLM.SH (SH)

SC26 预填充/解码分离(Skymizer HTX301-4S 2TB)与 TRUSTA PCIe Gen5 三层 vLLM KV 卸载启动脚本 (launch-disagg-or-trusta-kv-vllm.sh)

核查 PCIe Gen5 NVMe 固态带宽与 FDP 命名空间,启动 TRUSTA AI Scaler 风格的「显存 → 内存 → Gen5 固态」三层持久化 vLLM KV 缓存卸载;或分别核验并拉起异构预填充节点与 MiTAC G4520G6(8× Skymizer HTX301-4S 2TB)解码节点。

[核心实测结论 / TL;DR]本配置包「SC26 预填充/解码分离(Skymizer HTX301-4S 2TB)与 TRUSTA PCIe Gen5 三层 vLLM KV 卸载启动脚本」(文件名:launch-disagg-or-trusta-kv-vllm.sh,格式:SH)是 Tinker AI 实测工坊配套指南《sc26-disaggregated-inference-skymizer-htx301-2tb-vs-trusta-ai-scaler-pcie5-kv-offload》的参数化生产模板。支持在本地浏览器实时定制 运行模式 (trusta_tiered_kv_vllm | disagg_prefill_node | disagg_decode_htx301) (RUN_MODE=trusta_tiered_kv_vllm)、模型仓库或本地权重路径 (MODEL_PATH=Qwen/Qwen3-235B-A22B-FP8)、PCIe Gen5 NVMe KV 持久化挂载目录 (NVME_KV_DIR=/mnt/trusta-t7p5-kv)、宿主机 DRAM 二级 KV 缓存上限 (GB) (DRAM_CACHE_GB=192)、KV 传输 / API 监听端口 (KV_TRANSFER_PORT=8100) 等 5 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-20
查看全部 60 套配置附件 →
launch-disagg-or-trusta-kv-vllm.sh

SC26 预填充/解码分离(Skymizer HTX301-4S 2TB)与 TRUSTA PCIe Gen5 三层 vLLM KV 卸载启动脚本

核查 PCIe Gen5 NVMe 固态带宽与 FDP 命名空间,启动 TRUSTA AI Scaler 风格的「显存 → 内存 → Gen5 固态」三层持久化 vLLM KV 缓存卸载;或分别核验并拉起异构预填充节点与 MiTAC G4520G6(8× Skymizer HTX301-4S 2TB)解码节点。

查看配套实测指南 →
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — SC26 Disaggregated Prefill/Decode (Skymizer HTX301-4S 2TB) & TRUSTA PCIe Gen5 3-Tier vLLM KV Offload (Guide #59)
set -euo pipefail

MODE="trusta_tiered_kv_vllm"
MODEL="Qwen/Qwen3-235B-A22B-FP8"
KV_DIR="/mnt/trusta-t7p5-kv"
DRAM_GB="192"
PORT="8100"

echo "=== [SC26 Storage & Accelerator Audit] Checking PCIe Gen5 NVMe Links & CPU AMX ==="
lspci -vv 2>/dev/null | grep -E 'Non-Volatile|LnkSta:' | head -n 16 || true
grep -m1 -o 'amx_bf16' /proc/cpuinfo && echo "[OK] Intel AMX BF16 detected (accelerates host prefill up to ~25%)" || echo "[INFO] Non-AMX CPU detected"

if [ "$MODE" = "trusta_tiered_kv_vllm" ]; then
  echo "=== [TRUSTA AI Scaler / 3-Tier vLLM KV Pool] GPU VRAM -> ${DRAM_GB}GB DRAM -> $KV_DIR (PCIe Gen5 NVMe) ==="
  mkdir -p "$KV_DIR"
  df -h "$KV_DIR"
  export LMCACHE_USE_EXPERIMENTAL=True
  export LMCACHE_LOCAL_CPU=True
  export LMCACHE_MAX_LOCAL_CPU_SIZE="$DRAM_GB"
  export LMCACHE_LOCAL_DISK="file://$KV_DIR/"
  export LMCACHE_MAX_LOCAL_DISK_SIZE=1024
  exec vllm serve "$MODEL" \
    --max-model-len 131072 \
    --enable-prefix-caching \
    --gpu-memory-utilization 0.90 \
    --kv-transfer-config '{"kv_connector":"LMCacheConnectorV1","kv_role":"kv_both"}' \
    --host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "disagg_prefill_node" ]; then
  echo "=== [Disaggregated Prefill Node] Serving Compute-Bound Prefill Producer on Port $PORT ==="
  exec vllm serve "$MODEL" \
    --max-model-len 131072 \
    --gpu-memory-utilization 0.92 \
    --kv-transfer-config '{"kv_connector":"NixlConnector","kv_role":"kv_producer"}' \
    --host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "disagg_decode_htx301" ]; then
  echo "=== [MiTAC G4520G6 + 8x Skymizer HTX301-4S] Auditing 32x PCIe Decode Endpoints (4x HTX301 per Card) ==="
  HTX_COUNT="$(lspci | grep -ciE 'Skymizer|HTX301' || true)"
  echo "Detected HTX301 PCIe endpoints: $HTX_COUNT (expected: 4 per HTX301-4S card, 32 for 8-card 2TB decode node)"
  echo "[INFO] Launch LISA v3 decode consumer runtime pointing at prefill producer port $PORT for model $MODEL"
  echo "Example: lisa-serve --role kv_consumer --model '$MODEL' --kv-port '$PORT' --mem-budget-gb 1920"
else
  echo "Unknown RUN_MODE=$MODE (expected: trusta_tiered_kv_vllm | disagg_prefill_node | disagg_decode_htx301)" >&2
  exit 1
fi
PARAMETER SPECIFICATION // 参数化变量规范说明表

「launch-disagg-or-trusta-kv-vllm.sh」可定制环境变量与默认值说明

本配置模板(SH 格式)支持 5 项运行时参数注入,所有替换均在本地浏览器内完成。

模板占位符参数用途说明安全默认值填写示例
{{RUN_MODE}}运行模式 (trusta_tiered_kv_vllm | disagg_prefill_node | disagg_decode_htx301)trusta_tiered_kv_vllmtrusta_tiered_kv_vllm
{{MODEL_PATH}}模型仓库或本地权重路径Qwen/Qwen3-235B-A22B-FP8Qwen/Qwen3-235B-A22B-FP8
{{NVME_KV_DIR}}PCIe Gen5 NVMe KV 持久化挂载目录/mnt/trusta-t7p5-kv/mnt/trusta-t7p5-kv
{{DRAM_CACHE_GB}}宿主机 DRAM 二级 KV 缓存上限 (GB)192192
{{KV_TRANSFER_PORT}}KV 传输 / API 监听端口81008100
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录

配套指南《SC26 异构预填充/解码分离与 PCIe Gen5 KV 卸载实战:MiTAC 4U + 8× Skymizer HTX301-4S(2TB 内存跑通 2.8T Kimi K3.1)对决 TRUSTA T7P5 AI Scaler 三层 vLLM 内存池》验证基线

实测硬件与操作系统 (Hardware & OS)

MiTAC G4520G6 4U(至强 6 + 8× Skymizer HTX301-4S · 2TB 内存)+ MI350X 预填充节点 vs 96GB 独显 + 256GB 内存 + TRUSTA T7P5 PCIe Gen5 固态(13.5 GB/s)

锁定软件栈与模型版本 (Pinned Versions)
vLLM v0.33.0+ (Disaggregated NixlConnector / LMCacheConnectorV1)Skymizer HyperThought LISA v3 Toolchain (HTX301-4S 4-Chip PCIe)TRUSTA AI Scaler Toolkit + Strata / Intel AMX BF16 PrefillKimi-K3.1-Pro (2.8T MXFP4 ~1.56TB) & Qwen3-235B-A22B
离线与安全边界 (100% 离线私有化机柜与工作站运行)

异构预填充/解码的跨机 KV 传输(高速 RDMA 局域网)与 TRUSTA 三层 PCIe Gen5 固态 KV 持久化均完全在本地机房或单机工作站闭环完成,无任何外网调用。

已知限制与失败边界 (Known Limits)
  • Skymizer HTX301-4S 属于「解码优先」LPU,以大容量经济型 DRAM 替代昂贵 HBM——若直接用它处理 64K+ 超长首轮提示词预填充(Prefill),首字延迟(TTFT)会显著拉长,生产环境必须配合高算力 GPU 节点(如 MI350X 或高端工作站显卡)做预填充/解码分离。
  • 每张 HTX301-4S 板载 4 颗独立 PCIe 芯片(8 卡 4U 服务器共暴露 32 个 PCIe 端点),需确保主板具备完整 PCIe Switch / 拆分拓扑,并通过 Skymizer LISA v3 工具链完成张量并行切分。
  • TRUSTA AI Scaler / LMCache 三层固态卸载只负责加速多轮对话与长上下文 KV 缓存复用(甚至支持断电重启秒级恢复),并不能替代存放活跃模型权重所需的 GPU 显存;且高频 KV 写入严禁使用无 FDP 与低耐久度的消费级 QLC 固态,否则极易触发写放大掉速与寿命耗尽。
DEPLOYMENT CHECKLIST // 配置落地核验步骤

部署 launch-disagg-or-trusta-kv-vllm.sh 后的 3 步验收清单

  1. 已通过 lspci -vv 确认 KV 卸载盘协商在满血 PCIe Gen5 x4 (32GT/s) 速率,且选用企业级高耐久/FDP 固态(如 TRUSTA T7P5)而非消费级 QLC 盘。
  2. 已对同一段 32K+ 长上下文提示词进行两次请求(含重启 vLLM 后复测),确认命中 NVMe/DRAM 持久化 KV 缓存后首字延迟(TTFT)显著下降而非重算。
  3. 规划预填充/解码分离集群(如 GPU 预填充 + Skymizer HTX301-4S 解码)时,已配置 100GbE–400GbE RDMA/RoCEv2 互联,避免跨机 KV 拷贝成为新瓶颈。