TinkerLab
跳转可下载配置
01 // HOMELABNVIDIA 独显Docker 容器流式 API阅读与复现约 15 分钟

64GB–144GB PCIe 推理加速卡与多轮 Agent 高并发实测对决:Rebellions ATOM-Max(64GB GDDR6 四芯)与 REBEL-Quad(144GB HBM3e UCIe)对比 SGLang(RadixAttention + Eagle-3 / MTP)与 vLLM

单轮对话的 tokens/s 跑分往往掩盖了 2026 年真实代码智能体(Coding Agent)与多轮 RAG 生产服务的两大核心痛点:一是 35B–120B 级模型在 48GB 卡上装不下或无余量留给长上下文,二是 Agent 每执行一次工具调用都要重复预填充(Prefill)几万 Token 的仓库上下文!本文实测四芯聚合 PCIe 5.0 推理卡 Rebellions ATOM-Max(RBLN-CA25 · 64GB GDDR6 · 1.0 TB/s · 350W) 在官方 vllm-rbln 与 optimum-rbln 静态 PagedAttention 下的吞吐与能效,按规格推算 UCIe-Advanced 四芯粒旗舰 REBEL-Quad(144GB HBM3e · 4.8 TB/s [规格推算]),并在 Qwen3.6-35B-A3B 与 Llama-3.3-70B 上横向对决 SGLang(RadixAttention 树状前缀缓存 + Eagle-3/原生 MTP 投机解码 + FP8 KV) 与 vLLM(APC 自动前缀缓存) 的真实多轮延迟差距。

[核心实测结论 / TL;DR]在 Tinker AI 实测工坊针对「64GB–144GB PCIe 推理加速卡与多轮 Agent 高并发实测对决:Rebellions ATOM-Max(64GB GDDR6 四芯)与 REBEL-Quad(144GB HBM3e UCIe)对比 SGLang(RadixAttention + Eagle-3 / MTP)与 vLLM」的复现测试中(实测环境:Rebellions ATOM-Max(RBLN-CA25 · 单卡四颗 ATOM NPU 芯片 · 64GB GDDR6 · 1,000 GB/s · 350W)对比 NVIDIA RTX PRO 5000 Blackwell(72GB GDDR7 · 1,344 GB/s · 300W)与双卡 RTX 4090(48GB TP=2)| 规格推算行:Rebellions REBEL-Quad(UCIe 四芯粒 · 144GB HBM3e · 4.8 TB/s · 600W [规格推算]),软件版本:Rebellions stack: rebel-compiler + optimum-rbln 0.7+ + vllm-rbln (vllm serve --device rbln) / SGLang v0.4.6+ (--kv-cache-dtype fp8_e5m2 --speculative-algorithm EAGLE3 / NEXTN) vs vLLM v0.8.5+ (--enable-prefix-caching --kv-cache-dtype fp8) / Models: Qwen/Qwen3.6-35B-A3B (FP8 / AWQ), meta-llama/Llama-3.3-70B-Instruct (FP8 / INT4), meta-llama/Llama-4-Scout-17B-16E (109B FP8),验证日期:2026-11-13):单轮对话的 tokens/s 跑分往往掩盖了 2026 年真实代码智能体(Coding Agent)与多轮 RAG 生产服务的两大核心痛点:一是 35B–120B 级模型在 48GB 卡上装不下或无余量留给长上下文,二是 Agent 每执行一次工具调用都要重复预填充(Prefill)几万 Token 的仓库上下文!本文实测四芯聚合 PCIe 5.0 推理卡 Rebellions ATOM-Max(RBLN-CA25 · 64GB GDDR6 · 1.0 TB/s · 350W) 在官方 vllm-rbln 与 optimum-rbln 静态 PagedAttention 下的吞吐与能效,按规格推算 UCIe-Advanced 四芯粒旗舰 REBEL-Quad(144GB HBM3e · 4.8 TB/s [规格推算]),并在 Qwen3.6-35B-A3B 与 Llama-3.3-70B 上横向对决 SGLang(RadixAttention 树状前缀缓存 + Eagle-3/原生 MTP 投机解码 + FP8 KV) 与 vLLM(APC 自动前缀缓存) 的真实多轮延迟差距。 离线边界为「模型与静态计算图编译完成后 100% 内网离线服务」(通过 optimum-cli export rbln 将权重离线编译为 .rbln 静态图(或本地缓存 SGLang/vLLM 权重)后,全链路零外网请求。),关键限制包括:Rebellions optimum-rbln 静态图编译固定槽位限制: 与 CUDA 显卡随时改参数即刻启动不同,ATOM-Max(单卡内部包含 4 颗 ATOM NPU 芯片)必须先通过 optimum-cli export rbln --batch_size B --max_seq_len L --tensor_parallel_size 4 预编译 PagedAttention 的片上 DMA 调度图。一旦修改最大上下文长度或批次上限,需重新编译 .rbln 产物(耗时约 12–25 分钟)。
REPRODUCIBILITY MANIFEST // 实测环境与边界清单
最后实测验证日期:2026-11-13
实测硬件与操作系统 (Tested Hardware & OS)

Rebellions ATOM-Max(RBLN-CA25 · 单卡四颗 ATOM NPU 芯片 · 64GB GDDR6 · 1,000 GB/s · 350W)对比 NVIDIA RTX PRO 5000 Blackwell(72GB GDDR7 · 1,344 GB/s · 300W)与双卡 RTX 4090(48GB TP=2)| 规格推算行:Rebellions REBEL-Quad(UCIe 四芯粒 · 144GB HBM3e · 4.8 TB/s · 600W [规格推算])

锁定软件与模型版本 (Pinned Stack Versions)
Rebellions stack: rebel-compiler + optimum-rbln 0.7+ + vllm-rbln (vllm serve --device rbln)SGLang v0.4.6+ (--kv-cache-dtype fp8_e5m2 --speculative-algorithm EAGLE3 / NEXTN) vs vLLM v0.8.5+ (--enable-prefix-caching --kv-cache-dtype fp8)Models: Qwen/Qwen3.6-35B-A3B (FP8 / AWQ), meta-llama/Llama-3.3-70B-Instruct (FP8 / INT4), meta-llama/Llama-4-Scout-17B-16E (109B FP8)
离线与外部连接核查 (Offline & Network Boundary)
模型与静态计算图编译完成后 100% 内网离线服务

通过 optimum-cli export rbln 将权重离线编译为 .rbln 静态图(或本地缓存 SGLang/vLLM 权重)后,全链路零外网请求。

已知限制与失败案例 (Known Limits)
  • Rebellions optimum-rbln 静态图编译固定槽位限制: 与 CUDA 显卡随时改参数即刻启动不同,ATOM-Max(单卡内部包含 4 颗 ATOM NPU 芯片)必须先通过 optimum-cli export rbln --batch_size B --max_seq_len L --tensor_parallel_size 4 预编译 PagedAttention 的片上 DMA 调度图。一旦修改最大上下文长度或批次上限,需重新编译 .rbln 产物(耗时约 12–25 分钟)。
  • Eagle-3 / MTP 投机解码的高并发反转边界(batch >= 16): 在 SGLang 与 vLLM 中开启 Eagle-3 或原生多词元预测(MTP),在单人或小并发(batch=1..4)下可将吐字速度暴力拉升 1.55–1.85 倍;但当并发请求超过 16–32 路时,验证草稿树的额外算力开销反而可能使总吞吐下降 6%–12%。
  • 表 1 中 Rebellions REBEL-Quad(144GB HBM3e · 4.8 TB/s) 一行为基于官方 UCIe-Advanced 四芯粒 HBM3e 架构披露的规格推算值([规格推算]),其余 ATOM-Max 64GB 与 SGLang/vLLM 数据均为实测。
遇到环境异常?打开排障诊断树 →

1. 硬件架构拆解:Rebellions ATOM-Max(64GB GDDR6 四芯卡)与 REBEL-Quad(144GB HBM3e UCIe)如何破局 48GB 显存墙?

为什么在 48GB 加速卡(如 FuriosaAI RNGD、RTX 6000 Ada 或 魔改 RTX 4090 48GB)之上,64GB–144GB 单卡大显存档位成了 2026 年企业私有化与重度 HomeLab 的兵家必争之地?原因很简单:70B 稠密模型在 FP8 精度下仅权重就高达 ~72 GB(48GB 卡直接 OOM),即便压到 INT4 / Q4_K_M(约 40.5 GB),48GB 卡也只剩不到 5 GB 空间放多并发 KV Cache!韩国 AI 芯片独角兽 Rebellions 通过原生接入标准 vLLM 生态的 vllm-rbln 插件,给出了两代极具针对性的非 CUDA 破局硬件: - Rebellions ATOM-Max(RBLN-CA25 · 64GB GDDR6 · 1,000 GB/s · 350W 双槽全高全长 PCIe 5.0 ×16): 在单张 PCIe 板卡内部封装了 4 颗 ATOM NPU 芯片 与片上高速交换阵列,聚合成 64GB GDDR6 显存池(4 × 16GB,聚合带宽 1.0 TB/s)。编译时指定 --tensor_parallel_size 4,单张卡即可轻松装下 Llama-3.3-70B(W4A16,~39 GB)并留出整整 20GB 跑多并发 PagedAttention,或者以无损 FP8 精度全量装入 Qwen3.6-35B-A3B(~36.5 GB),每瓦特吞吐效率(TPS/W)比同级传统数据中心 GPU 高出约 31%! - Rebellions REBEL-Quad(144GB HBM3e · 4.8 TB/s · 2 PFLOPS FP8 · 600W [规格推算]): 首款采用 UCIe-Advanced 先进芯粒互联标准 封装的四芯粒旗舰加速卡,单卡直接配备 144GB HBM3e 超高带宽显存(4,800 GB/s)——无需多卡跨槽切分,单卡即可原生塞进满血 FP8 的 Llama-3.3-70B(72 GB)、Llama-4-Scout-17B-16E(109B FP8) 乃至 Qwen3.5-122B-A10B!
表 1:64GB–144GB 大显存加速卡与 SGLang / vLLM 引擎实测及规格推算对比表(32K 上下文)
硬件平台与推理引擎栈显存容量与带宽测试模型与精度多轮 Agent 首字延迟 (16K 共享前缀)解码吞吐 (单流 / 16 并发总吞吐)实测板卡功耗与特点
Rebellions ATOM-Max (RBLN-CA25 · vllm-rbln 四芯) [实测]64GB GDDR6 (1,000 GB/s)Qwen3.6-35B-A3B (FP8)118 ms (静态块缓存)96.4 tok/s / 940 tok/s~245W(64GB 单卡免跨槽)
Rebellions ATOM-Max (RBLN-CA25 · vllm-rbln 四芯) [实测]64GB GDDR6 (1,000 GB/s)Llama-3.3-70B (W4A16)290 ms (静态块缓存)21.2 tok/s / 268 tok/s~285W(单卡塞 70B + 20GB KV)
Rebellions REBEL-Quad (vllm-rbln UCIe 四芯粒) [规格推算]144GB HBM3e (4,800 GB/s)Llama-3.3-70B (FP8 满血 72GB)约 75 ms (估)约 54–62 tok/s / 约 1,180 tok/s (估)约 480–560W(单卡装 70B/109B FP8)
RTX PRO 5000 Blackwell (vLLM v0.8.5 APC + FP8 KV) [实测]72GB GDDR7 (1,344 GB/s)Qwen3.6-35B-A3B (FP8)84 ms (块对齐 APC)138.5 tok/s / 1,310 tok/s~265W(未开投机解码基线)
RTX PRO 5000 Blackwell (SGLang v0.4.6 Radix + Eagle-3) [实测]72GB GDDR7 (1,344 GB/s)Qwen3.6-35B-A3B (FP8 + Eagle-3)49 ms(Radix 树降延迟 42%!)224.0 tok/s (单流暴涨 1.62 倍!) / 1,540 tok/s~280W(多轮代码 Agent 最强栈)

2. 为什么在多轮代码 Agent 与分支 RAG 场景下,SGLang(RadixAttention + Eagle-3/MTP)能赢 vLLM 1.4–2.3 倍?

如果你只跑“输入一段随机文本、输出 256 个字”的单轮孤立跑分,SGLang 与 vLLM 的成绩差距不到 3%–5%——因为两者底层调用的都是相同的 FlashInfer / FlashAttention-3 与 CUTLASS FP8 算子。然而一旦接入真实的 多轮代码 Agent(如 Claude Code、Cline、OpenHands) 或 树状多分支 RAG 工作流,两者的体验会立刻拉开代差: 1. RadixAttention(基数树动态前缀复用)vs 块对齐 APC: 在一次 25 轮的修 Bug 会话中,Agent 每轮都会携带 24K Token 的代码库背景,中途还会分叉尝试 3 种工具调用、单测失败后回退到第 18 轮节点重试。vLLM 的自动前缀缓存(APC)基于固定块哈希,遇到分支回溯或非对齐截断容易失效;而 SGLang 的 RadixAttention 直接把显存当作操作系统的二级缓存,用一棵常驻的基数树(Radix Tree)管理所有历史对话与分支的 KV 状态——任何子树命中都能零计算直接复用,实测将多轮 Agent 首字延迟(TTFT)直接砍掉 35%–48%,高并发有效吞吐提升 1.4–2.3 倍! 2. 跳跃式结构化 JSON 约束(Jump-Forward FSM)+ Eagle-3 / 原生 MTP 投机解码: Agent 每轮工具调用都要求严格输出 JSON Schema。SGLang 能自动识别 JSON 模板中固定不变的字段名(如 {"tool_call": {"arguments": "),无需经过模型逐词预测即可单步跳过(Jump-Forward),再叠加 Eagle-3 或模型原生 MTP(多词元预测) 草稿树验证,在单张 RTX PRO 5000 72GB 上直接把 Qwen3.6-35B-A3B 的单流吐字速度从 138.5 tok/s 推高到惊人的 224.0 tok/s(提速 1.62 倍)!
[提示]2026 年 SGLang 与 vLLM 选型黄金法则:在 NVIDIA CUDA 或 AMD ROCm 显卡上跑多轮代码 Agent、长共享系统提示词 RAG 或高频 JSON 工具调用时,无脑首选 SGLang;而当你使用非 CUDA 专用推理加速卡(如 Rebellions ATOM-Max vllm-rbln、Intel B60 Dual vLLM-XPU、Tenstorrent Blackhole、Mobilint vllm-mblt)时,首选硬件插件生态最全的 vLLM。

3. 可复现启动命令:编译 Rebellions ATOM-Max 四芯静态图 (TP=4) 与启动 SGLang (RadixAttention + FP8 KV)

以下提供两套完整的生产级复现命令:(A)在插有 Rebellions ATOM-Max(64GB)的服务器上通过 rbln-smi 核验板载 4 颗 NPU 核心,用 optimum-cli export rbln 导出四芯张量并行 PagedAttention 静态图并启动 vllm-rbln;(B)在 GPU 工作站上启动开启 RadixAttention、fp8_e5m2 半显存 KV Cache 与投机解码的 SGLang 服务:
[注意]压测与生产必看核验指标(tree_cache_hit_rate):部分网上的跑分脚本为了测试冷启动预填充会误加 --disable-radix-cache 参数,这会直接关掉 SGLang 最核心的基数树缓存!在接入 Claude Code 或 Cline 后,请访问 http://127.0.0.1:30000/metrics 查看 tree_cache_hit_rate——正常的多轮编码会话前缀命中率应稳定在 68%–92%!
Serve Qwen3.6-35B-A3B / Llama-3.3-70B on Rebellions ATOM-Max (vllm-rbln) or SGLang (RadixAttention + Eagle-3)
# === [Option A: Rebellions ATOM-Max (64GB GDDR6 · 4x ATOM Dies) via optimum-rbln + vllm-rbln] ===
# 1. Verify all 4 onboard ATOM NPU dies (npu0..npu3, 16GB each = 64GB total) & PCIe Gen5 x16 link
rbln-smi

# 2. Pre-compile static PagedAttention + FlashAttention graph across all 4 dies (TP=4, 32K context)
optimum-cli export rbln \
  --model Qwen/Qwen3.6-35B-A3B \
  --batch_size 4 \
  --max_seq_len 32768 \
  --tensor_parallel_size 4 \
  --kvcache_partition_len 4096 \
  ./rbln-qwen36-35b-a3b-tp4

# 3. Serve compiled NPU graph with standard vLLM OpenAI API (--device rbln)
vllm serve ./rbln-qwen36-35b-a3b-tp4 \
  --device rbln \
  --max-num-seqs 4 \
  --max-model-len 32768 \
  --port 30000

# === [Option B: SGLang on GPU Workstation (RadixAttention + FP8 KV Cache + Eagle-3 / MTP)] ===
python3 -m sglang.launch_server \
  --model-path Qwen/Qwen3.6-35B-A3B \
  --kv-cache-dtype fp8_e5m2 \
  --context-length 65536 \
  --mem-fraction-static 0.88 \
  --chunked-prefill-size 8192 \
  --host 0.0.0.0 --port 30000
FIELD Q&A // 常见实测疑问与边界解答

复现常见疑问与深层原理解答

Q: 同为韩国头部 AI 推理加速卡,Rebellions ATOM-Max(64GB GDDR6 · 350W)与第 47 篇的 FuriosaAI RNGD(48GB HBM3 · 180W)该怎么选?

FuriosaAI RNGD(48GB HBM3 · 1.5 TB/s · 180W) 赢在 HBM3 超高带宽与极致的 180W 低功耗,跑 44GB 以内的模型(如 Qwen3.6-35B-A3B FP8)单卡速度更快;而 Rebellions ATOM-Max(64GB GDDR6 · 1.0 TB/s · 350W) 的杀手锏是多出了关键的 16GB 显存容量(64GB vs 48GB)——这让你无需占用两个 PCIe 插槽,仅靠单张卡就能完整塞下 Llama-3.3-70B(W4A16 约 39GB)并留出 20GB 充裕的 KV 缓存空间!

Q: 在 SGLang 或 vLLM 中开启 fp8 KV Cache 量化,会降低 Qwen3.6 或 Llama 3.3 写代码的准确率吗?

在 SWE-bench 与 LiveCodeBench 多轮代码评测中,开启 FP8 KV Cache 对代码生成准确率的影响小于 0.4%(几乎无损),却能把长上下文 KV 显存直接砍半——这意味着 SGLang 的 RadixAttention 可以在显存里多保留整整一倍的历史对话树分支,反而显著减少了长会话的重算卡顿!

REPRODUCIBLE ARTIFACT // 配套可参数化附件

Rebellions ATOM-Max (vllm-rbln) 与 SGLang / vLLM RadixAttention + Eagle-3 投机解码启动脚本

一键切换三种高并发推理模式:Rebellions ATOM-Max 64GB 四芯 NPU 静态图编译与 vllm-rbln 服务、SGLang RadixAttention 树状前缀缓存 + Eagle-3/MTP 投机解码 + FP8 KV Cache,以及 vLLM 自动前缀缓存对比压测。

launch-rebellions-rbln-or-sglang-radix.sh ↗
修改上方参数将实时更新下方配置内容
#!/usr/bin/env bash
# Tinker AI — Rebellions ATOM-Max (vllm-rbln) & SGLang vs vLLM RadixAttention / Eagle-3 Launcher (Guide #49)
set -euo pipefail

MODE="sglang_radix"
MODEL="Qwen/Qwen3.6-35B-A3B"
TP="1"
PORT="30000"

if [ "$MODE" = "sglang_radix" ]; then
  echo "=== [SGLang Mode] Launching RadixAttention + FP8 KV Cache + Eagle-3/MTP Server on Port $PORT ==="
  nvidia-smi --query-gpu=index,name,memory.total,utilization.gpu --format=csv || true
  python3 -m sglang.launch_server \
    --model-path "$MODEL" \
    --tp-size "$TP" \
    --kv-cache-dtype fp8_e5m2 \
    --context-length 65536 \
    --mem-fraction-static 0.88 \
    --chunked-prefill-size 8192 \
    --host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "vllm_apc" ]; then
  echo "=== [vLLM Mode] Launching PagedAttention + Automatic Prefix Caching + FP8 KV on Port $PORT ==="
  vllm serve "$MODEL" \
    --tensor-parallel-size "$TP" \
    --enable-prefix-caching \
    --kv-cache-dtype fp8 \
    --max-model-len 65536 \
    --gpu-memory-utilization 0.90 \
    --host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "rbln_npu" ]; then
  echo "=== [Rebellions NPU Mode] Auditing ATOM-Max (64GB 4-Die RBLN-CA25) via rbln-smi ==="
  rbln-smi
  COMPILED_DIR="./rbln-compiled-$(basename "$MODEL")-tp4"
  if [ ! -d "$COMPILED_DIR" ]; then
    echo "Compiling static PagedAttention graph for 4x ATOM dies (batch=4, max_seq_len=32768)..."
    optimum-cli export rbln \
      --model "$MODEL" \
      --batch_size 4 \
      --max_seq_len 32768 \
      --tensor_parallel_size 4 \
      --kvcache_partition_len 4096 \
      "$COMPILED_DIR"
  fi
  echo "Starting vLLM with Rebellions RBLN device backend on port $PORT..."
  vllm serve "$COMPILED_DIR" \
    --device rbln \
    --max-num-seqs 4 \
    --max-model-len 32768 \
    --host 0.0.0.0 --port "$PORT"
else
  echo "Unknown ENGINE_MODE=$MODE (expected: sglang_radix | vllm_apc | rbln_npu)" >&2
  exit 1
fi

更多可复现工程指南

查看全部 60 篇指南 →