ARTIFACT // LAUNCH-REBELLIONS-RBLN-OR-SGLANG-RADIX.SH (SH)
Rebellions ATOM-Max (vllm-rbln) 与 SGLang / vLLM RadixAttention + Eagle-3 投机解码启动脚本 (launch-rebellions-rbln-or-sglang-radix.sh)
一键切换三种高并发推理模式:Rebellions ATOM-Max 64GB 四芯 NPU 静态图编译与 vllm-rbln 服务、SGLang RadixAttention 树状前缀缓存 + Eagle-3/MTP 投机解码 + FP8 KV Cache,以及 vLLM 自动前缀缓存对比压测。
[核心实测结论 / TL;DR]本配置包「Rebellions ATOM-Max (vllm-rbln) 与 SGLang / vLLM RadixAttention + Eagle-3 投机解码启动脚本」(文件名:launch-rebellions-rbln-or-sglang-radix.sh,格式:SH)是 Tinker AI 实测工坊配套指南《rebellions-atom-max-64gb-rebel-quad-144gb-vs-sglang-vllm-radixattention-eagle3-mtp-local-llm-benchmark》的参数化生产模板。支持在本地浏览器实时定制 推理引擎模式(sglang_radix | vllm_apc | rbln_npu) (ENGINE_MODE=sglang_radix)、目标大模型 HuggingFace 仓库 (MODEL_REPO=Qwen/Qwen3.6-35B-A3B)、张量并行度 TP(ATOM-Max 四芯设 4;单/双卡 GPU 设 1 或 2) (TP_SIZE=1)、OpenAI 兼容服务端口 (SERVE_PORT=30000) 等 4 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-13
查看全部 60 套配置附件 →launch-rebellions-rbln-or-sglang-radix.sh
查看配套实测指南 →Rebellions ATOM-Max (vllm-rbln) 与 SGLang / vLLM RadixAttention + Eagle-3 投机解码启动脚本
一键切换三种高并发推理模式:Rebellions ATOM-Max 64GB 四芯 NPU 静态图编译与 vllm-rbln 服务、SGLang RadixAttention 树状前缀缓存 + Eagle-3/MTP 投机解码 + FP8 KV Cache,以及 vLLM 自动前缀缓存对比压测。
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — Rebellions ATOM-Max (vllm-rbln) & SGLang vs vLLM RadixAttention / Eagle-3 Launcher (Guide #49)
set -euo pipefail
MODE="sglang_radix"
MODEL="Qwen/Qwen3.6-35B-A3B"
TP="1"
PORT="30000"
if [ "$MODE" = "sglang_radix" ]; then
echo "=== [SGLang Mode] Launching RadixAttention + FP8 KV Cache + Eagle-3/MTP Server on Port $PORT ==="
nvidia-smi --query-gpu=index,name,memory.total,utilization.gpu --format=csv || true
python3 -m sglang.launch_server \
--model-path "$MODEL" \
--tp-size "$TP" \
--kv-cache-dtype fp8_e5m2 \
--context-length 65536 \
--mem-fraction-static 0.88 \
--chunked-prefill-size 8192 \
--host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "vllm_apc" ]; then
echo "=== [vLLM Mode] Launching PagedAttention + Automatic Prefix Caching + FP8 KV on Port $PORT ==="
vllm serve "$MODEL" \
--tensor-parallel-size "$TP" \
--enable-prefix-caching \
--kv-cache-dtype fp8 \
--max-model-len 65536 \
--gpu-memory-utilization 0.90 \
--host 0.0.0.0 --port "$PORT"
elif [ "$MODE" = "rbln_npu" ]; then
echo "=== [Rebellions NPU Mode] Auditing ATOM-Max (64GB 4-Die RBLN-CA25) via rbln-smi ==="
rbln-smi
COMPILED_DIR="./rbln-compiled-$(basename "$MODEL")-tp4"
if [ ! -d "$COMPILED_DIR" ]; then
echo "Compiling static PagedAttention graph for 4x ATOM dies (batch=4, max_seq_len=32768)..."
optimum-cli export rbln \
--model "$MODEL" \
--batch_size 4 \
--max_seq_len 32768 \
--tensor_parallel_size 4 \
--kvcache_partition_len 4096 \
"$COMPILED_DIR"
fi
echo "Starting vLLM with Rebellions RBLN device backend on port $PORT..."
vllm serve "$COMPILED_DIR" \
--device rbln \
--max-num-seqs 4 \
--max-model-len 32768 \
--host 0.0.0.0 --port "$PORT"
else
echo "Unknown ENGINE_MODE=$MODE (expected: sglang_radix | vllm_apc | rbln_npu)" >&2
exit 1
fi
PARAMETER SPECIFICATION // 参数化变量规范说明表
「launch-rebellions-rbln-or-sglang-radix.sh」可定制环境变量与默认值说明
本配置模板(SH 格式)支持 4 项运行时参数注入,所有替换均在本地浏览器内完成。
| 模板占位符 | 参数用途说明 | 安全默认值 | 填写示例 |
|---|---|---|---|
{{ENGINE_MODE}} | 推理引擎模式(sglang_radix | vllm_apc | rbln_npu) | sglang_radix | sglang_radix |
{{MODEL_REPO}} | 目标大模型 HuggingFace 仓库 | Qwen/Qwen3.6-35B-A3B | Qwen/Qwen3.6-35B-A3B |
{{TP_SIZE}} | 张量并行度 TP(ATOM-Max 四芯设 4;单/双卡 GPU 设 1 或 2) | 1 | 1 |
{{SERVE_PORT}} | OpenAI 兼容服务端口 | 30000 | 30000 |
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录
配套指南《64GB–144GB PCIe 推理加速卡与多轮 Agent 高并发实测对决:Rebellions ATOM-Max(64GB GDDR6 四芯)与 REBEL-Quad(144GB HBM3e UCIe)对比 SGLang(RadixAttention + Eagle-3 / MTP)与 vLLM》验证基线
实测硬件与操作系统 (Hardware & OS)
Rebellions ATOM-Max(RBLN-CA25 · 单卡四颗 ATOM NPU 芯片 · 64GB GDDR6 · 1,000 GB/s · 350W)对比 NVIDIA RTX PRO 5000 Blackwell(72GB GDDR7 · 1,344 GB/s · 300W)与双卡 RTX 4090(48GB TP=2)| 规格推算行:Rebellions REBEL-Quad(UCIe 四芯粒 · 144GB HBM3e · 4.8 TB/s · 600W [规格推算])
锁定软件栈与模型版本 (Pinned Versions)
Rebellions stack:
rebel-compiler + optimum-rbln 0.7+ + vllm-rbln (vllm serve --device rbln)SGLang v0.4.6+ (--kv-cache-dtype fp8_e5m2 --speculative-algorithm EAGLE3 / NEXTN) vs vLLM v0.8.5+ (--enable-prefix-caching --kv-cache-dtype fp8)Models: Qwen/Qwen3.6-35B-A3B (FP8 / AWQ), meta-llama/Llama-3.3-70B-Instruct (FP8 / INT4), meta-llama/Llama-4-Scout-17B-16E (109B FP8)离线与安全边界 (模型与静态计算图编译完成后 100% 内网离线服务)
通过 optimum-cli export rbln 将权重离线编译为 .rbln 静态图(或本地缓存 SGLang/vLLM 权重)后,全链路零外网请求。
已知限制与失败边界 (Known Limits)
- Rebellions
optimum-rbln静态图编译固定槽位限制: 与 CUDA 显卡随时改参数即刻启动不同,ATOM-Max(单卡内部包含 4 颗 ATOM NPU 芯片)必须先通过optimum-cli export rbln --batch_size B --max_seq_len L --tensor_parallel_size 4预编译 PagedAttention 的片上 DMA 调度图。一旦修改最大上下文长度或批次上限,需重新编译.rbln产物(耗时约 12–25 分钟)。 Eagle-3/MTP投机解码的高并发反转边界(batch >= 16): 在SGLang与vLLM中开启Eagle-3或原生多词元预测(MTP),在单人或小并发(batch=1..4)下可将吐字速度暴力拉升 1.55–1.85 倍;但当并发请求超过16–32路时,验证草稿树的额外算力开销反而可能使总吞吐下降 6%–12%。- 表 1 中 Rebellions REBEL-Quad(144GB HBM3e · 4.8 TB/s) 一行为基于官方 UCIe-Advanced 四芯粒 HBM3e 架构披露的规格推算值(
[规格推算]),其余 ATOM-Max 64GB 与 SGLang/vLLM 数据均为实测。
DEPLOYMENT CHECKLIST // 配置落地核验步骤
部署 launch-rebellions-rbln-or-sglang-radix.sh 后的 3 步验收清单
- 已在 Rebellions ATOM-Max 上通过
rbln-smi确认识别到全部 4 颗 16GB NPU 核心(合计 64GB),或在 GPU 上确认支持原生 FP8。 - ATOM-Max 启动参数已与
optimum-cli export rbln预编译的批次/上下文槽位严格对齐,或在SGLang中启用--kv-cache-dtype fp8_e5m2将 KV 显存减半。 - 已核验多轮 Agent 会话的
tree_cache_hit_rate > 65%,并根据并发路数(单流/小并发开Eagle-3/MTP,16+ 高并发按需关闭)完成调优。