01 // HOMELABNVIDIA 独显流式 API阅读与复现约 14 分钟
2026 秋季 128GB 与 192GB 统一内存 AI PC 选型：NVIDIA RTX Spark（N1X · Windows on ARM）对决 AMD Ryzen AI Max+ PRO 495（Gorgon Halo）——模型装载边界、生成速度理论上限与复现协议
10 月中旬起陆续到货的 RTX Spark 笔记本/迷你主机，与 Ryzen AI Max+ 400「Gorgon Halo」迷你主机都宣称「本地跑百亿级大模型」。真正的差别不在 TOPS：约 300 GB/s 对 273 GB/s 的内存带宽决定生成速度，CUDA Tensor Core 对 RDNA 3.5 决定预填充速度，128GB 对 160GB 的 GPU 可寻址内存决定 Qwen3-235B-A22B Q4 能不能装下。本文基于公开规格推算各模型的生成速度上限，所有数字均明确标注为估算，并附带复现脚本，方便你用自己的实测替换我们的估算。
[规格推算结论 / TL;DR]【证据等级：规格推算，非本站实机实测】「2026 秋季 128GB 与 192GB 统一内存 AI PC 选型：NVIDIA RTX Spark（N1X · Windows on ARM）对决 AMD Ryzen AI Max+ PRO 495（Gorgon Halo）——模型装载边界、生成速度理论上限与复现协议」（规格依据：规格依据（非本站实机实测）：NVIDIA RTX Spark N1X 顶配（20 核 Grace ARM CPU + Blackwell GPU 6,144 CUDA 核心 · 最高 128GB LPDDR5X 256-bit · 公开报道约 300 GB/s）对比 AMD Ryzen AI Max+ PRO 495（16 核 Zen 5 + Radeon 8065S 40CU RDNA 3.5 gfx1151 · 最高 192GB LPDDR5X-8533 256-bit · 约 273 GB/s · 最高 160GB 可划拨给 GPU），建议复现软件栈：llama.cpp master (2026-11) — CUDA ARM64 build on RTX Spark; Vulkan (RADV) or ROCm build on gfx1151 / vLLM — Windows ARM64 community port (NVFP4) on RTX Spark; Linux ROCm build on Gorgon Halo / Ollama (latest stable, used only as a sanity-check runner) / Models: Qwen3-30B-A3B / Qwen3-32B / Llama-3.3-70B / Qwen3-Next-80B-A3B / Qwen3-235B-A22B (GGUF Q4_K_M unless noted)，规格核验日期：2026-11-05）：10 月中旬起陆续到货的 RTX Spark 笔记本/迷你主机，与 Ryzen AI Max+ 400「Gorgon Halo」迷你主机都宣称「本地跑百亿级大模型」。真正的差别不在 TOPS：约 300 GB/s 对 273 GB/s 的内存带宽决定生成速度，CUDA Tensor Core 对 RDNA 3.5 决定预填充速度，128GB 对 160GB 的 GPU 可寻址内存决定 Qwen3-235B-A22B Q4 能不能装下。本文基于公开规格推算各模型的生成速度上限，所有数字均明确标注为估算，并附带复现脚本，方便你用自己的实测替换我们的估算。 离线边界为「模型下载完成后可完全离线」（两个平台的 llama.cpp / vLLM 推理均完全运行在本地统一内存中。RTX Spark 设备预装的 Windows Copilot 及 OEM AI 助手默认为云端混合模式，不在本文离线范围内。）。
REPRODUCIBILITY MANIFEST // 规格推算与复现协议
规格推算 · 非实机实测 · 规格核验：2026-11-05规格依据硬件 (Spec Basis — Not Lab-Measured)
规格依据（非本站实机实测）：NVIDIA RTX Spark N1X 顶配（20 核 Grace ARM CPU + Blackwell GPU 6,144 CUDA 核心 · 最高 128GB LPDDR5X 256-bit · 公开报道约 300 GB/s）对比 AMD Ryzen AI Max+ PRO 495（16 核 Zen 5 + Radeon 8065S 40CU RDNA 3.5 gfx1151 · 最高 192GB LPDDR5X-8533 256-bit · 约 273 GB/s · 最高 160GB 可划拨给 GPU）
锁定软件与模型版本 (Pinned Stack Versions)
llama.cpp master (2026-11) — CUDA ARM64 build on RTX Spark; Vulkan (RADV) or ROCm build on gfx1151vLLM — Windows ARM64 community port (NVFP4) on RTX Spark; Linux ROCm build on Gorgon HaloOllama (latest stable, used only as a sanity-check runner)Models: Qwen3-30B-A3B / Qwen3-32B / Llama-3.3-70B / Qwen3-Next-80B-A3B / Qwen3-235B-A22B (GGUF Q4_K_M unless noted)
离线与外部连接核查 (Offline & Network Boundary)
模型下载完成后可完全离线
两个平台的 llama.cpp / vLLM 推理均完全运行在本地统一内存中。RTX Spark 设备预装的 Windows Copilot 及 OEM AI 助手默认为云端混合模式，不在本文离线范围内。
已知限制与失败案例 (Known Limits)
- 证据等级：规格推算估算。本站尚未在自有设备上实测这两台机器；下文所有 tok/s 数字均按「带宽 × 0.68 ÷ 每 token 需读取的激活权重字节数」计算（与本站显存计算器同一公式）。请运行附带脚本，以你自己的实测数据为准。
- NVIDIA 官方尚未公布 RTX Spark 的内存带宽；约 300 GB/s 来自媒体对 256-bit LPDDR5X-9400/9600 接口的报道。24GB/32GB 等低内存版本可能位宽更窄，请以具体型号为准。
- Gorgon Halo 的 160GB GPU 划拨需要手动设置（Windows：AMD 可变显存 VGM；Linux：amdgpu GTT/TTM 上限），出厂默认值通常远低于此。
- Windows on ARM 下 Python / PyTorch 必须使用原生 ARM64 版本；x64 Python 在 Prism 仿真下运行时会静默回退为纯 CPU 推理。
遇到环境异常？打开排障诊断树 →
1. 今年秋天到底变了什么：两个 256-bit 统一内存平台，两套截然不同的软件栈
两颗芯片的基本形态与去年的 DGX Spark（GB10）和 Strix Halo（Max+ 395）一致：一条 256-bit LPDDR5X 总线同时喂 CPU 和 GPU。这意味着**大模型的生成（decode）速度被内存带宽卡死，而不是由 TOPS 宣传数字决定**。真正的新变化有两点：（1）**RTX Spark 把 CUDA 带到了 Windows on ARM**，功耗包络为笔记本 45–80W / 桌面约 140W，原生支持 CUDA-X、TensorRT-LLM、llama.cpp 官方配方，以及社区移植的 vLLM ARM64（支持 NVFP4）；（2）**Gorgon Halo 把内存上限从 128GB 提到 192GB**（最高 160GB 可划给 GPU），内存升级为 LPDDR5X-8533（约 273 GB/s，比 Max+ 395 高 6.6%），但 GPU 仍是没有专用矩阵单元的 RDNA 3.5 40CU。落到实际使用上：RTX Spark 胜在预填充速度和工具链完整度；Gorgon Halo 只在一个问题上占优——「235B MoE 的 Q4 版本到底能不能整个放进 GPU 内存」。
表 1：与本地大模型相关的规格对比（来源：NVIDIA / AMD 发布资料及媒体报道，2026 年 10–11 月）
| 项目 | NVIDIA RTX Spark（N1X 顶配） | AMD Ryzen AI Max+ PRO 495 | 影响什么 |
|---|---|---|---|
| 最大内存 / GPU 可用 | 128GB / 实际约 110GB（估） | 192GB / 最高 160GB（需手动配置） | 决定哪些模型无需 CPU 卸载即可装下 |
| 内存带宽 | 约 300 GB/s（媒体报道，非官方） | 约 273 GB/s（LPDDR5X-8533 × 256-bit） | 决定稠密模型与大激活模型的生成速度上限 |
| GPU 矩阵单元 | Blackwell 第五代 Tensor Core（FP4/NVFP4） | RDNA 3.5 WMMA（无专用矩阵核心） | 预填充 / 长提示词速度、并发吞吐 |
| 操作系统 / 运行时路径 | Windows 11 ARM64（CUDA、TensorRT-LLM、llama.cpp、vLLM 移植版）或 WSL2 | Windows x64（Vulkan / Lemonade）或 Linux（ROCm、Vulkan RADV） | 仅有 x64 版本的工具在 RTX Spark 上需要仿真 |
| 功耗包络 | 笔记本 45–80W · 桌面最高约 140W | cTDP 45–120W（标称 55W） | 轻薄本降频时持续生成速度会下降 |
2. 模型装载边界与生成速度上限（估算，非实测）
统一内存机器上的生成（decode）阶段几乎纯粹是内存读取问题：每生成一个 token，都要把**激活的**权重完整读一遍。因此我们按 `上限 = 带宽 ÷ 激活权重字节数`、`预期 ≈ 上限 × 0.68` 估算（0.68 是本站显存计算器使用的效率系数，与我们今年早些时候在 Strix Halo 和 DGX Spark 上的实测相符）。激活参数约 3B 的 MoE 模型在两台机器上都是最大赢家；稠密 70B 在两台机器上都很吃力。唯一出现本质差异的是 Qwen3-235B-A22B：Q4_K_M（约 142GB）只能装进配置了 160GB GPU 划拨的 192GB Gorgon Halo；在 128GB 的 RTX Spark 上只能降到约 Q2_K（约 86GB），并接受明显的质量损失。
表 2：生成速度估算（单请求，≤8K 上下文）。上限 = 带宽 ÷ 激活权重 GB；预期 = 上限 × 0.68。请用你自己的实测替换。
| 模型（GGUF） | 文件大小 / 每 token 激活读取量 | RTX Spark 128GB（约 300 GB/s） | Max+ PRO 495 192GB（约 273 GB/s） |
|---|---|---|---|
| Qwen3-30B-A3B Q4_K_M | 约 18.6 GB / 约 2.0 GB | 可装下 · 上限约 150 · 预期约 100 tok/s | 可装下 · 上限约 136 · 预期约 93 tok/s |
| Qwen3-32B（稠密）Q4_K_M | 约 19.8 GB / 约 19.8 GB | 可装下 · 上限约 15 · 预期约 10 tok/s | 可装下 · 上限约 14 · 预期约 9 tok/s |
| Llama-3.3-70B（稠密）Q4_K_M | 约 42.5 GB / 约 42.5 GB | 可装下 · 上限约 7 · 预期约 4.8 tok/s | 可装下 · 上限约 6.4 · 预期约 4.4 tok/s |
| Qwen3-Next-80B-A3B Q4_K_M | 约 48 GB / 约 1.8 GB | 可装下 · 上限约 165 · 预期约 110 tok/s* | 可装下 · 上限约 150 · 预期约 100 tok/s* |
| Qwen3-235B-A22B Q4_K_M | 约 142 GB / 约 13.2 GB | **装不下**（改用 Q2_K 约 86 GB：预期约 25 tok/s，质量明显下降） | 划拨 160GB 后可装下 · 上限约 21 · 预期约 14 tok/s |
[注意]* Qwen3-Next 这类混合注意力 / 线性注意力架构高度依赖后端算子成熟度，在 CUDA-ARM64 / ROCm gfx1151 算子优化到位之前，实测可能远低于带宽上限。预填充是算力瓶颈，本表未做估算——预计 RTX Spark 凭借 Tensor Core 明显领先，但请用下方脚本实测确认。
3. 复现协议：用实测代替相信任何人的表格（包括本文）
在两台机器上执行同一套固定协议，结果才有可比性：使用完全相同的 GGUF 文件（核对 SHA256），运行 `llama-bench -p 2048 -n 128 -r 3`，开启 Flash Attention，并做一次 10 分钟持续生成以暴露笔记本的降频问题。在 RTX Spark 上，先确认运行的是原生 ARM64 构建（任务管理器「体系结构」列显示 ARM64）且 CUDA 能识别 GPU；在 Gorgon Halo 上，加载超过约 96GB 的模型之前，先确认 GPU 内存划拨确实已生效。
Fixed benchmark protocol (run identically on both machines)
# 0) Same model file on both machines — verify the hash first
sha256sum Qwen3-30B-A3B-Q4_K_M.gguf
# 1a) RTX Spark (Windows 11 ARM64, PowerShell): confirm native ARM64 + CUDA
# python -c "import platform; print(platform.machine())" # must print ARM64
# nvidia-smi --query-gpu=name,memory.total --format=csv
# 1b) Gorgon Halo (Linux): confirm GPU-addressable memory after raising GTT/TTM limits
cat /sys/class/drm/card*/device/mem_info_gtt_total | awk '{printf "GTT: %.1f GB\n", $1/1024/1024/1024}'
# 2) Throughput: prompt 2048 / generate 128, 3 repetitions, flash attention on
./llama-bench -m Qwen3-30B-A3B-Q4_K_M.gguf -ngl 99 -fa 1 -p 2048 -n 128 -r 3 -o md
# 3) Sustained decode (10 min) — exposes laptop thermal throttling
timeout 600 ./llama-cli -m Qwen3-30B-A3B-Q4_K_M.gguf -ngl 99 -fa \
-n -1 --ignore-eos -p "Write a long technical report about memory bandwidth." \
2>&1 | tail -n 5FIELD Q&A // 常见实测疑问与边界解答
复现常见疑问与深层原理解答
Q: 如果我主要跑 30B 左右的 MoE 编程模型，该买哪台？
对 30B-A3B 这一级的 MoE 模型，两者生成速度相差约 10% 以内（都卡在带宽上），所以要看其他因素：想要 CUDA 工具链、长代码上下文更快的预填充、轻薄笔记本形态，选 RTX Spark；需要 x64 Windows/Linux 兼容性，或计划以后跑需要超过 128GB 的 200B+ MoE 模型，选 Gorgon Halo。
Q: 192GB 的 Gorgon Halo 是不是只是多了内存的 128GB Strix Halo？
就大模型推理而言基本是：GPU 同为 40CU RDNA 3.5、同为 gfx1151 目标，带宽只高约 6.6%（8533 对 8000 MT/s）。如果你的目标模型在 96–110GB 内就能装下，现有的 Max+ 395 机器跑出来的 tok/s 几乎一样。只有在确实需要多出来的约 50–60GB GPU 可用内存时，升级才划算。
Q: 为什么这篇只给估算、不给实测？
因为本站还没有在自有设备上跑过这两台机器，我们宁可把数字明确标为估算，也不编造「实测」数据。本文 Manifest 已标注为「规格推算」；拿到硬件后，我们会用实测结果替换表 2 并更新验证日期。
REPRODUCIBLE ARTIFACT // 配套可参数化附件
bench-unified-memory-ai-pc.sh ↗RTX Spark / Gorgon Halo 统一内存固定基准脚本（llama-bench + 持续生成）
校验模型 SHA256，输出平台信息（ARM64/CUDA 或 gfx1151 GTT 容量），执行 llama-bench pp2048/tg128 ×3 和一次持续生成测试，并写入 Markdown 结果文件，方便你用实测替换指南中的估算。可在 Linux、WSL2 或 Windows Git Bash 中运行。
修改上方参数将实时更新下方配置内容
#!/usr/bin/env bash
# Tinker AI — Unified-Memory AI PC Fixed Benchmark: RTX Spark (N1X) / Ryzen AI Max+ PRO 495 (Guide #37)
set -euo pipefail
MODEL="./models/Qwen3-30B-A3B-Q4_K_M.gguf"
BIN="./build/bin"
SUSTAIN="600"
OUT="bench-$(hostname)-$(date +%Y%m%d-%H%M).md"
echo "=== [1/4] Model integrity ==="
sha256sum "$MODEL" | tee -a "$OUT"
echo "=== [2/4] Platform snapshot ==="
{
echo "- arch: $(uname -m)"
if command -v nvidia-smi >/dev/null 2>&1; then
echo "- gpu: $(nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv,noheader)"
fi
for f in /sys/class/drm/card*/device/mem_info_gtt_total; do
[ -r "$f" ] && echo "- amdgpu GTT total: $(awk '{printf "%.1f GB", $1/1024/1024/1024}' "$f")"
done
} | tee -a "$OUT"
echo "=== [3/4] llama-bench pp2048 / tg128 x3 (flash attention on) ==="
"$BIN/llama-bench" -m "$MODEL" -ngl 99 -fa 1 -p 2048 -n 128 -r 3 -o md | tee -a "$OUT"
echo "=== [4/4] Sustained decode for $SUSTAIN s (thermal check) ==="
timeout "$SUSTAIN" "$BIN/llama-cli" -m "$MODEL" -ngl 99 -fa -n -1 --ignore-eos \
-p "Write a long technical report about memory bandwidth and local LLM inference." \
2>&1 | grep -E "eval time|tokens per second" | tail -n 3 | tee -a "$OUT" || true
echo "Results written to $OUT — compare against Table 2 estimates in the guide."