TinkerLab
ARTIFACT // BENCH-UNIFIED-MEMORY-AI-PC.SH (SH)

RTX Spark / Gorgon Halo 统一内存固定基准脚本(llama-bench + 持续生成) (bench-unified-memory-ai-pc.sh)

校验模型 SHA256,输出平台信息(ARM64/CUDA 或 gfx1151 GTT 容量),执行 llama-bench pp2048/tg128 ×3 和一次持续生成测试,并写入 Markdown 结果文件,方便你用实测替换指南中的估算。可在 Linux、WSL2 或 Windows Git Bash 中运行。

[核心实测结论 / TL;DR]本配置包「RTX Spark / Gorgon Halo 统一内存固定基准脚本(llama-bench + 持续生成)」(文件名:bench-unified-memory-ai-pc.sh,格式:SH)是 Tinker AI 实测工坊配套指南《nvidia-rtx-spark-n1x-128gb-vs-ryzen-ai-max-pro-495-192gb-unified-memory-local-llm》的参数化生产模板。支持在本地浏览器实时定制 GGUF 模型路径 (MODEL_PATH=./models/Qwen3-30B-A3B-Q4_K_M.gguf)、llama.cpp 可执行文件目录 (LLAMA_BIN_DIR=./build/bin)、持续生成时长(秒) (SUSTAIN_SECONDS=600) 等 3 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-05
查看全部 42 套配置附件 →
bench-unified-memory-ai-pc.sh

RTX Spark / Gorgon Halo 统一内存固定基准脚本(llama-bench + 持续生成)

校验模型 SHA256,输出平台信息(ARM64/CUDA 或 gfx1151 GTT 容量),执行 llama-bench pp2048/tg128 ×3 和一次持续生成测试,并写入 Markdown 结果文件,方便你用实测替换指南中的估算。可在 Linux、WSL2 或 Windows Git Bash 中运行。

查看配套实测指南 →
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — Unified-Memory AI PC Fixed Benchmark: RTX Spark (N1X) / Ryzen AI Max+ PRO 495 (Guide #37)
set -euo pipefail

MODEL="./models/Qwen3-30B-A3B-Q4_K_M.gguf"
BIN="./build/bin"
SUSTAIN="600"
OUT="bench-$(hostname)-$(date +%Y%m%d-%H%M).md"

echo "=== [1/4] Model integrity ==="
sha256sum "$MODEL" | tee -a "$OUT"

echo "=== [2/4] Platform snapshot ==="
{
  echo "- arch: $(uname -m)"
  if command -v nvidia-smi >/dev/null 2>&1; then
    echo "- gpu: $(nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv,noheader)"
  fi
  for f in /sys/class/drm/card*/device/mem_info_gtt_total; do
    [ -r "$f" ] && echo "- amdgpu GTT total: $(awk '{printf "%.1f GB", $1/1024/1024/1024}' "$f")"
  done
} | tee -a "$OUT"

echo "=== [3/4] llama-bench pp2048 / tg128 x3 (flash attention on) ==="
"$BIN/llama-bench" -m "$MODEL" -ngl 99 -fa 1 -p 2048 -n 128 -r 3 -o md | tee -a "$OUT"

echo "=== [4/4] Sustained decode for $SUSTAIN s (thermal check) ==="
timeout "$SUSTAIN" "$BIN/llama-cli" -m "$MODEL" -ngl 99 -fa -n -1 --ignore-eos \
  -p "Write a long technical report about memory bandwidth and local LLM inference." \
  2>&1 | grep -E "eval time|tokens per second" | tail -n 3 | tee -a "$OUT" || true

echo "Results written to $OUT — compare against Table 2 estimates in the guide."
PARAMETER SPECIFICATION // 参数化变量规范说明表

「bench-unified-memory-ai-pc.sh」可定制环境变量与默认值说明

本配置模板(SH 格式)支持 3 项运行时参数注入,所有替换均在本地浏览器内完成。

模板占位符参数用途说明安全默认值填写示例
{{MODEL_PATH}}GGUF 模型路径./models/Qwen3-30B-A3B-Q4_K_M.gguf./models/Qwen3-30B-A3B-Q4_K_M.gguf
{{LLAMA_BIN_DIR}}llama.cpp 可执行文件目录./build/bin./build/bin
{{SUSTAIN_SECONDS}}持续生成时长(秒)600600
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录

配套指南《2026 秋季 128GB 与 192GB 统一内存 AI PC 选型:NVIDIA RTX Spark(N1X · Windows on ARM)对决 AMD Ryzen AI Max+ PRO 495(Gorgon Halo)——模型装载边界、生成速度理论上限与复现协议》验证基线

实测硬件与操作系统 (Hardware & OS)

规格依据(非本站实机实测):NVIDIA RTX Spark N1X 顶配(20 核 Grace ARM CPU + Blackwell GPU 6,144 CUDA 核心 · 最高 128GB LPDDR5X 256-bit · 公开报道约 300 GB/s)对比 AMD Ryzen AI Max+ PRO 495(16 核 Zen 5 + Radeon 8065S 40CU RDNA 3.5 gfx1151 · 最高 192GB LPDDR5X-8533 256-bit · 约 273 GB/s · 最高 160GB 可划拨给 GPU)

锁定软件栈与模型版本 (Pinned Versions)
llama.cpp master (2026-11) — CUDA ARM64 build on RTX Spark; Vulkan (RADV) or ROCm build on gfx1151vLLM — Windows ARM64 community port (NVFP4) on RTX Spark; Linux ROCm build on Gorgon HaloOllama (latest stable, used only as a sanity-check runner)Models: Qwen3-30B-A3B / Qwen3-32B / Llama-3.3-70B / Qwen3-Next-80B-A3B / Qwen3-235B-A22B (GGUF Q4_K_M unless noted)
离线与安全边界 (模型下载完成后可完全离线)

两个平台的 llama.cpp / vLLM 推理均完全运行在本地统一内存中。RTX Spark 设备预装的 Windows Copilot 及 OEM AI 助手默认为云端混合模式,不在本文离线范围内。

已知限制与失败边界 (Known Limits)
  • 证据等级:规格推算估算。本站尚未在自有设备上实测这两台机器;下文所有 tok/s 数字均按「带宽 × 0.68 ÷ 每 token 需读取的激活权重字节数」计算(与本站显存计算器同一公式)。请运行附带脚本,以你自己的实测数据为准。
  • NVIDIA 官方尚未公布 RTX Spark 的内存带宽;约 300 GB/s 来自媒体对 256-bit LPDDR5X-9400/9600 接口的报道。24GB/32GB 等低内存版本可能位宽更窄,请以具体型号为准。
  • Gorgon Halo 的 160GB GPU 划拨需要手动设置(Windows:AMD 可变显存 VGM;Linux:amdgpu GTT/TTM 上限),出厂默认值通常远低于此。
  • Windows on ARM 下 Python / PyTorch 必须使用原生 ARM64 版本;x64 Python 在 Prism 仿真下运行时会静默回退为纯 CPU 推理。
DEPLOYMENT CHECKLIST // 配置落地核验步骤

部署 bench-unified-memory-ai-pc.sh 后的 4 步验收清单

  1. RTX Spark:已确认 Python / llama.cpp / vLLM 均为原生 ARM64 构建(而非 Prism 仿真下的 x64),且 `nvidia-smi` 能列出 GPU。
  2. Gorgon Halo:加载超过约 96GB 的模型之前,已核验 GPU 内存划拨(Windows 为 VGM,Linux 为 GTT/TTM)确实生效。
  3. 两台机器使用字节一致的 GGUF 文件(SHA256 相同),并执行同一条 `llama-bench -p 2048 -n 128 -r 3 -fa 1` 命令。
  4. 已完成 10 分钟持续生成测试,并记录相对第 1 分钟的 tok/s 下降幅度(如有)。