TinkerLab
跳转可下载配置
01 // HOMELABNVIDIA 独显Docker 容器流式 API阅读与复现约 15 分钟

192GB 桌面工作站、原生 XDNA 2 NPU 与 Mamba-2 混合 MoE 实战:GMKtec EVO-X5 Pro(160GB 显存 · 双万兆)+ Unsloth Desktop Q4NX 运行 NVIDIA Nemotron 3.5 Super VL (120B-A12B) 与 Lightning 30B

一站式整合 2026 年 11 月桌面端本地 AI 三大重磅更新:拆解 192GB 统一内存迷你工作站 GMKtec EVO-X5 Pro(AMD Ryzen AI Max+ PRO 495、273 GB/s LPDDR5X-8533、最高划拨 160GB 显存、55 TOPS XDNA 2 NPU、双万兆网口与 24TB M.2 扩展),实操 AMD 与 Unsloth 官宣的 Unsloth Desktop 原生 XDNA 2 NPU 推理管线(Lemonade + FastFlowLM + 内置 GGUF 转 Q4NX,零改代码接入 100+ Agent 工具),并实测推算 NVIDIA 开源的 Mamba-2 混合多模态大模型 Nemotron 3.5 Super VL(120B-A12B · C-RADIO 视觉/视频 · 1M 上下文 · 原生 MTP)与 Lightning 30B-A3B。

[规格推算结论 / TL;DR]【证据等级:规格推算,非本站实机实测】「192GB 桌面工作站、原生 XDNA 2 NPU 与 Mamba-2 混合 MoE 实战:GMKtec EVO-X5 Pro(160GB 显存 · 双万兆)+ Unsloth Desktop Q4NX 运行 NVIDIA Nemotron 3.5 Super VL (120B-A12B) 与 Lightning 30B」(规格依据:GMKtec EVO-X5 Pro(AMD Ryzen AI Max+ PRO 495 · Radeon 8065S 40 CU · 192GB LPDDR5X-8533 / 273 GB/s / 160GB 显存 · 55 TOPS XDNA 2 NPU · 双万兆),建议复现软件栈:Unsloth Desktop (Nov 2026 · AMD Lemonade SDK + FastFlowLM Q4NX NPU) / llama.cpp v1.0.0+ / ROCm 7.2+ / Linux 7.4+ (amdgpu.iommu_perfopt=1) / nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B (NVFP4 / GGUF · OpenMDW-1.1) / nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B & Qwen3.6-35B-A3B-NPU2 (Q4NX),规格核验日期:2026-11-20):一站式整合 2026 年 11 月桌面端本地 AI 三大重磅更新:拆解 192GB 统一内存迷你工作站 GMKtec EVO-X5 Pro(AMD Ryzen AI Max+ PRO 495、273 GB/s LPDDR5X-8533、最高划拨 160GB 显存、55 TOPS XDNA 2 NPU、双万兆网口与 24TB M.2 扩展),实操 AMD 与 Unsloth 官宣的 Unsloth Desktop 原生 XDNA 2 NPU 推理管线(Lemonade + FastFlowLM + 内置 GGUF 转 Q4NX,零改代码接入 100+ Agent 工具),并实测推算 NVIDIA 开源的 Mamba-2 混合多模态大模型 Nemotron 3.5 Super VL(120B-A12B · C-RADIO 视觉/视频 · 1M 上下文 · 原生 MTP)与 Lightning 30B-A3B。 离线边界为「100% 离线桌面级多模态推理与 NPU 常驻智能体闭环」(Nemotron 3.5 权重(OpenMDW-1.1 商用许可)与 Unsloth Desktop 本地 GGUF 转 Q4NX 均在本地完成;权重就绪后将端口绑定至 127.0.0.1 即可完全断网运行。)。
REPRODUCIBILITY MANIFEST // 规格推算与复现协议
规格推算 · 非实机实测 · 规格核验:2026-11-20
规格依据硬件 (Spec Basis — Not Lab-Measured)

GMKtec EVO-X5 Pro(AMD Ryzen AI Max+ PRO 495 · Radeon 8065S 40 CU · 192GB LPDDR5X-8533 / 273 GB/s / 160GB 显存 · 55 TOPS XDNA 2 NPU · 双万兆)

锁定软件与模型版本 (Pinned Stack Versions)
Unsloth Desktop (Nov 2026 · AMD Lemonade SDK + FastFlowLM Q4NX NPU)llama.cpp v1.0.0+ / ROCm 7.2+ / Linux 7.4+ (amdgpu.iommu_perfopt=1)nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B (NVFP4 / GGUF · OpenMDW-1.1)nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B & Qwen3.6-35B-A3B-NPU2 (Q4NX)
离线与外部连接核查 (Offline & Network Boundary)
100% 离线桌面级多模态推理与 NPU 常驻智能体闭环

Nemotron 3.5 权重(OpenMDW-1.1 商用许可)与 Unsloth Desktop 本地 GGUF 转 Q4NX 均在本地完成;权重就绪后将端口绑定至 127.0.0.1 即可完全断网运行。

已知限制与失败案例 (Known Limits)
  • Unsloth Desktop 的 XDNA 2 NPU 加速强制要求专用的 Q4NX 二进制权重格式(需通过 Unsloth 内置 CPU 转换工具由 GGUF 转换生成),并通过 Lemonade + FastFlowLM 调度;原生 GGUF 文件无法直接塞给 /dev/accel/accel0 执行。
  • Nemotron-3.5-Super-VL-120B-A12B 依托 Mamba-2 状态空间层实现 1M 上下文并内置 C-RADIO v4-H 视觉/2 分钟视频编码器——喂入图片或视频前需确保 llama.cpp / vLLM 版本完整支持 Mamba-2 混合状态缓存与 C-RADIO mmproj 投影权重。
  • 尽管 GMKtec EVO-X5 Pro 支持从 192GB 统一内存中划拨高达 160GB 给核显,但若同时启用 XDNA 2 NPU(Q4NX 驻留)+ 核显大模型,务必为操作系统与 NPU 缓冲区保留至少 32–40GB 系统内存,建议将核显占用控制在 135–145GB 以内以防触发 Swap 卡顿。
遇到环境异常?打开排障诊断树 →

1. NVIDIA Nemotron 3.5 Super VL (120B-A12B) 与 Lightning (30B-A3B):为何 Mamba-2 混合 MoE 是 192GB 统一内存绝配

伴随 SC26 Nemotron for Science 一并开源的 NVIDIA Nemotron 3.5 系列(采用商业友好的 OpenMDW-1.1 许可),精准命中了桌面统一内存工作站的两大命门——273 GB/s 物理带宽上限与长上下文 KV 显存膨胀: - Nemotron-3.5-Super-VL-120B-A12B:采用 Mamba-2 状态空间层 + 稀疏注意力 + 512 路由专家 MoE 混合骨架(总参 120B,每字仅激活 12B),集成 C-RADIO v4-H 视觉编码器(原生支持文本、图像与最长 2 分钟 MP4 视频)、1M 超长上下文、原生 多词预测(MTP)投机解码头 及动态思考开关(enable_thinking=True/False 或 off / medium / on)。Q4_K_M(约 75 GB)甚至近无损 Q8_0(约 131 GB)都能完整装入 GMKtec EVO-X5 Pro 的 160GB 可划拨显存,且 64K–128K 上下文下 KV 增长极低。 - Nemotron-3.5-Lightning-30B-A3B:总参 30B、激活仅 3B(Q4_K_M 约 18.7 GB),自带 MTP 加速,在 273 GB/s 统一内存或 24GB 独显上均可轻松跑出 50–70+ tok/s,适合全天候高频工具调用。

2. GMKtec EVO-X5 Pro(192GB)+ Unsloth Desktop 原生 XDNA 2 NPU(Q4NX):双引擎并发与性能推算

2026 年 11 月,AMD 与 Unsloth 正式宣布 Unsloth Desktop 原生支持 AMD XDNA 2 NPU(使其成为首个原生适配的 NPU 架构,覆盖 GMKtec EVO-X5 Pro 搭载的 Ryzen AI Max+ PRO 495 内置 55 TOPS XDNA 2)。其底层自动接管 AMD 开源 Lemonade 服务框架与 FastFlowLM(FLM) 推理引擎,内置 CPU 端 GGUF 一键转 Q4NX 工具,并对外暴露标准 OpenAI 兼容接口,让 Open WebUI、Cline、Hermes Agent、OpenClaw 等 100+ 智能体应用零改造直连 NPU。在 192GB 内存的 EVO-X5 Pro 上,你可以把重推理与轻常驻彻底拆给两颗独立芯片并行([Spec-Est.] 为基于物理带宽与架构参数的推算值):
表 1:GMKtec EVO-X5 Pro(192GB · 273 GB/s · 双万兆)双引擎并发 vs 24GB–96GB 独显运行 Nemotron 3.5 对比
硬件与推理引擎模型与格式(实占内存)吐字速率与上下文余量最佳本地分工角色
GMKtec EVO-X5 Pro — Radeon 8065S(160GB 显存)(Linux 7.4)Nemotron-3.5-Super-VL-120B-A12B Q4_K_M(约 78 GB)或 Q8_0(约 134 GB)约 22–31 tok/s(Q4 + MTP [Spec-Est.])· 稳跑 64K–128K 长文深度图文/视频多模态分析、科研与复杂代码规划
GMKtec EVO-X5 Pro — XDNA 2 NPU(55 TOPS)(Unsloth Desktop)Qwen3.6-35B-A3B-NPU2 或 4B–9B Q4NX(占 6–22 GB 内存)约 18–35 tok/s(NPU 功耗 <15W [Spec-Est.])· 零抢占核显全天候低功耗 Cline/OpenClaw 路由、实时转写与隐私过滤
GMKtec EVO-X5 Pro — Radeon 8065S 核显Nemotron-3.5-Lightning-30B-A3B Q4_K_M(约 20 GB)约 55–75 tok/s(3B 激活 + MTP [Spec-Est.])· 轻松 128K 上下文极速交互式代码补全与高频多步工具调用循环
NVIDIA RTX PRO 6000 Blackwell(96GB GDDR7 · 1.8 TB/s)Nemotron-3.5-Super-VL-120B-A12B-NVFP4(原生 FP4 约 68 GB)约 110–150+ tok/s(原生 NVFP4 + MTP [Spec-Est.])· 128K 上下文团队高并发推理主力(硬件预算与 300–600W 功耗显著更高)

3. 可复现部署:在 160GB 核显拉起 Nemotron 3.5 Super VL 并联动 Unsloth XDNA 2 NPU(Q4NX)

先核验 192GB 内存、Linux 7.4 amdgpu.iommu_perfopt=1 与 /dev/accel/accel0 NPU 节点,再将 Nemotron-3.5-Super-VL-120B-A12B 部署在 8080 端口(Radeon 8065S 核显),同时将 Unsloth Desktop(Lemonade + FastFlowLM Q4NX) 部署在 8081 端口(XDNA 2 NPU),按任务复杂度通过 enable_thinking 动态切换思考预算。
在 EVO-X5 Pro 上并发启动 Nemotron 3.5 Super VL(核显)与 Unsloth Lemonade Q4NX(XDNA 2 NPU)
# 1) Verify 192GB RAM, Linux 7.4 AMD IOMMU PerfOpt, and /dev/accel/accel0 XDNA 2 NPU
free -h && ls -l /dev/accel/accel* /dev/kfd
cat /sys/module/amdgpu/parameters/iommu_perfopt 2>/dev/null || echo "Use Linux 7.4+ or iommu=pt"

# 2) Start XDNA 2 NPU OpenAI endpoint via Lemonade + FastFlowLM (Q4NX exported by Unsloth Desktop)
lemonade-server serve --backend flm --model Qwen3.6-35B-A3B-NPU2 --host 127.0.0.1 --port 8081 &

# 3) Serve NVIDIA Nemotron-3.5-Super-VL-120B-A12B on Radeon 8065S 160GB UMA (64K Mamba-2 ctx)
llama-server -m ./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf \
  -ngl 99 -fa on --cache-type-k q8_0 --cache-type-v q8_0 -c 65536 --host 127.0.0.1 --port 8080
FIELD Q&A // 常见实测疑问与边界解答

复现常见疑问与深层原理解答

Q: 跑 Nemotron 3.5 Super VL 120B 时,192GB 的 GMKtec EVO-X5 Pro 相比 128GB Strix Halo(如 MS-S1 Max)核心优势在哪?

在 128GB 机器(可用显存约 96–108GB)上,装入 Q4_K_M 版 Nemotron-3.5-Super-VL-120B(约 78 GB)后仅剩 20–25 GB 留给系统、Docker RAG 与 NPU 模型,完全塞不下 Q8_0(约 134 GB)。GMKtec EVO-X5 Pro 凭借 192GB LPDDR5X-8533(273 GB/s 带宽与多出的 64GB 物理内存),既可以单机跑近无损 Q8_0,也可以在核显常驻 Q4_K_M 的同时,让 XDNA 2 NPU 并发驻留 22 GB Q4NX MoE 模型并叠加双万兆 NAS 检索而游刃有余。

Q: 为什么 Unsloth Desktop 要先把 GGUF 转成 Q4NX 格式,而不能直接拿 GGUF 在 AMD XDNA 2 NPU 上推理?

标准 GGUF 的量化块布局(如 Q4_K_M)是为 GPU SIMT 线程束与 CPU AVX-512/NEON 矢量指令设计的,而 AMD XDNA 2 是带有片上固定 SRAM 阵列的空间数据流 AIE 架构。FastFlowLM 的 Q4NX 格式 预先将量化权重、缩放因子与分块边界对齐到 XDNA 2 硬件瓦片尺寸,避免 CPU 反量化拖累,从而在 <15W 极低功耗下实现稳定吐字,同时让 CPU 与核显保持 100% 空闲。

REPRODUCIBLE ARTIFACT // 配套可参数化附件

GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本

检测 GMKtec EVO-X5 Pro(Ryzen AI Max+ PRO 495)的 160GB 核显统一内存池与 /dev/accel/accel0 XDNA 2 NPU 设备,启动支持动态思考开关的 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 或 Lightning 30B,并联动 Unsloth Desktop(Lemonade + FastFlowLM Q4NX)本地 NPU 端点。

run-evox5-unsloth-npu-nemotron35.sh ↗
修改上方参数将实时更新下方配置内容
#!/usr/bin/env bash
# Tinker AI — GMKtec EVO-X5 Pro (192GB / 160GB VRAM) + Unsloth XDNA 2 NPU (Q4NX) & Nemotron 3.5 Super VL 120B (Guide #60)
set -euo pipefail

MODE="evox5_nemotron35_super_vl"
GGUF="./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf"
NPU_MODEL="Qwen3.6-35B-A3B-NPU2"
CTX="65536"
PORT="8080"
NPU_PORT="$((PORT + 1))"

echo "=== [EVO-X5 Pro Audit] Checking 192GB UMA, Linux 7.4 iommu_perfopt & XDNA 2 NPU ==="
free -h
cat /sys/module/amdgpu/parameters/iommu_perfopt 2>/dev/null || echo "[TIP] Upgrade to Linux 7.4+ or add iommu=pt for +18-23% UMA tok/s"
ls -l /dev/accel/accel* 2>/dev/null || echo "[WARN] /dev/accel/accel0 not found; verify amdxdna driver for XDNA 2 NPU"

if [ "$MODE" = "evox5_nemotron35_super_vl" ]; then
  echo "=== [Radeon 8065S 160GB UMA] Serving Nemotron 3.5 Super VL 120B-A12B (Mamba-2 Hybrid, ctx=$CTX) ==="
  exec llama-server \
    -m "$GGUF" -ngl 99 -fa on \
    --cache-type-k q8_0 --cache-type-v q8_0 \
    -c "$CTX" --host 127.0.0.1 --port "$PORT"
elif [ "$MODE" = "unsloth_xdna2_npu_q4nx" ]; then
  echo "=== [Unsloth Desktop / Lemonade + FastFlowLM] Serving $NPU_MODEL (Q4NX) on 55 TOPS XDNA 2 NPU ==="
  exec lemonade-server serve \
    --backend flm \
    --model "$NPU_MODEL" \
    --host 127.0.0.1 --port "$NPU_PORT"
elif [ "$MODE" = "dual_igpu_npu_agent" ]; then
  echo "=== [Dual-Engine Concurrent Mode] iGPU ($PORT: Nemotron 3.5 VL) + XDNA 2 NPU ($NPU_PORT: $NPU_MODEL Q4NX) ==="
  lemonade-server serve --backend flm --model "$NPU_MODEL" --host 127.0.0.1 --port "$NPU_PORT" &
  exec llama-server \
    -m "$GGUF" -ngl 99 -fa on \
    --cache-type-k q8_0 --cache-type-v q8_0 \
    -c "$CTX" --host 127.0.0.1 --port "$PORT"
else
  echo "Unknown EXEC_MODE=$MODE (expected: evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent)" >&2
  exit 1
fi

更多可复现工程指南

查看全部 60 篇指南 →