TinkerLab
ARTIFACT // RUN-EVOX5-UNSLOTH-NPU-NEMOTRON35.SH (SH)

GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本 (run-evox5-unsloth-npu-nemotron35.sh)

检测 GMKtec EVO-X5 Pro(Ryzen AI Max+ PRO 495)的 160GB 核显统一内存池与 /dev/accel/accel0 XDNA 2 NPU 设备,启动支持动态思考开关的 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 或 Lightning 30B,并联动 Unsloth Desktop(Lemonade + FastFlowLM Q4NX)本地 NPU 端点。

[核心实测结论 / TL;DR]本配置包「GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本」(文件名:run-evox5-unsloth-npu-nemotron35.sh,格式:SH)是 Tinker AI 实测工坊配套指南《gmktec-evo-x5-pro-192gb-unsloth-desktop-xdna2-npu-and-nemotron-35-super-vl-120b》的参数化生产模板。支持在本地浏览器实时定制 运行模式 (evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent) (EXEC_MODE=evox5_nemotron35_super_vl)、Nemotron 3.5 GGUF 权重路径 (NEMOTRON_GGUF=./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf)、Unsloth XDNA 2 NPU Q4NX 模型名 (NPU_Q4NX_MODEL=Qwen3.6-35B-A3B-NPU2)、上下文窗口(Mamba-2 混合低 KV) (CTX_LEN=65536)、核显模型 API 端口(NPU 占用端口 +1) (IGPU_PORT=8080) 等 5 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-20
查看全部 60 套配置附件 →
run-evox5-unsloth-npu-nemotron35.sh

GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本

检测 GMKtec EVO-X5 Pro(Ryzen AI Max+ PRO 495)的 160GB 核显统一内存池与 /dev/accel/accel0 XDNA 2 NPU 设备,启动支持动态思考开关的 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 或 Lightning 30B,并联动 Unsloth Desktop(Lemonade + FastFlowLM Q4NX)本地 NPU 端点。

查看配套实测指南 →
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — GMKtec EVO-X5 Pro (192GB / 160GB VRAM) + Unsloth XDNA 2 NPU (Q4NX) & Nemotron 3.5 Super VL 120B (Guide #60)
set -euo pipefail

MODE="evox5_nemotron35_super_vl"
GGUF="./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf"
NPU_MODEL="Qwen3.6-35B-A3B-NPU2"
CTX="65536"
PORT="8080"
NPU_PORT="$((PORT + 1))"

echo "=== [EVO-X5 Pro Audit] Checking 192GB UMA, Linux 7.4 iommu_perfopt & XDNA 2 NPU ==="
free -h
cat /sys/module/amdgpu/parameters/iommu_perfopt 2>/dev/null || echo "[TIP] Upgrade to Linux 7.4+ or add iommu=pt for +18-23% UMA tok/s"
ls -l /dev/accel/accel* 2>/dev/null || echo "[WARN] /dev/accel/accel0 not found; verify amdxdna driver for XDNA 2 NPU"

if [ "$MODE" = "evox5_nemotron35_super_vl" ]; then
  echo "=== [Radeon 8065S 160GB UMA] Serving Nemotron 3.5 Super VL 120B-A12B (Mamba-2 Hybrid, ctx=$CTX) ==="
  exec llama-server \
    -m "$GGUF" -ngl 99 -fa on \
    --cache-type-k q8_0 --cache-type-v q8_0 \
    -c "$CTX" --host 127.0.0.1 --port "$PORT"
elif [ "$MODE" = "unsloth_xdna2_npu_q4nx" ]; then
  echo "=== [Unsloth Desktop / Lemonade + FastFlowLM] Serving $NPU_MODEL (Q4NX) on 55 TOPS XDNA 2 NPU ==="
  exec lemonade-server serve \
    --backend flm \
    --model "$NPU_MODEL" \
    --host 127.0.0.1 --port "$NPU_PORT"
elif [ "$MODE" = "dual_igpu_npu_agent" ]; then
  echo "=== [Dual-Engine Concurrent Mode] iGPU ($PORT: Nemotron 3.5 VL) + XDNA 2 NPU ($NPU_PORT: $NPU_MODEL Q4NX) ==="
  lemonade-server serve --backend flm --model "$NPU_MODEL" --host 127.0.0.1 --port "$NPU_PORT" &
  exec llama-server \
    -m "$GGUF" -ngl 99 -fa on \
    --cache-type-k q8_0 --cache-type-v q8_0 \
    -c "$CTX" --host 127.0.0.1 --port "$PORT"
else
  echo "Unknown EXEC_MODE=$MODE (expected: evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent)" >&2
  exit 1
fi
PARAMETER SPECIFICATION // 参数化变量规范说明表

「run-evox5-unsloth-npu-nemotron35.sh」可定制环境变量与默认值说明

本配置模板(SH 格式)支持 5 项运行时参数注入,所有替换均在本地浏览器内完成。

模板占位符参数用途说明安全默认值填写示例
{{EXEC_MODE}}运行模式 (evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent)evox5_nemotron35_super_vlevox5_nemotron35_super_vl
{{NEMOTRON_GGUF}}Nemotron 3.5 GGUF 权重路径./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf
{{NPU_Q4NX_MODEL}}Unsloth XDNA 2 NPU Q4NX 模型名Qwen3.6-35B-A3B-NPU2Qwen3.6-35B-A3B-NPU2
{{CTX_LEN}}上下文窗口(Mamba-2 混合低 KV)6553665536
{{IGPU_PORT}}核显模型 API 端口(NPU 占用端口 +1)80808080
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录

配套指南《192GB 桌面工作站、原生 XDNA 2 NPU 与 Mamba-2 混合 MoE 实战:GMKtec EVO-X5 Pro(160GB 显存 · 双万兆)+ Unsloth Desktop Q4NX 运行 NVIDIA Nemotron 3.5 Super VL (120B-A12B) 与 Lightning 30B》验证基线

实测硬件与操作系统 (Hardware & OS)

GMKtec EVO-X5 Pro(AMD Ryzen AI Max+ PRO 495 · Radeon 8065S 40 CU · 192GB LPDDR5X-8533 / 273 GB/s / 160GB 显存 · 55 TOPS XDNA 2 NPU · 双万兆)

锁定软件栈与模型版本 (Pinned Versions)
Unsloth Desktop (Nov 2026 · AMD Lemonade SDK + FastFlowLM Q4NX NPU)llama.cpp v1.0.0+ / ROCm 7.2+ / Linux 7.4+ (amdgpu.iommu_perfopt=1)nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B (NVFP4 / GGUF · OpenMDW-1.1)nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B & Qwen3.6-35B-A3B-NPU2 (Q4NX)
离线与安全边界 (100% 离线桌面级多模态推理与 NPU 常驻智能体闭环)

Nemotron 3.5 权重(OpenMDW-1.1 商用许可)与 Unsloth Desktop 本地 GGUF 转 Q4NX 均在本地完成;权重就绪后将端口绑定至 127.0.0.1 即可完全断网运行。

已知限制与失败边界 (Known Limits)
  • Unsloth Desktop 的 XDNA 2 NPU 加速强制要求专用的 Q4NX 二进制权重格式(需通过 Unsloth 内置 CPU 转换工具由 GGUF 转换生成),并通过 Lemonade + FastFlowLM 调度;原生 GGUF 文件无法直接塞给 /dev/accel/accel0 执行。
  • Nemotron-3.5-Super-VL-120B-A12B 依托 Mamba-2 状态空间层实现 1M 上下文并内置 C-RADIO v4-H 视觉/2 分钟视频编码器——喂入图片或视频前需确保 llama.cpp / vLLM 版本完整支持 Mamba-2 混合状态缓存与 C-RADIO mmproj 投影权重。
  • 尽管 GMKtec EVO-X5 Pro 支持从 192GB 统一内存中划拨高达 160GB 给核显,但若同时启用 XDNA 2 NPU(Q4NX 驻留)+ 核显大模型,务必为操作系统与 NPU 缓冲区保留至少 32–40GB 系统内存,建议将核显占用控制在 135–145GB 以内以防触发 Swap 卡顿。
DEPLOYMENT CHECKLIST // 配置落地核验步骤

部署 run-evox5-unsloth-npu-nemotron35.sh 后的 3 步验收清单

  1. 已在 GMKtec EVO-X5 Pro(192GB)调高核显 UMA/GTT 配额,同时为操作系统与 NPU Q4NX 留足 >=32–40 GB 宿主余量,杜绝双引擎并发触发 Swap。
  2. 已通过 Unsloth Desktop(Lemonade + FastFlowLM)准备 Q4NX 模型并验证 http://127.0.0.1:8081/v1/chat/completions 实际运行在 XDNA 2 NPU 上且不抢占核显算力。
  3. 已测试 Nemotron-3.5-Super-VL-120B-A12B 的 enable_thinking 思考开关切换,并在喂入图像/视频前确认推理引擎完整加载了 C-RADIO mmproj 视觉权重。