ARTIFACT // RUN-EVOX5-UNSLOTH-NPU-NEMOTRON35.SH (SH)
GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本 (run-evox5-unsloth-npu-nemotron35.sh)
检测 GMKtec EVO-X5 Pro(Ryzen AI Max+ PRO 495)的 160GB 核显统一内存池与 /dev/accel/accel0 XDNA 2 NPU 设备,启动支持动态思考开关的 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 或 Lightning 30B,并联动 Unsloth Desktop(Lemonade + FastFlowLM Q4NX)本地 NPU 端点。
[核心实测结论 / TL;DR]本配置包「GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本」(文件名:run-evox5-unsloth-npu-nemotron35.sh,格式:SH)是 Tinker AI 实测工坊配套指南《gmktec-evo-x5-pro-192gb-unsloth-desktop-xdna2-npu-and-nemotron-35-super-vl-120b》的参数化生产模板。支持在本地浏览器实时定制 运行模式 (evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent) (EXEC_MODE=evox5_nemotron35_super_vl)、Nemotron 3.5 GGUF 权重路径 (NEMOTRON_GGUF=./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf)、Unsloth XDNA 2 NPU Q4NX 模型名 (NPU_Q4NX_MODEL=Qwen3.6-35B-A3B-NPU2)、上下文窗口(Mamba-2 混合低 KV) (CTX_LEN=65536)、核显模型 API 端口(NPU 占用端口 +1) (IGPU_PORT=8080) 等 5 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-20
查看全部 60 套配置附件 →run-evox5-unsloth-npu-nemotron35.sh
查看配套实测指南 →GMKtec EVO-X5 Pro(192GB / 160GB 显存)+ Unsloth XDNA 2 NPU(Q4NX)与 Nemotron 3.5 Super VL 120B 脚本
检测 GMKtec EVO-X5 Pro(Ryzen AI Max+ PRO 495)的 160GB 核显统一内存池与 /dev/accel/accel0 XDNA 2 NPU 设备,启动支持动态思考开关的 NVIDIA Nemotron-3.5-Super-VL-120B-A12B 或 Lightning 30B,并联动 Unsloth Desktop(Lemonade + FastFlowLM Q4NX)本地 NPU 端点。
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — GMKtec EVO-X5 Pro (192GB / 160GB VRAM) + Unsloth XDNA 2 NPU (Q4NX) & Nemotron 3.5 Super VL 120B (Guide #60)
set -euo pipefail
MODE="evox5_nemotron35_super_vl"
GGUF="./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf"
NPU_MODEL="Qwen3.6-35B-A3B-NPU2"
CTX="65536"
PORT="8080"
NPU_PORT="$((PORT + 1))"
echo "=== [EVO-X5 Pro Audit] Checking 192GB UMA, Linux 7.4 iommu_perfopt & XDNA 2 NPU ==="
free -h
cat /sys/module/amdgpu/parameters/iommu_perfopt 2>/dev/null || echo "[TIP] Upgrade to Linux 7.4+ or add iommu=pt for +18-23% UMA tok/s"
ls -l /dev/accel/accel* 2>/dev/null || echo "[WARN] /dev/accel/accel0 not found; verify amdxdna driver for XDNA 2 NPU"
if [ "$MODE" = "evox5_nemotron35_super_vl" ]; then
echo "=== [Radeon 8065S 160GB UMA] Serving Nemotron 3.5 Super VL 120B-A12B (Mamba-2 Hybrid, ctx=$CTX) ==="
exec llama-server \
-m "$GGUF" -ngl 99 -fa on \
--cache-type-k q8_0 --cache-type-v q8_0 \
-c "$CTX" --host 127.0.0.1 --port "$PORT"
elif [ "$MODE" = "unsloth_xdna2_npu_q4nx" ]; then
echo "=== [Unsloth Desktop / Lemonade + FastFlowLM] Serving $NPU_MODEL (Q4NX) on 55 TOPS XDNA 2 NPU ==="
exec lemonade-server serve \
--backend flm \
--model "$NPU_MODEL" \
--host 127.0.0.1 --port "$NPU_PORT"
elif [ "$MODE" = "dual_igpu_npu_agent" ]; then
echo "=== [Dual-Engine Concurrent Mode] iGPU ($PORT: Nemotron 3.5 VL) + XDNA 2 NPU ($NPU_PORT: $NPU_MODEL Q4NX) ==="
lemonade-server serve --backend flm --model "$NPU_MODEL" --host 127.0.0.1 --port "$NPU_PORT" &
exec llama-server \
-m "$GGUF" -ngl 99 -fa on \
--cache-type-k q8_0 --cache-type-v q8_0 \
-c "$CTX" --host 127.0.0.1 --port "$PORT"
else
echo "Unknown EXEC_MODE=$MODE (expected: evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent)" >&2
exit 1
fi
PARAMETER SPECIFICATION // 参数化变量规范说明表
「run-evox5-unsloth-npu-nemotron35.sh」可定制环境变量与默认值说明
本配置模板(SH 格式)支持 5 项运行时参数注入,所有替换均在本地浏览器内完成。
| 模板占位符 | 参数用途说明 | 安全默认值 | 填写示例 |
|---|---|---|---|
{{EXEC_MODE}} | 运行模式 (evox5_nemotron35_super_vl | unsloth_xdna2_npu_q4nx | dual_igpu_npu_agent) | evox5_nemotron35_super_vl | evox5_nemotron35_super_vl |
{{NEMOTRON_GGUF}} | Nemotron 3.5 GGUF 权重路径 | ./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf | ./models/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Q4_K_M.gguf |
{{NPU_Q4NX_MODEL}} | Unsloth XDNA 2 NPU Q4NX 模型名 | Qwen3.6-35B-A3B-NPU2 | Qwen3.6-35B-A3B-NPU2 |
{{CTX_LEN}} | 上下文窗口(Mamba-2 混合低 KV) | 65536 | 65536 |
{{IGPU_PORT}} | 核显模型 API 端口(NPU 占用端口 +1) | 8080 | 8080 |
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录
配套指南《192GB 桌面工作站、原生 XDNA 2 NPU 与 Mamba-2 混合 MoE 实战:GMKtec EVO-X5 Pro(160GB 显存 · 双万兆)+ Unsloth Desktop Q4NX 运行 NVIDIA Nemotron 3.5 Super VL (120B-A12B) 与 Lightning 30B》验证基线
实测硬件与操作系统 (Hardware & OS)
GMKtec EVO-X5 Pro(AMD Ryzen AI Max+ PRO 495 · Radeon 8065S 40 CU · 192GB LPDDR5X-8533 / 273 GB/s / 160GB 显存 · 55 TOPS XDNA 2 NPU · 双万兆)
锁定软件栈与模型版本 (Pinned Versions)
Unsloth Desktop (Nov 2026 · AMD Lemonade SDK + FastFlowLM Q4NX NPU)llama.cpp v1.0.0+ / ROCm 7.2+ / Linux 7.4+ (amdgpu.iommu_perfopt=1)nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B (NVFP4 / GGUF · OpenMDW-1.1)nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B & Qwen3.6-35B-A3B-NPU2 (Q4NX)
离线与安全边界 (100% 离线桌面级多模态推理与 NPU 常驻智能体闭环)
Nemotron 3.5 权重(OpenMDW-1.1 商用许可)与 Unsloth Desktop 本地 GGUF 转 Q4NX 均在本地完成;权重就绪后将端口绑定至 127.0.0.1 即可完全断网运行。
已知限制与失败边界 (Known Limits)
- Unsloth Desktop 的 XDNA 2 NPU 加速强制要求专用的 Q4NX 二进制权重格式(需通过 Unsloth 内置 CPU 转换工具由 GGUF 转换生成),并通过 Lemonade + FastFlowLM 调度;原生 GGUF 文件无法直接塞给 /dev/accel/accel0 执行。
- Nemotron-3.5-Super-VL-120B-A12B 依托 Mamba-2 状态空间层实现 1M 上下文并内置 C-RADIO v4-H 视觉/2 分钟视频编码器——喂入图片或视频前需确保 llama.cpp / vLLM 版本完整支持 Mamba-2 混合状态缓存与 C-RADIO mmproj 投影权重。
- 尽管 GMKtec EVO-X5 Pro 支持从 192GB 统一内存中划拨高达 160GB 给核显,但若同时启用 XDNA 2 NPU(Q4NX 驻留)+ 核显大模型,务必为操作系统与 NPU 缓冲区保留至少 32–40GB 系统内存,建议将核显占用控制在 135–145GB 以内以防触发 Swap 卡顿。
DEPLOYMENT CHECKLIST // 配置落地核验步骤
部署 run-evox5-unsloth-npu-nemotron35.sh 后的 3 步验收清单
- 已在 GMKtec EVO-X5 Pro(
192GB)调高核显 UMA/GTT 配额,同时为操作系统与 NPU Q4NX 留足>=32–40 GB宿主余量,杜绝双引擎并发触发 Swap。 - 已通过 Unsloth Desktop(Lemonade + FastFlowLM)准备
Q4NX模型并验证http://127.0.0.1:8081/v1/chat/completions实际运行在 XDNA 2 NPU 上且不抢占核显算力。 - 已测试
Nemotron-3.5-Super-VL-120B-A12B的enable_thinking思考开关切换,并在喂入图像/视频前确认推理引擎完整加载了 C-RADIOmmproj视觉权重。