ARTIFACT // RUN-BLACKWELL-SM120-LLM.SH (SHELL)
NVIDIA Blackwell (RTX 5090 / 5060 Ti `sm_120`) 甜点锁功耗与 CUDA 12.8 推理启动脚本 (run-blackwell-sm120-llm.sh)
自动锁定 RTX 5090 (450W) 或 RTX 5060 Ti 16GB (165W) 黄金能效比功耗墙，校验 `sm_120` 计算能力，并以原生 MMQ + FlashAttention 启动推理服务。
[核心实测结论 / TL;DR]本配置包「NVIDIA Blackwell (RTX 5090 / 5060 Ti `sm_120`) 甜点锁功耗与 CUDA 12.8 推理启动脚本」（文件名：run-blackwell-sm120-llm.sh，格式：SHELL）是 Tinker AI 实测工坊配套指南《rtx-5090-vs-rtx-5060ti-16gb-blackwell-fp4-sm120-local-llm-benchmark》的参数化生产模板。支持在本地浏览器实时定制 GPU 锁定功耗上限 (W) (GPU_POWER_LIMIT_W=450)、GGUF / MXFP4 模型文件路径 (GGUF_MODEL_PATH=/models/Qwen3-30B-A3B-Q4_K_M.gguf)、上下文窗口长度 (num_ctx) (CTX_SIZE=32768) 等 3 项核心变量，默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期：2026-10-28
查看全部 42 套配置附件 →run-blackwell-sm120-llm.sh
查看配套实测指南 →NVIDIA Blackwell (RTX 5090 / 5060 Ti `sm_120`) 甜点锁功耗与 CUDA 12.8 推理启动脚本
自动锁定 RTX 5090 (450W) 或 RTX 5060 Ti 16GB (165W) 黄金能效比功耗墙，校验 `sm_120` 计算能力，并以原生 MMQ + FlashAttention 启动推理服务。
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash # Tinker AI — NVIDIA Blackwell (sm_120) Power Tuning & MMQ Inference Runner (Guide #26) set -euo pipefail PL_WATTS="450" MODEL_PATH="/models/Qwen3-30B-A3B-Q4_K_M.gguf" CTX="32768" echo "=== [1/3] Checking NVIDIA Blackwell Compute Capability (Expect 12.0 / sm_120) ===" nvidia-smi --query-gpu=index,name,driver_version,compute_cap,power.draw,power.limit --format=csv echo "=== [2/3] Locking Persistent GPU Power Cap to $PL_WATTS W ===" sudo nvidia-smi -pm 1 sudo nvidia-smi -pl "$PL_WATTS" echo "=== [3/3] Launching llama-server (Native sm_120 MMQ + FlashAttention + Q8_0 KV) ===" ./build/bin/llama-server \ -m "$MODEL_PATH" \ -c "$CTX" \ -ngl 999 \ -fa \ -ctk q8_0 -ctv q8_0 \ --host 127.0.0.1 \ --port 11434
PARAMETER SPECIFICATION // 参数化变量规范说明表
「run-blackwell-sm120-llm.sh」可定制环境变量与默认值说明
本配置模板（SHELL 格式）支持 3 项运行时参数注入，所有替换均在本地浏览器内完成。
| 模板占位符 | 参数用途说明 | 安全默认值 | 填写示例 |
|---|---|---|---|
{{GPU_POWER_LIMIT_W}} | GPU 锁定功耗上限 (W) | 450 | 450 (RTX 5090) or 165 (RTX 5060 Ti 16GB) |
{{GGUF_MODEL_PATH}} | GGUF / MXFP4 模型文件路径 | /models/Qwen3-30B-A3B-Q4_K_M.gguf | /models/Qwen3-30B-A3B-Q4_K_M.gguf |
{{CTX_SIZE}} | 上下文窗口长度 (num_ctx) | 32768 | 32768 |
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录
配套指南《NVIDIA Blackwell 本地大模型实测：RTX 5090 (32GB) 对决 RTX 5060 Ti (16GB)、原生 FP4 加速、CUDA 12.8 (sm_120) 与 450W 甜点锁功耗》验证基线
实测硬件与操作系统 (Hardware & OS)
NVIDIA GeForce RTX 5090 (32GB GDDR7 · 1,792 GB/s) 与 RTX 5060 Ti (16GB GDDR7 · 448 GB/s) · Ryzen 9 9950X · 64GB DDR5 · Ubuntu 24.04.2 LTS
锁定软件栈与模型版本 (Pinned Versions)
NVIDIA Driver 570.133.07 + CUDA 12.8 (sm_120)llama.cpp b4910 (-DCMAKE_CUDA_ARCHITECTURES=120)vLLM 0.8.2 (PyTorch 2.7.0+cu128)Qwen3-14B / Qwen3-30B-A3B / Qwen2.5-Coder-32B
离线与安全边界 (支持 100% 物理断网运行)
所有 CUDA 12.8 算子、功耗墙锁定命令及本地权重均在离线环境独立运行。
已知限制与失败边界 (Known Limits)
- RTX 5060 Ti 16GB 采用 128-bit 位宽（448 GB/s GDDR7）：跑 14B 模型配 32K 上下文极其流畅，但强行塞 32B 稠密模型（Q4_K_M 约 19.8GB）会溢出至 PCIe 内存并暴跌至 4.8 tok/s。
- 在 `sm_120` 架构上编译 `llama.cpp` 时若误开 `-DGGML_CUDA_FORCE_CUBLAS=ON`，会禁用量化专用 MMQ 算子，导致推理吞吐暴跌 78%。
DEPLOYMENT CHECKLIST // 配置落地核验步骤
部署 run-blackwell-sm120-llm.sh 后的 3 步验收清单
- 已确认宿主机驱动 `>= 570.124` 且容器使用 CUDA 12.8（`compute_cap = 12.0` / `sm_120`）。
- 已启用持久化模式并锁定甜点功耗墙（RTX 5090 锁 `450W`，RTX 5060 Ti 锁 `165W`）。
- 已确认未开启 `GGML_CUDA_FORCE_CUBLAS`，确保 `llama.cpp` 在 `sm_120` 上调用原生量化 MMQ 算子。