新一代硬件显存识别与加速排障（Strix Halo 15.5GB 显存锁死 / Arc B580 退化 / DGX Spark 页缓存挤压）

在 Linux 6.14+ 内核上，旧版 `amdgpu.gttsize` 参数已在 Strix Halo (`gfx1151`) 上失效，导致默认 GTT 显存池被锁在约 15.5GB，必须通过 BIOS UMA Frame Buffer 或 `amdttm.pages_limit` 扩容。

1. 推荐方案：升级至 Linux Kernel 6.16.9+，进入 BIOS 将 UMA Frame Buffer Size 设为 96GB（为 128GB 机器预留 32GB 系统内存）。
2. 动态共享方案：移除已废弃的 `amdgpu.gttsize`，在 `/etc/default/grub` 中写入 `amdttm.pages_limit=25165824 amdttm.page_pool_size=25165824`（按 4KB 页折合 96GB），更新 GRUB 并重启。

# Set 96GB (25,165,824 x 4KB pages) in GRUB for AMD Strix Halo (gfx1151):
sudo sed -i 's/amdgpu.gttsize=[0-9]*//g' /etc/default/grub
sudo grubby --update-kernel=ALL --args="amdttm.pages_limit=25165824 amdttm.page_pool_size=25165824" || sudo update-grub
# Reboot and verify 96GB pool

[边界说明]切勿将 128GB 物理内存 100% 划给显存池；必须至少预留 24GB–32GB 给 Linux 内核与容器守护进程，否则高负载下会直接触发系统死机。

默认 `rocBLAS` 缺少针对 RDNA 3.5 (`gfx1151`) 的矩阵乘优化，导致未调优的 ROCm 比 Vulkan 还慢。在 ROCm 7.2+ 下开启 `ROCBLAS_USE_HIPBLASLT=1` 即可调用原生加速核。

1. 在 Ollama systemd 服务或 `llama-server` 启动环境中注入 `ROCBLAS_USE_HIPBLASLT=1`、`OLLAMA_FLASH_ATTENTION=1` 与 `OLLAMA_KV_CACHE_TYPE=q8_0`。
2. 若追求零驱动依赖的跨发行版稳定性，可直接使用 `llama.cpp` 的 Vulkan (`RADV`) 后端，实测跑 `Qwen3-30B-A3B-Q4_K_M` 同样可达 78+ tok/s。

sudo mkdir -p /etc/systemd/system/ollama.service.d
cat << 'EOF' | sudo tee /etc/systemd/system/ollama.service.d/strix-halo.conf
[Service]
Environment="ROCBLAS_USE_HIPBLASLT=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
EOF
sudo systemctl daemon-reload && sudo systemctl restart ollama

[边界说明]受限于 256 GB/s LPDDR5X 物理内存带宽，Strix Halo 跑稀疏 MoE 模型（如单 Token 仅激活 3.3B 的 `Qwen3-30B-A3B`）可飙至 75–88 tok/s，而跑 70B 稠密模型物理上限约为 6 tok/s。

Intel Arc B580 (`Battlemage Xe2`) 需要 Linux 6.12+ 内核 `xe` 驱动，且容器必须挂载 `/dev/dri` 并注入宿主机 `render` 组的数字 GID，否则框架会静默回退至 CPU。

1. 在宿主机执行 `stat -c "%g" /dev/dri/renderD128` 获取渲染设备的数字组 ID（如 109 或 992）。
2. 启动容器时传入 `--device /dev/dri:/dev/dri --group-add <RENDER_GID>`，并设置 `GGML_VK_VISIBLE_DEVICES=0`（Vulkan）或 `ONEAPI_DEVICE_SELECTOR=level_zero:0`（SYCL）。

RENDER_GID=$(stat -c "%g" /dev/dri/renderD128)
docker run -d --name tinker-arc-llm \
  --device /dev/dri:/dev/dri \
  --group-add "$RENDER_GID" \
  -e GGML_VK_VISIBLE_DEVICES=0 \
  -p 127.0.0.1:11434:11434 \
  ollama/ollama:0.5.7

[边界说明]Intel Arc B580 拥有 12GB GDDR6 显存（456 GB/s 带宽），安全可用上限约 10.6GB；建议运行 Qwen3-8B 或 Gemma-3-12B（开启 q8_0 KV Cache）。

在 NVIDIA DGX Spark (GB10 128GB) 与 Jetson Orin Nano Super (8GB) 等统一内存架构上，Linux 会将读取过的模型权重留在文件系统页缓存 (`buff/cache`) 中；当 CUDA 驱动一次性申请大块连续统一内存时，若内核来不及回收页缓存就会直接抛出虚假 CUDA OOM。

1. 在 DGX Spark 加载 70B–120B 大模型或在 Jetson 加载模型前，执行 `sync && echo 3 | sudo tee /proc/sys/vm/drop_caches` 立即释放页缓存。
2. 在 8GB 内存的 Jetson Orin Nano Super 上，执行 `sudo systemctl set-default multi-user.target` 关闭 Ubuntu 桌面 GUI，可永久多腾出约 1.1GB 可用显存。

# 1. Immediately flush Linux filesystem page cache before loading large models:
sync && echo 3 | sudo tee /proc/sys/vm/drop_caches

# 2. Tune vm.vfs_cache_pressure so unified memory prefers GPU allocations over file cache:
sudo sysctl -w vm.vfs_cache_pressure=200

[边界说明]执行 `sync && drop_caches=3` 不会丢失任何数据，在 DGX Spark 上通常可瞬间腾出 15GB–45GB 连续统一内存。