本地模型加载失败、显存溢出 (OOM) 或静默回退 CPU 掉速

客户端或知识库常默认请求 16K–32K 上下文。FP16 精度下的 KV Cache 会额外吃掉 3–8 GB 显存，迫使部分模型层溢出到低速系统内存。

1. 在 Ollama 服务端开启 Flash Attention 与 Q8_0 KV Cache 量化（立省约 50% 上下文显存）。
2. 将 Modelfile 或客户端请求中的 num_ctx 限制在 8192 或 16384。

# Set in environment before starting Ollama
export OLLAMA_FLASH_ATTENTION=1
export OLLAMA_KV_CACHE_TYPE=q8_0
export OLLAMA_NUM_PARALLEL=1

[边界说明]可使用本站「显存与上下文预算计算器」精确测算不同 num_ctx 下的总内存占用。

在进行本地 RAG（同时调用 Embedding 模型与对话模型）或频繁切换模型时，旧模型默认常驻 5 分钟未释放，挤占了主模型显存。

1. 执行 ollama stop <model> 立即释放不需要的常驻模型。
2. 单卡紧凑显存环境下配置 OLLAMA_MAX_LOADED_MODELS=1（若跑 RAG 则确保 Embedding 模型 ≤ 0.5GB）。

ollama stop $(ollama ps | awk 'NR>1 {print $1}')
export OLLAMA_MAX_LOADED_MODELS=1
export OLLAMA_KEEP_ALIVE=5m

[边界说明]若使用本地文档问答，需将 Embedding 模型的约 0.6GB 显存一并计入总预算。

Docker 默认隔离宿主机 GPU 设备；未配置 nvidia-container-toolkit 或未在 Compose 中声明 GPU 设备预留时，容器内只能回退至纯 CPU。

1. 在宿主机安装 nvidia-container-toolkit 并执行 sudo nvidia-ctk runtime configure --runtime=docker。
2. 重启 Docker 服务，并在 docker-compose.yml 中补充 GPU 设备映射。

services:
  ollama:
    image: ollama/ollama:0.5.7
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

[边界说明]注意：macOS 上的 Docker Desktop 无法将 Apple Silicon Metal GPU 透传给 Linux 容器，Mac 用户请务必在宿主机原生运行 Ollama。