TinkerLab
ARTIFACT // RUN-LLAMA-CPP-V1-FP8-MOE.SH (SH)

llama.cpp v1.0.0 生产级启动脚本(OCP FP8 KV 缓存、MoE 主机缓存与 LFM3) (run-llama-cpp-v1-fp8-moe.sh)

基于 llama.cpp v1.0.0 稳定版启动 llama-server:开启 OCP FP8 (E4M3) KV 缓存、FlashAttention、MoE 专家主机内存缓存与 SSRF/DNS 重绑定防护。

[核心实测结论 / TL;DR]本配置包「llama.cpp v1.0.0 生产级启动脚本(OCP FP8 KV 缓存、MoE 主机缓存与 LFM3)」(文件名:run-llama-cpp-v1-fp8-moe.sh,格式:SH)是 Tinker AI 实测工坊配套指南《llama-cpp-v1-0-fp8-kv-cache-moe-host-cache-and-sglang-consortium-lfm3-kimi-k31》的参数化生产模板。支持在本地浏览器实时定制 GGUF 模型路径(如 LFM3-1.7B 或 Qwen3.5-35B-A3B) (GGUF_MODEL_PATH=models/LiquidAI_LFM3-1.7B-Q4_K_M.gguf)、KV 缓存精度 (f16 | q8_0 | fp8_e4m3) (KV_CACHE_TYPE=fp8_e4m3)、上下文长度 (-c) (CTX_SIZE=32768)、保留在主机内存的 MoE 专家层数(稠密模型填 0) (N_CPU_MOE=0)、服务监听端口 (SERVER_PORT=8080) 等 5 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-16
查看全部 60 套配置附件 →
run-llama-cpp-v1-fp8-moe.sh

llama.cpp v1.0.0 生产级启动脚本(OCP FP8 KV 缓存、MoE 主机缓存与 LFM3)

基于 llama.cpp v1.0.0 稳定版启动 llama-server:开启 OCP FP8 (E4M3) KV 缓存、FlashAttention、MoE 专家主机内存缓存与 SSRF/DNS 重绑定防护。

查看配套实测指南 →
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — llama.cpp v1.0.0 OCP FP8 KV Cache & MoE Host-Memory Cache Launcher (Guide #51)
set -euo pipefail

MODEL="models/LiquidAI_LFM3-1.7B-Q4_K_M.gguf"
KV_TYPE="fp8_e4m3"
CTX="32768"
CPU_MOE="0"
PORT="8080"

echo "=== Verifying llama.cpp v1.0.0+ binary & starting hardened llama-server ==="
llama-server --version || true

EXTRA_FLAGS=()
if [ "$CPU_MOE" -gt 0 ] 2>/dev/null; then
  EXTRA_FLAGS+=(--n-cpu-moe "$CPU_MOE")
fi

# Note: llama.cpp v1.0.0 enables SSRF/DNS-rebinding hardening & auto-cancels MCP calls on disconnect
exec llama-server \
  -m "$MODEL" \
  -c "$CTX" \
  -fa on \
  --cache-type-k "$KV_TYPE" \
  --cache-type-v "$KV_TYPE" \
  -ngl 99 \
  "${EXTRA_FLAGS[@]}" \
  --host 127.0.0.1 \
  --port "$PORT"
PARAMETER SPECIFICATION // 参数化变量规范说明表

「run-llama-cpp-v1-fp8-moe.sh」可定制环境变量与默认值说明

本配置模板(SH 格式)支持 5 项运行时参数注入,所有替换均在本地浏览器内完成。

模板占位符参数用途说明安全默认值填写示例
{{GGUF_MODEL_PATH}}GGUF 模型路径(如 LFM3-1.7B 或 Qwen3.5-35B-A3B)models/LiquidAI_LFM3-1.7B-Q4_K_M.ggufmodels/LiquidAI_LFM3-1.7B-Q4_K_M.gguf
{{KV_CACHE_TYPE}}KV 缓存精度 (f16 | q8_0 | fp8_e4m3)fp8_e4m3fp8_e4m3
{{CTX_SIZE}}上下文长度 (-c)3276832768
{{N_CPU_MOE}}保留在主机内存的 MoE 专家层数(稠密模型填 0)00
{{SERVER_PORT}}服务监听端口80808080
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录

配套指南《llama.cpp v1.0.0 正式版深度解析:OCP FP8 KV 缓存、MoE 主机内存缓存与 SGLang 联盟生态实测(Liquid AI LFM3 256K 上下文与 Kimi-K3.1-Pro 架构拆解)》验证基线

实测硬件与操作系统 (Hardware & OS)

桌面与工作站测试平台:NVIDIA RTX 5090 (32GB Blackwell)、Apple Mac mini M5 Pro (64GB 统一内存)、Intel Arc Pro B60 (24GB SYCL)、骁龙 X2 Elite (Adreno OpenCL / Hexagon NPU) | 旗舰集群参考:16×141GB+ 多机节点(针对 Kimi-K3.1-Pro 2.8T MXFP4)

锁定软件栈与模型版本 (Pinned Versions)
llama.cpp v1.0.0 & ggml v1.0.0 (SemVer C-API, 35+ legacy llama.h functions pruned, RPC protocol v9)SGLang Consortium stack (Nov 12, 2026) & NVIDIA/Rebellions NVLink Fusion disaggregated inference referenceModels: LiquidAI/LFM3-1.7B (256K ctx, ~1.05 GB Q4), LiquidAI/LFM3-VL-2B (128K ctx), LiquidAI/LFM3-Omni-2B (2.2B), moonshotai/Kimi-K3.1-Pro (2.8T total / 104B active, MXFP4)
离线与安全边界 (100% 离线本地推理与安全加固 llama-server)

模型权重下载至本地后,llama-server v1.0.0 完全离线运行,并默认开启 SSRF、CORS 与 DNS 重绑定防护。

已知限制与失败边界 (Known Limits)
  • 分布式 RPC 协议升级至 v9(不兼容旧版混用): llama.cpp v1.0.0 清理了旧版 DIAG_MASK_INF / DIAG_MASK_ZERO 算子并将 RPC 协议升至 v9。多机分布式推理时,主控端与所有 rpc-server 从节点必须同步升级到 v1.0.0+,混用旧版节点会直接报错断连。
  • llama.h 移除 35+ 废弃 C-API 符号: 为确立 1.x 长期稳定 ABI,v1.0.0 彻底删除了 llama_set_warmup 等 35 余个历史遗留函数;自编译 C/C++/Rust/Go 绑定若未同步适配新版头文件将无法通过编译。
  • Kimi-K3.1-Pro 属于 1.56 TB 级多机集群模型: 尽管采用原生 MXFP4 权重与 MXFP8 激活,总参 2.8T(单 Token 激活 104B)的 Kimi-K3.1-Pro 仍占用约 1.56 TB(96 个 safetensors 分片),单台桌面工作站无法全量装入,需 16×141GB+ 集群或分离推理架构。
DEPLOYMENT CHECKLIST // 配置落地核验步骤

部署 run-llama-cpp-v1-fp8-moe.sh 后的 3 步验收清单

  1. 已确认 llama-server --version 为 v1.0.0+,并将所有分布式 rpc-server 从节点同步升级至 RPC v9。
  2. 已在 32K+ 长上下文场景启用 -fa on --cache-type-k fp8_e4m3 --cache-type-v fp8_e4m3(或 q8_0)节省一半 KV 显存。
  3. 已将 llama-server 绑定至 127.0.0.1 并通过反向代理鉴权暴露,配合 v1.0.0 内置的 SSRF/DNS 重绑定防护。