ARTIFACT // RUN-LLAMA-CPP-V1-FP8-MOE.SH (SH)
llama.cpp v1.0.0 生产级启动脚本(OCP FP8 KV 缓存、MoE 主机缓存与 LFM3) (run-llama-cpp-v1-fp8-moe.sh)
基于 llama.cpp v1.0.0 稳定版启动 llama-server:开启 OCP FP8 (E4M3) KV 缓存、FlashAttention、MoE 专家主机内存缓存与 SSRF/DNS 重绑定防护。
[核心实测结论 / TL;DR]本配置包「llama.cpp v1.0.0 生产级启动脚本(OCP FP8 KV 缓存、MoE 主机缓存与 LFM3)」(文件名:run-llama-cpp-v1-fp8-moe.sh,格式:SH)是 Tinker AI 实测工坊配套指南《llama-cpp-v1-0-fp8-kv-cache-moe-host-cache-and-sglang-consortium-lfm3-kimi-k31》的参数化生产模板。支持在本地浏览器实时定制 GGUF 模型路径(如 LFM3-1.7B 或 Qwen3.5-35B-A3B) (GGUF_MODEL_PATH=models/LiquidAI_LFM3-1.7B-Q4_K_M.gguf)、KV 缓存精度 (f16 | q8_0 | fp8_e4m3) (KV_CACHE_TYPE=fp8_e4m3)、上下文长度 (-c) (CTX_SIZE=32768)、保留在主机内存的 MoE 专家层数(稠密模型填 0) (N_CPU_MOE=0)、服务监听端口 (SERVER_PORT=8080) 等 5 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-11-16
查看全部 60 套配置附件 →run-llama-cpp-v1-fp8-moe.sh
查看配套实测指南 →llama.cpp v1.0.0 生产级启动脚本(OCP FP8 KV 缓存、MoE 主机缓存与 LFM3)
基于 llama.cpp v1.0.0 稳定版启动 llama-server:开启 OCP FP8 (E4M3) KV 缓存、FlashAttention、MoE 专家主机内存缓存与 SSRF/DNS 重绑定防护。
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash
# Tinker AI — llama.cpp v1.0.0 OCP FP8 KV Cache & MoE Host-Memory Cache Launcher (Guide #51)
set -euo pipefail
MODEL="models/LiquidAI_LFM3-1.7B-Q4_K_M.gguf"
KV_TYPE="fp8_e4m3"
CTX="32768"
CPU_MOE="0"
PORT="8080"
echo "=== Verifying llama.cpp v1.0.0+ binary & starting hardened llama-server ==="
llama-server --version || true
EXTRA_FLAGS=()
if [ "$CPU_MOE" -gt 0 ] 2>/dev/null; then
EXTRA_FLAGS+=(--n-cpu-moe "$CPU_MOE")
fi
# Note: llama.cpp v1.0.0 enables SSRF/DNS-rebinding hardening & auto-cancels MCP calls on disconnect
exec llama-server \
-m "$MODEL" \
-c "$CTX" \
-fa on \
--cache-type-k "$KV_TYPE" \
--cache-type-v "$KV_TYPE" \
-ngl 99 \
"${EXTRA_FLAGS[@]}" \
--host 127.0.0.1 \
--port "$PORT"
PARAMETER SPECIFICATION // 参数化变量规范说明表
「run-llama-cpp-v1-fp8-moe.sh」可定制环境变量与默认值说明
本配置模板(SH 格式)支持 5 项运行时参数注入,所有替换均在本地浏览器内完成。
| 模板占位符 | 参数用途说明 | 安全默认值 | 填写示例 |
|---|---|---|---|
{{GGUF_MODEL_PATH}} | GGUF 模型路径(如 LFM3-1.7B 或 Qwen3.5-35B-A3B) | models/LiquidAI_LFM3-1.7B-Q4_K_M.gguf | models/LiquidAI_LFM3-1.7B-Q4_K_M.gguf |
{{KV_CACHE_TYPE}} | KV 缓存精度 (f16 | q8_0 | fp8_e4m3) | fp8_e4m3 | fp8_e4m3 |
{{CTX_SIZE}} | 上下文长度 (-c) | 32768 | 32768 |
{{N_CPU_MOE}} | 保留在主机内存的 MoE 专家层数(稠密模型填 0) | 0 | 0 |
{{SERVER_PORT}} | 服务监听端口 | 8080 | 8080 |
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录
配套指南《llama.cpp v1.0.0 正式版深度解析:OCP FP8 KV 缓存、MoE 主机内存缓存与 SGLang 联盟生态实测(Liquid AI LFM3 256K 上下文与 Kimi-K3.1-Pro 架构拆解)》验证基线
实测硬件与操作系统 (Hardware & OS)
桌面与工作站测试平台:NVIDIA RTX 5090 (32GB Blackwell)、Apple Mac mini M5 Pro (64GB 统一内存)、Intel Arc Pro B60 (24GB SYCL)、骁龙 X2 Elite (Adreno OpenCL / Hexagon NPU) | 旗舰集群参考:16×141GB+ 多机节点(针对 Kimi-K3.1-Pro 2.8T MXFP4)
锁定软件栈与模型版本 (Pinned Versions)
llama.cpp
v1.0.0 & ggml v1.0.0 (SemVer C-API, 35+ legacy llama.h functions pruned, RPC protocol v9)SGLang Consortium stack (Nov 12, 2026) & NVIDIA/Rebellions NVLink Fusion disaggregated inference referenceModels: LiquidAI/LFM3-1.7B (256K ctx, ~1.05 GB Q4), LiquidAI/LFM3-VL-2B (128K ctx), LiquidAI/LFM3-Omni-2B (2.2B), moonshotai/Kimi-K3.1-Pro (2.8T total / 104B active, MXFP4)离线与安全边界 (100% 离线本地推理与安全加固
llama-server)模型权重下载至本地后,llama-server v1.0.0 完全离线运行,并默认开启 SSRF、CORS 与 DNS 重绑定防护。
已知限制与失败边界 (Known Limits)
- 分布式 RPC 协议升级至 v9(不兼容旧版混用):
llama.cpp v1.0.0清理了旧版DIAG_MASK_INF/DIAG_MASK_ZERO算子并将 RPC 协议升至 v9。多机分布式推理时,主控端与所有rpc-server从节点必须同步升级到v1.0.0+,混用旧版节点会直接报错断连。 llama.h移除 35+ 废弃 C-API 符号: 为确立1.x长期稳定 ABI,v1.0.0 彻底删除了llama_set_warmup等 35 余个历史遗留函数;自编译 C/C++/Rust/Go 绑定若未同步适配新版头文件将无法通过编译。Kimi-K3.1-Pro属于 1.56 TB 级多机集群模型: 尽管采用原生MXFP4权重与MXFP8激活,总参2.8T(单 Token 激活104B)的Kimi-K3.1-Pro仍占用约 1.56 TB(96 个 safetensors 分片),单台桌面工作站无法全量装入,需16×141GB+集群或分离推理架构。
DEPLOYMENT CHECKLIST // 配置落地核验步骤
部署 run-llama-cpp-v1-fp8-moe.sh 后的 3 步验收清单
- 已确认
llama-server --version为v1.0.0+,并将所有分布式rpc-server从节点同步升级至 RPC v9。 - 已在 32K+ 长上下文场景启用
-fa on --cache-type-k fp8_e4m3 --cache-type-v fp8_e4m3(或q8_0)节省一半 KV 显存。 - 已将
llama-server绑定至127.0.0.1并通过反向代理鉴权暴露,配合 v1.0.0 内置的 SSRF/DNS 重绑定防护。