ARTIFACT // TUNE-MAC-STUDIO-ULTRA-LLM.SH (SHELL)
Mac Studio M3 Ultra (256GB/512GB) Metal 显存池解锁与 MLX 超大模型启动脚本 (tune-mac-studio-ultra-llm.sh)
一键将 macOS Metal 锁定内存上限调至 475GB(适配 512GB M3 Ultra),检查雷雳 5 桥接网络,并启动 mlx_lm.server 运行满血 DeepSeek-R1-671B 或 Qwen3-235B-A22B。
[核心实测结论 / TL;DR]本配置包「Mac Studio M3 Ultra (256GB/512GB) Metal 显存池解锁与 MLX 超大模型启动脚本」(文件名:tune-mac-studio-ultra-llm.sh,格式:SHELL)是 Tinker AI 实测工坊配套指南《mac-studio-m3-ultra-512gb-deepseek-r1-671b-qwen3-235b-mlx-benchmark》的参数化生产模板。支持在本地浏览器实时定制 Metal 最大锁定显存上限 (MB) (WIRED_LIMIT_MB=486400)、MLX 模型仓库或本地路径 (MLX_MODEL_REPO=mlx-community/Qwen3-235B-A22B-4bit)、本地回环 API 端口 (BIND_PORT=8080) 等 3 项核心变量,默认遵循 127.0.0.1 回环绑定与最小权限规范。
01 // HOMELAB本地 AI / HomeLab· 验证日期:2026-10-28
查看全部 42 套配置附件 →tune-mac-studio-ultra-llm.sh
查看配套实测指南 →Mac Studio M3 Ultra (256GB/512GB) Metal 显存池解锁与 MLX 超大模型启动脚本
一键将 macOS Metal 锁定内存上限调至 475GB(适配 512GB M3 Ultra),检查雷雳 5 桥接网络,并启动 mlx_lm.server 运行满血 DeepSeek-R1-671B 或 Qwen3-235B-A22B。
参数化定制变量 (Variables — 自动保存在本地浏览器)
UTF-8 编码 · 零延迟实时编译
#!/usr/bin/env bash # Tinker AI — Mac Studio M3 Ultra (256GB/512GB · 819GB/s) Metal Ceiling & MLX Launcher (Guide #25) set -euo pipefail TARGET_MB="486400" MODEL_REPO="mlx-community/Qwen3-235B-A22B-4bit" PORT="8080" echo "=== [1/3] Raising macOS Metal Wired Memory Ceiling to $TARGET_MB MB ===" CURRENT_MB=$(sysctl -n iogpu.wired_limit_mb 2>/dev/null || echo "0") echo "Current iogpu.wired_limit_mb: $CURRENT_MB MB" sudo sysctl -w iogpu.wired_limit_mb="$TARGET_MB" echo "=== [2/3] Verifying Zero Swap Pressure & Thunderbolt 5 Bridge ===" sysctl vm.swapusage ifconfig bridge0 2>/dev/null | grep -E "inet|mtu" || echo "Single-node mode (no Thunderbolt 5 bridge0 active)" echo "=== [3/3] Starting MLX OpenAI-Compatible Server on 127.0.0.1:$PORT ===" python3 -m mlx_lm.server \ --model "$MODEL_REPO" \ --host 127.0.0.1 \ --port "$PORT"
PARAMETER SPECIFICATION // 参数化变量规范说明表
「tune-mac-studio-ultra-llm.sh」可定制环境变量与默认值说明
本配置模板(SHELL 格式)支持 3 项运行时参数注入,所有替换均在本地浏览器内完成。
| 模板占位符 | 参数用途说明 | 安全默认值 | 填写示例 |
|---|---|---|---|
{{WIRED_LIMIT_MB}} | Metal 最大锁定显存上限 (MB) | 486400 | 486400 (475GB for 512GB Mac) or 229376 (224GB for 256GB Mac) |
{{MLX_MODEL_REPO}} | MLX 模型仓库或本地路径 | mlx-community/Qwen3-235B-A22B-4bit | mlx-community/DeepSeek-R1-4bit or mlx-community/Qwen3-235B-A22B-4bit |
{{BIND_PORT}} | 本地回环 API 端口 | 8080 | 8080 |
PAIRED HARDWARE MANIFEST // 配套实测环境与边界记录
配套指南《Apple Mac Studio M3 Ultra (512GB / 256GB · 819 GB/s) 本地大模型实测:满血 DeepSeek-R1-671B 与 Qwen3-235B-A22B 在 MLX 与 llama.cpp 下的吞吐对决》验证基线
实测硬件与操作系统 (Hardware & OS)
Mac Studio M3 Ultra(32 核 CPU / 80 核 GPU,512GB 统一内存 @ 819 GB/s)+ Mac Studio M3 Ultra(256GB @ 819 GB/s)· macOS 15.5 Sequoia
锁定软件栈与模型版本 (Pinned Versions)
mlx-lm 0.22.1 (MLX 0.24.0)llama.cpp b4910 (Metal Backend)DeepSeek-R1-671B (4-bit MLX & Q4_K_M GGUF)Qwen3-235B-A22B (4-bit MLX & Q4_K_M GGUF)
离线与安全边界 (支持 100% 物理断网运行)
将 378GB–404GB 权重分片缓存至本地 NVMe 或雷雳 5 阵列后,所有推理与 API 均在本地回环零外网依赖运行。
已知限制与失败边界 (Known Limits)
- macOS 默认将 Metal 最大可锁定内存限制在约 75%(512GB 机型默认仅约 384GB);若不手动调高 `iogpu.wired_limit_mb`,加载 404GB 的满血 671B Q4_K_M 权重会直接报错或触发 Swap。
- M3 Ultra 单机跑 671B MoE 的首字预填充(Prefill)速度约为 88 tok/s(4K 提示词需约 45 秒),务必开启 Prompt Cache 复用固定系统提示词。
DEPLOYMENT CHECKLIST // 配置落地核验步骤
部署 tune-mac-studio-ultra-llm.sh 后的 3 步验收清单
- 在加载 >120GB 超大模型前,已通过 `sysctl` 调高 `iogpu.wired_limit_mb`(512GB 机型设为 `486400`,256GB 机型设为 `229376`)。
- 在 16K–64K 上下文推理期间,已核验 `sysctl vm.swapusage` 的 `used` 保持为 `0.00M`(零 SSD 交换)。
- 在 macOS 原生环境已优先选用 4-bit MLX (`mlx-lm`) 跑稀疏 MoE 模型,或在 `llama.cpp` 中开启了 `-fa -ctk q8_0 -ctv q8_0`。