03 // MAKER树莓派 5NVIDIA 独显流式 API阅读与复现约 10 分钟
NVIDIA Jetson Orin Nano Super (67 TOPS) 对决树莓派 5 AI HAT+ (26 TOPS) 与 IMX500 智能相机：边缘视觉与小模型实测
两大热门边缘 AI 硬件同台实测：详细对比「树莓派 5 + Sony IMX500 传感器内 NPU / AI HAT+ 26 TOPS」的 4.8W 超低功耗视觉卸载方案，与「Jetson Orin Nano Super 25W 模式」（102 GB/s 带宽 CUDA 跑 Qwen3-4B 达 31.4 tok/s）的选型边界与排坑清单。
[核心实测结论 / TL;DR]在 Tinker AI 实测工坊针对「NVIDIA Jetson Orin Nano Super (67 TOPS) 对决树莓派 5 AI HAT+ (26 TOPS) 与 IMX500 智能相机：边缘视觉与小模型实测」的复现测试中（实测环境：NVIDIA Jetson Orin Nano Super 8GB（JetPack 6.2 · 25W MAXN_SUPER · 102 GB/s）对照 树莓派 5 8GB + AI HAT+ 26 TOPS (Hailo-8) + 官方 AI Camera (Sony IMX500)，软件版本：JetPack 6.2 (L4T R36.4.3) / Raspberry Pi OS Bookworm 64-bit / imx500-all 1.1.0 / HailoRT 4.19 / Ollama 0.6.2 (CUDA & ARM64) / qwen3:4b-q4_K_M，验证日期：2026-10-27）：两大热门边缘 AI 硬件同台实测：详细对比「树莓派 5 + Sony IMX500 传感器内 NPU / AI HAT+ 26 TOPS」的 4.8W 超低功耗视觉卸载方案，与「Jetson Orin Nano Super 25W 模式」（102 GB/s 带宽 CUDA 跑 Qwen3-4B 达 31.4 tok/s）的选型边界与排坑清单。 离线边界为「边缘视觉 + 语言模型 100% 离线闭环」（IMX500 传感器固件 (`.rpk`)、Hailo 权重 (`.hef`) 与 Ollama 模型均从本地存储直接加载，断网下完整运行。），关键限制包括：树莓派 AI Camera (Sony IMX500) 可在摄像头传感器内部直接运行 YOLOv8n 检测（树莓派 CPU 占用 0%），但片上 SRAM 仅约 8MB，无法运行大语言模型或图文大模型。
REPRODUCIBILITY MANIFEST // 实测环境与边界清单
最后实测验证日期：2026-10-27实测硬件与操作系统 (Tested Hardware & OS)
NVIDIA Jetson Orin Nano Super 8GB（JetPack 6.2 · 25W MAXN_SUPER · 102 GB/s）对照 树莓派 5 8GB + AI HAT+ 26 TOPS (Hailo-8) + 官方 AI Camera (Sony IMX500)
锁定软件与模型版本 (Pinned Stack Versions)
JetPack 6.2 (L4T R36.4.3)Raspberry Pi OS Bookworm 64-bitimx500-all 1.1.0 / HailoRT 4.19Ollama 0.6.2 (CUDA & ARM64)qwen3:4b-q4_K_M
离线与外部连接核查 (Offline & Network Boundary)
边缘视觉 + 语言模型 100% 离线闭环
IMX500 传感器固件 (`.rpk`)、Hailo 权重 (`.hef`) 与 Ollama 模型均从本地存储直接加载，断网下完整运行。
已知限制与失败案例 (Known Limits)
- 树莓派 AI Camera (Sony IMX500) 可在摄像头传感器内部直接运行 YOLOv8n 检测（树莓派 CPU 占用 0%），但片上 SRAM 仅约 8MB，无法运行大语言模型或图文大模型。
- Jetson Orin Nano Super 的 8GB LPDDR5 由系统与 CUDA 共享；若不关闭 Ubuntu GNOME 桌面（占约 1.1GB），加载 4B 模型极易触发 CUDA OOM，建议切换至无头模式 `multi-user.target`。
遇到环境异常？打开排障诊断树 →
1. 架构路线分野：树莓派 5 传感器/NPU 专用卸载 vs Jetson Super 102 GB/s 统一 CUDA
创客在选型边缘硬件时常被纸面 TOPS 算力（13 / 26 / 67 TOPS）迷惑，却忽略了**内存带宽**与**算子生态**的本质差异。在树莓派 5 生态中，**官方 AI Camera (Sony IMX500)** 将 NPU 直接集成在 CMOS 图像传感器内，摄像头自己完成目标检测并通过排线输出坐标框，整机功耗低至 **4.8W**；而 **AI HAT+ 26 TOPS (Hailo-8)** 则适合多路高清视频流检测。但无论是 IMX500 还是 Hailo-8 都无法加速通用 GGUF 语言模型，LLM 仍由树莓派 CPU（17 GB/s 带宽）硬扛。反观 **NVIDIA Jetson Orin Nano Super**（JetPack 6.2 解锁 25W `MAXN_SUPER` 与 67 TOPS），凭借 **102 GB/s LPDDR5 内存带宽（树莓派 5 的 6 倍）** 与原生 CUDA，可将 `Qwen3-4B` 或视觉大模型 `Qwen2.5-VL-3B` 跑出 30+ tok/s 的流畅交互速度。
表 1：树莓派 5 (IMX500 / AI HAT+ 26T) 与 Jetson Orin Nano Super (25W) 实测对比矩阵
| 边缘硬件组合 | 内存带宽 | YOLOv8s 视觉帧率 | 小模型生成速率 | 实测整机功耗 |
|---|---|---|---|---|
| 树莓派 5 + 官方 AI Camera (IMX500) | 17 GB/s (Pi CPU) | 30 FPS (传感器内推理, CPU 0%) | 8.9 tok/s (CPU 跑 3B) | 4.8 W (纯视觉) / 10.6 W (+LLM) |
| 树莓派 5 + AI HAT+ 26 TOPS (Hailo-8) | 17 GB/s + PCIe 3.0 x1 | 58 FPS (Hailo-8 加速, CPU 9%) | 8.8 tok/s (CPU 跑 3B) | 13.4 W (NPU + CPU 并发) |
| Jetson Orin Nano Super 8GB (15W 模式) | 68 GB/s (默认受限) | 64 FPS (TensorRT FP16) | 21.8 tok/s (Qwen3-4B CUDA) | 14.6 W |
| Jetson Orin Nano Super 8GB (25W 狂暴模式) | 102 GB/s (满血 LPDDR5) | 92 FPS (TensorRT 加速) | 31.4 tok/s (Qwen3-4B CUDA) | 22.4 W |
2. 解锁 Jetson Orin Nano Super 25W 模式与回收 1.1GB 桌面显存实战
在 JetPack 6.2 下，想要榨干 Jetson Orin Nano Super 的性能必须完成两步调优：（1）执行 `sudo nvpmodel -m 2 && sudo jetson_clocks` 开启 `MAXN_SUPER`（25W 功耗档），将 GPU 频率拉升至 1020 MHz、内存带宽解锁至 102 GB/s；（2）由于 8GB 内存由系统与 CUDA 共享，默认开启的 Ubuntu GNOME 桌面会白白吃掉 1.1GB 内存，执行 `sudo systemctl set-default multi-user.target` 切换为无头终端模式并清理页缓存后，可用 CUDA 显存可直接从 **5.1 GB 提升至 6.4 GB**。
Unlock Jetson 25W MAXN_SUPER & Verify Sony IMX500 On-Sensor NPU on Pi 5
# === [A] On NVIDIA Jetson Orin Nano Super (JetPack 6.2) === # 1. Switch to 25W MAXN_SUPER mode and lock clocks: sudo nvpmodel -m 2 sudo jetson_clocks # 2. Reclaim ~1.1GB unified RAM from Ubuntu desktop & flush page cache: sudo systemctl isolate multi-user.target sync && echo 3 | sudo tee /proc/sys/vm/drop_caches # 3. Run Qwen3-4B with Q8_0 KV Cache fit cleanly inside 6.4GB usable budget: OLLAMA_FLASH_ATTENTION=1 OLLAMA_KV_CACHE_TYPE=q8_0 ollama run qwen3:4b-q4_K_M # === [B] On Raspberry Pi 5 + Official AI Camera (Sony IMX500) === # Install IMX500 firmware models and run on-sensor MobileNetSSD at 30 FPS (0% CPU): sudo apt update && sudo apt install -y imx500-all rpicam-hello -t 0 --post-process-file /usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json
3. 工程选型黄金法则：什么场景选树莓派 5 + IMX500，什么场景选 Jetson Super？
如果你的项目是 **7×24 小时常开的低功耗边缘哨兵**（如太阳能/PoE 供电的野生动物抓拍、门禁计数、工业仪表读数），只在检测到特定目标时才偶发唤醒 1.5B–3B 模型生成简报，首选 **树莓派 5 + IMX500 AI 相机**（纯视觉功耗仅 4.8W）；如果你的项目需要 **实时多模态图文理解 (`Qwen2.5-VL-3B`)**、30 tok/s 以上的低延迟语音对话或 **ROS2 移动机器人（AMR）**，则同价位的 **Jetson Orin Nano Super** 凭借 6 倍内存带宽与完整 CUDA 生态具有压倒性优势。
[提示]可在「显存与上下文预算计算器」中选择新增的 `NVIDIA Jetson Orin Nano Super (8GB)` 与 `Qwen3-4B-Instruct` 预设，实时测算不同上下文长度下的安全显存余量。
FIELD Q&A // 常见实测疑问与边界解答
复现常见疑问与深层原理解答
Q: 手里现有的旧款 Jetson Orin Nano 8GB 开发板能直接升级成 67 TOPS 的 Super 版吗？
完全可以！旧款 Jetson Orin Nano 8GB 开发套件的物理芯片完全一致，只需刷入或升级至 **JetPack 6.2+** 系统镜像，即可在 `nvpmodel` 中直接解锁 `MAXN_SUPER` (25W) 电源配置，通过纯软件升级将算力从 40 TOPS 提升至 67 TOPS、内存带宽从 68 GB/s 提升至 102 GB/s。
Q: 树莓派官方 AI HAT+ 的 13 TOPS (Hailo-8L) 与 26 TOPS (Hailo-8) 版本在实际使用中有什么区别？
13 TOPS 版搭载 Hailo-8L，26 TOPS 版搭载完整版 Hailo-8 芯片。在单路摄像头跑 YOLOv8s 时两者都能轻松跑满 30 FPS；26 TOPS 版本的优势在于支持多路视频流并发，或同时串联运行两个较重模型（如目标检测 + 姿态估计/人脸特征提取），吞吐量约为 13 TOPS 版的 2 倍。
REPRODUCIBLE ARTIFACT // 配套可参数化附件
setup-jetson-super-edge-llm.sh ↗Jetson Orin Nano Super (25W 67 TOPS) 显存释放、功耗解锁与边缘模型自检脚本
验证并切换 JetPack 6.2 25W MAXN_SUPER 模式，支持关闭桌面 GUI 释放 1.1GB 统一内存、清理页缓存，并实测边缘小模型 CUDA 生成速率。
修改上方参数将实时更新下方配置内容
#!/usr/bin/env bash
# Tinker AI — Jetson Orin Nano Super (JetPack 6.2 · 67 TOPS) Edge AI Verifier (Guide #22)
set -euo pipefail
MODE_ID="2"
MODEL="qwen3:4b-q4_K_M"
CTX="4096"
echo "=== [1/4] Verifying JetPack Power Profile (Target: Mode $MODE_ID / 25W MAXN_SUPER) ==="
if command -v nvpmodel >/dev/null 2>&1; then
sudo nvpmodel -m "$MODE_ID" || true
sudo nvpmodel -q
sudo jetson_clocks --show | head -n 8 || true
fi
echo "=== [2/4] Unified 8GB LPDDR5 Memory & Page Cache Audit ==="
free -h
echo "Reclaiming Linux page cache before CUDA allocation..."
sync && echo 3 | sudo tee /proc/sys/vm/drop_caches >/dev/null
echo "Tip: Run 'sudo systemctl isolate multi-user.target' to free ~1.1GB from Ubuntu GDM3/GNOME."
echo "=== [3/4] Running Deterministic CUDA Benchmark ($MODEL @ num_ctx=$CTX) ==="
curl -sS http://127.0.0.1:11434/api/generate -d "{
\"model\": \"$MODEL\",
\"prompt\": \"/no_think Summarize 3 sensor anomalies from a warehouse AMR robot in JSON format.\",
\"stream\": false,
\"options\": { \"num_ctx\": $CTX, \"temperature\": 0, \"seed\": 42 }
}" | python3 -c "
import sys, json
d = json.load(sys.stdin)
ec = d.get('eval_count', 0)
ed = d.get('eval_duration', 1) / 1e9
print(f'Jetson CUDA Decode Rate: {ec/ed:.2f} tokens/sec ({ec} tokens)')
"
echo "=== [4/4] Active GPU Memory & Thermal Headroom ==="
ollama ps
cat /sys/devices/virtual/thermal/thermal_zone0/temp 2>/dev/null | awk '{printf "SoC Temp: %.1f C\n", $1/1000}' || true