🧠 图解记忆： llama.cpp 把模型带到本地和边缘，用跨平台与量化降低门槛，不以数据中心极限吞吐为目标。
💡 答案要点
llama.cpp 核心定位：
- 开发方： Georgi Gerganov（非主流 AI 团队）
- 核心理念： 纯 CPU 运行大模型，极致量化，Mac/Windows 友好
- 独特价值： 让没有 GPU 的机器也能跑大模型
llama.cpp 核心创新：
| 技术 | 说明 | 效果 |
|---|---|---|
| GGUF 量化格式 | 专为本地运行设计的量化格式 | 4GB 显存跑 7B 模型 |
| 纯 CPU 推理 | 不需要 GPU | MacBook 也能跑 Llama |
| Metal 加速（Mac） | 苹果 GPU 加速 | M1/M2/M3 Mac 流畅运行 |
| 轻量级 | 单文件，无依赖 | 嵌入式/边缘部署 |
llama.cpp 性能对比（Llama-2-7B）：
| 推理方式 | 硬件 | 内存占用 | 速度 |
|---|---|---|---|
| FP16（原始） | RTX 3090 | 14GB | 30 tok/s |
| Q4_K_M（llama.cpp） | RTX 3090 | 4GB | 25 tok/s |
| Q4_K_M（llama.cpp） | Mac M2 Pro | 4GB | 18 tok/s |
| Q4_K_M（llama.cpp） | Mac M2 | 4GB | 12 tok/s |
| Q4_K_M（llama.cpp） | 纯 CPU（64GB RAM） | 0 GPU | 8 tok/s |
llama.cpp 适用场景：
| 场景 | 适用性 | 原因 |
|---|---|---|
| Mac/Windows 本地运行 | ✅ 最佳选择 | Metal/CPU 原生支持 |
| 边缘/嵌入式部署 | ✅ 候选之一 | 轻量、支持多种 CPU/GPU 后端，但仍需与 MLC、ONNX Runtime 等比较 |
| CPU-only 服务器 | ✅ 可选 | 量化后可用 |
| GPU 高并发生产环境 | ❌ 不推荐 | 性能不如 vLLM/TGI |
面试话术：
"llama.cpp 的优势是 GGUF 生态、量化和多种本地后端，可用于离线桌面、边缘设备，也可以服务化。它并非只适合 demo；是否用于生产取决于目标模型、硬件、并发、SLO 和运维能力。GPU 数据中心高并发场景可再与 vLLM、SGLang、TGI 等压测比较。"