本地大模型硬件选型指南：显存、内存与参数量对照表
「跑 7B 要多少显存」这个问题有确定答案：一个乘法公式加一张对照表。本文把选型从玄学变成算术。
核心结论
- 估算公式：显存需求 ≈ 参数量（B）× 每参数字节数 + 上下文缓存。Q4 量化约 0.55–0.7 GB / 十亿参数，Q8 约 1.1 GB，FP16 约 2 GB。
- 对照结论：7B 用 Q4 ≈ 4–5 GB（8 GB 显存可跑，12 GB 更稳）；14B ≈ 8–10 GB；32B ≈ 18–22 GB（24 GB 显存可跑）；70B 需要 40 GB 以上，通常上多卡或统一内存机型。
- 上下文也吃显存：上下文从 4K 拉到 32K，KV Cache 可能额外占几 GB，长文档场景要按 1.2–1.5 倍预留。
- 带宽比算力更影响体感：生成速度主要由显存带宽决定，同为 24 GB 的两张卡，带宽高的那张回答明显更快。
- 先选模型再选硬件：能用 8B 解决的事不要上 32B。模型越大，边际收益递减，而硬件成本近似线性上升。
一、估算公式：三步算出显存需求
本地推理的显存主要由两部分构成：模型权重与运行时开销（含 KV Cache）。权重部分可以用一个乘法算出来：
| 量化精度 | 每十亿参数占用 | 说明 |
|---|---|---|
| FP16 / BF16 | 约 2.0 GB | 原始精度，质量最好、最占显存 |
| Q8 | 约 1.1 GB | 几乎无损，显存约为 FP16 的一半 |
| Q5 | 约 0.75 GB | 质量与体积的平衡点 |
| Q4（推荐默认） | 约 0.55–0.7 GB | 对话与写作场景体感几乎无损 |
| Q3 及以下 | 约 0.45 GB | 仅在显存极度紧张时使用，质量下降明显 |
把公式写成一句话：显存 ≈ 参数量（B）× 每参数字节数 × 1.2（运行时冗余）。举例：8B 模型用 Q4，8 × 0.6 × 1.2 ≈ 5.8 GB，因此 8 GB 显存可以跑，但上下文只能开到中等长度。
二、参数量与显存对照表
| 模型规模 | Q4 权重 | Q4 含上下文 | FP16 权重 | 推荐硬件 |
|---|---|---|---|---|
| 1.5B–3B | 1–2 GB | 2–3 GB | 3–6 GB | 轻薄本、手机端、边缘设备 |
| 7B–8B | 4–5 GB | 6–8 GB | 14–16 GB | 8–12 GB 显存；16 GB 统一内存 |
| 14B | 8–10 GB | 11–14 GB | 28 GB | 16–24 GB 显存；24 GB 统一内存 |
| 32B | 18–22 GB | 24–28 GB | 64 GB | 32–48 GB 显存；64 GB 统一内存 |
| 70B | 40–48 GB | 48–56 GB | 140 GB | 多卡或 96 GB 以上统一内存 |
这张表的使用方法是从右往左读：先确定手里的硬件，再看它落在哪一行，然后决定模型规模与量化精度。反过来「先定模型再买卡」往往导致预算翻倍。
三、被低估的上下文缓存
很多人算完权重就下单，结果一开长文档就爆显存。原因是 KV Cache 会随上下文长度线性增长，而不同模型的增长速率不同。经验做法：
- 4K 上下文：按权重的 1.1 倍估算总占用。
- 8K–16K 上下文：按 1.2–1.3 倍估算。
- 32K 以上：按 1.3–1.5 倍估算，并优先考虑支持分组查询注意力（GQA）的模型。
如果业务以长文档处理为主（合同、标书、年报），建议直接按 32K 场景做容量规划，而不是先用 4K 试。
四、四类典型配置方案
| 场景 | 配置建议 | 可跑模型 | 体感 |
|---|---|---|---|
| 个人尝鲜（轻薄本） | 16 GB 内存，无独显 | 3B–8B Q4 | 可用，速度偏慢，适合离线批处理 |
| 个人主力（工作站/笔记本） | 32 GB 内存 + 12 GB 显存，或 32 GB 统一内存 | 7B–14B Q4/Q5 | 日常顺畅，可做多轮工具调用 |
| 小团队/部门 | 单卡 24–48 GB 显存 + 64 GB 内存 | 14B–32B Q4 | 多人共用可接受，需排队策略 |
| 企业内网 | 多卡或高性能统一内存机型 + 独立应用服务器 | 32B–70B | 满足数十并发，需做限流与缓存 |
企业场景还有一个常被忽略的点：模型服务与应用服务应该分开部署。模型吃显存，应用吃 CPU 与内存，混在一台机器上会导致两边都紧张。
五、统一内存与独立显卡怎么选
Apple Silicon 的统一内存
优点是可以把大量内存当作显存使用，64 GB 机型能跑 32B 级模型，这在同一价位的独立显卡方案里很难做到；功耗低、噪音小、适合移动办公。限制是内存带宽低于高端独显，长上下文生成速度不占优。
独立显卡方案
优点是带宽高、生态成熟、可多卡扩展；缺点是显存容量受单卡限制，跨卡切分模型会带来额外开销。品牌与驱动兼容性需要提前验证。
怎么选
- 以移动办公 + 中等模型为主 → 统一内存更省心。
- 以固定工位 + 大模型/多并发为主 → 独立显卡更划算。
- 以完全离线、涉密环境为主 → 优先选能长期稳定供货、驱动可控的方案。
六、常见问题
跑 7B 模型最少需要多少显存？
Q4 量化下权重约占 4–5 GB，加上上下文缓存与运行时开销，8 GB 显存可以跑起来，12 GB 更从容；若要 FP16 原精度，权重本身就需要约 14 GB，需要 16 GB 以上显存。
没有独立显卡能用本地大模型吗？
可以，但速度受限。纯 CPU 推理 7B 模型通常只能达到每秒几个 token，适合离线批处理与不赶时间的任务；Apple Silicon 的统一内存架构在这类场景下表现明显更好。
16 GB 内存的轻薄本适合什么模型？
建议选 3B–8B 的 Q4 量化模型，并把上下文控制在 4K–8K token。更大的模型会因为内存与显存交换而显著变慢。
显存够大就一定快吗？
不一定。推理速度还取决于显存带宽与算力。同为 24 GB 显存，带宽更高的型号在长上下文生成时明显更快；选型时要同时看容量与带宽。
企业内网部署建议什么配置？
以 20–50 并发用户为例，建议至少一张 48 GB 以上显存的加速卡运行 32B 级模型，并为应用服务单独预留 CPU 与内存。具体规模需按并发量、上下文长度与响应时间要求评估，可参考 私有化部署方案。
最后更新：2026-08-09 ｜ 作者：DeepMetier 团队