本地大模型入门:用 Ollama 在自己电脑上跑开源模型
不花钱调用模型的另一条路:Ollama 安装、拉取开源模型、硬件要求参考,以及本地模型与云端 API 的取舍对比。
内容复核中:以下为保留的旧稿,不代表本站接入实测;配置、价格与模型信息请以对应产品当前官方文档为准。
调用模型不一定要花钱——开源模型可以在自己电脑上跑。这篇用 Ollama 做示范,它是目前最简单的本地方案。
Ollama 是什么
一个本地大模型运行器:一条命令下载模型,一条命令启动对话,还顺便提供 OpenAI 兼容的本地接口(http://localhost:11434/v1),桌面客户端可以直接连。
安装与使用
第 1 步:安装
官网下载对应系统的安装包(Windows / macOS / Linux 都支持),一路下一步。
第 2 步:拉取并运行模型
# 运行一个 7B 级别的通用模型(首次会自动下载,约 4-5GB)
ollama run qwen3:8b
# 换个模型试试
ollama run deepseek-r1:7b
下载完直接进入对话,就这么简单。
第 3 步:接入图形客户端
Ollama 启动后自带本地 API。以 Chatbox 为例:模型提供方选 Ollama,地址保持默认 http://localhost:11434,即可在图形界面里用本地模型。
硬件要求参考
| 模型规模 | 显存需求(量化后) | 典型硬件 |
|---|---|---|
| 7-8B | 6-8GB | 主流游戏本 / 32G 内存的 Mac |
| 14-32B | 12-24GB | 高配独显 / Mac Studio |
| 70B+ | 40GB+ | 多卡工作站 / 服务器 |
没有独立显卡也能跑小模型(走 CPU),但速度会明显变慢。
本地 vs 云端 API:怎么选
| 维度 | 本地模型 | 云端 API |
|---|---|---|
| 成本 | 电费 | 按量付费 |
| 隐私 | 数据不出机器 | 数据经第三方 |
| 能力上限 | 开源模型,弱一档 | 旗舰闭源模型 |
| 速度 | 取决于你的硬件 | 稳定快速 |
| 上手门槛 | 折腾硬件和配置 | 注册即用 |
实际建议:两者互补而非互斥。
- 隐私敏感(本地文件整理、个人笔记)→ 本地
- 高质量需求(复杂推理、创作)→ 云端旗舰
- 高频批量小任务 → 本地小模型或云端轻量档
小结
Ollama 把跑开源模型的门槛降到了「两条命令」。即便你最终以云端 API 为主力,本地模型也是了解模型工作原理、保护隐私数据的极佳补充。
相关:Chatbox 配置教程 · API 计费详解