本地大模型入门:用 Ollama 在自己电脑上跑开源模型

不花钱调用模型的另一条路:Ollama 安装、拉取开源模型、硬件要求参考,以及本地模型与云端 API 的取舍对比。

内容复核中:以下为保留的旧稿,不代表本站接入实测;配置、价格与模型信息请以对应产品当前官方文档为准。

调用模型不一定要花钱——开源模型可以在自己电脑上跑。这篇用 Ollama 做示范,它是目前最简单的本地方案。

Ollama 是什么

一个本地大模型运行器:一条命令下载模型,一条命令启动对话,还顺便提供 OpenAI 兼容的本地接口(http://localhost:11434/v1),桌面客户端可以直接连。

安装与使用

第 1 步:安装

官网下载对应系统的安装包(Windows / macOS / Linux 都支持),一路下一步。

第 2 步:拉取并运行模型

# 运行一个 7B 级别的通用模型(首次会自动下载,约 4-5GB)
ollama run qwen3:8b

# 换个模型试试
ollama run deepseek-r1:7b

下载完直接进入对话,就这么简单。

第 3 步:接入图形客户端

Ollama 启动后自带本地 API。以 Chatbox 为例:模型提供方选 Ollama,地址保持默认 http://localhost:11434,即可在图形界面里用本地模型。

硬件要求参考

模型规模 显存需求(量化后) 典型硬件
7-8B 6-8GB 主流游戏本 / 32G 内存的 Mac
14-32B 12-24GB 高配独显 / Mac Studio
70B+ 40GB+ 多卡工作站 / 服务器

没有独立显卡也能跑小模型(走 CPU),但速度会明显变慢。

本地 vs 云端 API:怎么选

维度 本地模型 云端 API
成本 电费 按量付费
隐私 数据不出机器 数据经第三方
能力上限 开源模型,弱一档 旗舰闭源模型
速度 取决于你的硬件 稳定快速
上手门槛 折腾硬件和配置 注册即用

实际建议:两者互补而非互斥。

  • 隐私敏感(本地文件整理、个人笔记)→ 本地
  • 高质量需求(复杂推理、创作)→ 云端旗舰
  • 高频批量小任务 → 本地小模型或云端轻量档

小结

Ollama 把跑开源模型的门槛降到了「两条命令」。即便你最终以云端 API 为主力,本地模型也是了解模型工作原理、保护隐私数据的极佳补充。


相关:Chatbox 配置教程 · API 计费详解