想在自己电脑上跑大模型，Ollama 是门槛最低的一条路：装好软件，一条命令下载模型，就能在终端里聊天，也能让别的软件通过本地接口调用它。好处是对话不出本机、断网也能用；代价是速度和效果完全取决于你的硬件和选的模型。
这篇不是功能大全，而是我在 2026 年 11 月 12 日用 Ollama 0.40.16 实际装了一遍、跑了两个模型之后，整理出新手最容易踩的几件事。测试机是一台没有独立显卡的 Linux 主机（8 核 Intel Xeon、16GB 内存），也就是「普通电脑只靠 CPU」的情况。数字只代表这台机器，你的电脑会不一样，但量级可以参考。
先想清楚：你真的需要本地模型吗
本地模型适合这几类人：
- 处理的材料不方便上传到在线服务，比如内部文档、个人日记
- 想在没网或网络不稳的地方用
- 开发者想要一个不花 API 费用、随便调用的本地接口来做测试
如果你只是想要一个好用的聊天助手，在线产品通常更强也更快。日常写作、查资料，先看本站的豆包、DeepSeek、千问和 Kimi 按场景怎么选。小显存、纯 CPU 能跑的模型，能力明显不如这些在线服务的旗舰模型，这一点要有心理准备。
安装：三个系统各走官方入口
只从官网 ollama.com/download 或官方文档给的方式安装：
- Windows：下载
OllamaSetup.exe安装，不需要管理员权限，默认装在用户目录。官方要求 Windows 10 22H2 或更新，安装本体就要预留约 4GB 空间，模型另算。 - macOS：下载后把 Ollama 拖进「应用程序」。要求 macOS Sonoma（14）或更新；Apple M 系列芯片可以用 GPU，老的 Intel Mac 只能用 CPU。
- Linux：官方一键脚本是
curl -fsSL https://ollama.com/install.sh | sh，会顺手注册成系统服务。
装完后打开终端，输入：
ollama -v能看到版本号就说明命令行可用。如果同时提示「could not connect to a running Ollama instance」，说明后台服务没起来：Windows 和 Mac 打开 Ollama 应用即可，Linux 手动安装的话运行 ollama serve。
跑起第一个模型
最简单的一步是：
ollama run qwen3:0.6b第一次会自动下载模型，下完直接进入对话，输入 /bye 退出。冒号后面的部分是「标签」，代表同一系列里的不同大小。几个常用命令：
ollama pull 模型名：只下载，不进入对话ollama list：看已经下载了哪些模型、各占多大ollama ps：看哪些模型正加载在内存里ollama stop 模型名：立刻把模型从内存里卸掉ollama rm 模型名：删除模型文件，释放硬盘
模型具体有哪些标签、多大，去 ollama.com/library 对应页面看。以 Qwen3 为例，写作当天官方页面列出 0.6b 约 523MB、1.7b 约 1.4GB、4b 约 2.5GB、8b 约 5.2GB、14b 约 9.3GB，再往上 30B 级别就要将近 20GB。
实测：纯 CPU 下，0.6B 和 4B 差多少
我用同一道小学应用题测了两个模型：「3 盒苹果每盒 12 个，送出 15 个，又买回 8 个，现在有几个？」正确答案是 29。速度数据取自 Ollama 接口返回的统计字段。
| 模型与模式 | 生成速度 | 总耗时 | 答案 |
|---|---|---|---|
qwen3:0.6b，关闭思考 | 约 62 token/秒 | 2.7 秒 | 24，算错了 |
qwen3:0.6b，开启思考 | 约 58 token/秒 | 5.6 秒 | 29，正确 |
qwen3:4b，关闭思考 | 约 15 token/秒 | 17.2 秒 | 29，但推理过程混进了正文 |
qwen3:4b，开启思考 | 约 9 token/秒 | 31.6 秒 | 29，正确 |
还有一个更说明问题的例子：我让 qwen3:4b 把「明天的会你别迟到了，上次等了你二十分钟」改得礼貌一点。它在开启思考的情况下先生成了 2300 多个 token 的推理，整整花了 4 分 9 秒，才给出一句「明天的会议，请您准时参加……」。同样的事情，在线助手几秒钟就完成了。
几个从实测里得到的判断：
- 0.6B 这种超小模型快，但不可靠。 关掉思考连简单算术都会错，只适合做分类、提取关键词这类简单活，或者当玩具体验。
- 思考模式在 CPU 上代价很大。 它会先「自言自语」很长一段，token 数翻好几倍，CPU 本来就慢，等待时间就被拉长到分钟级。
- 关掉思考不一定真的关得掉。 我测的
qwen3:4b这个标签，即使在接口里设了不思考，回答里仍然夹带了大段推理文字。不同模型、不同标签对这个开关的支持并不一致，用之前自己测一下。 - 内存占用比文件大。
ollama ps显示 0.6B 加载后约 1.0GB，4B 约 3.6GB，都明显大于下载文件本身。粗略的经验是：可用内存（或显存）至少要比模型文件大一截，再给系统和浏览器留余量。
所以如果你的电脑没有独立显卡、内存 16GB 左右，4B 级别是「能用但要等」的上限；想要日常顺畅，有一块显存够大的 NVIDIA 显卡，或者用 Apple M 系列芯片的 Mac，体验会完全不同。
上下文长度：默认只有 4096
很多人把一整份长文档丢给本地模型，发现它「忘了前面说过什么」。原因之一是 Ollama 默认的上下文窗口是 4096 token，哪怕模型本身支持更长。官方给的调整方法：
- 在
ollama run的对话里输入/set parameter num_ctx 8192 - 启动服务时设置环境变量
OLLAMA_CONTEXT_LENGTH=8192 - 调接口时在
options里传num_ctx
调大会占用更多内存、变得更慢。真要处理几十页的长文档，在线工具往往更省事，可以参考本站的 Kimi 长文档用法。
让别的软件调用：本地接口
Ollama 启动后会在 http://localhost:11434 提供接口，而且兼容 OpenAI 的聊天接口格式（/v1/chat/completions）。很多支持「自定义 OpenAI 地址」的客户端、编辑器插件，把地址填成 http://localhost:11434/v1、模型名填你下载的标签，就能接上。本地使用不需要 API Key。
给模型写指令时，小模型比大模型更需要你把要求说清楚，角色、目标、约束、格式这套框架同样适用，而且「只输出结果，不要解释」这类约束对节省时间很有用。
几个容易踩的坑
下载报错「redirect target not allowed … resolves to non-public 198.18.x.x」。 这是我实测时真的遇到的。模型文件实际存放在 Cloudflare 的存储域名上，如果你电脑里的网络工具开了 fake-ip 一类模式，域名会被解析成 198.18 开头的内网地址，Ollama 出于安全会拒绝下载。解决办法是在该工具里把这个存储域名排除出 fake-ip，或者换成不改写 DNS 的模式，再重新 ollama pull。官方文档也说明了可以用 HTTPS_PROXY 环境变量走代理，但不要设置 HTTP_PROXY，否则可能打断客户端和本地服务的连接。
C 盘或系统盘被模型塞满。 模型默认存在用户目录下的 .ollama/models（Linux 系统服务安装是 /usr/share/ollama/.ollama/models）。想换位置就设置环境变量 OLLAMA_MODELS，然后重启 Ollama。
别随手把服务开放到公网。 Ollama 默认只监听 127.0.0.1，也就是只有本机能访问。网上有教程让你把 OLLAMA_HOST 改成 0.0.0.0 方便局域网调用，这样做之后要确认路由器或云服务器的防火墙没有把 11434 端口暴露出去，否则任何人都能用你的机器跑模型。
模型用完不会立刻释放内存。 默认会在内存里保留 5 分钟，方便下次快速响应。电脑内存紧张时，用 ollama stop 模型名 手动卸载。
注意云端模型和本地模型的区别。 新版 Ollama 也能登录账号使用官方的云端模型，那时提示词会发送到 Ollama 的服务器处理。官方隐私说明称不存储、不用于训练，但如果你选择 Ollama 的初衷就是「数据不出本机」，记得确认自己用的是本地模型；官方 FAQ 里也提供了在 ~/.ollama/server.json 设置 "disable_ollama_cloud": true 关闭云端功能的办法。
我的建议
- 先装好 Ollama，拉一个
qwen3:0.6b或1.7b走通流程，感受一下自己电脑的速度，再决定要不要下更大的模型。 - 纯 CPU 电脑别指望本地模型替代在线助手，把它当成「处理敏感材料」和「开发测试」的补充工具更现实。
- 每换一个模型，都用两三道你熟悉的题目测一测正确率和耗时，比看排行榜靠谱。
本文基于 Ollama 0.40.16 和官方文档（docs.ollama.com），版本更新后命令和默认值可能变化，请以官方说明为准。
发表回复