AI 实战课 #21:个人电脑上的私有AI——大模型本地运行指南
前 20 期我们把 AI 的原理讲透了。从今天起进入第三阶段——动手实践。第一课就干一件很多人想做却没敢做的事：不联网、不花钱、数据不出本机，在自己的电脑上跑一个大模型。你会发现，这比想象中简单得多。 AI 每日一课 | 第 21 期（第三阶段开篇） 前两个阶段，我们聊了 AI「是什么」和「为什么」。从预训练到 Transformer，从幻觉到对齐，都是原理。 从这一期开始，我们进入第三阶段——动手实践。原理讲得再透，不动手总隔一层。今天这一课，我们就把一个真正的大模型，装进你自己的电脑。 为什么要本地部署？三个理由：数据隐私（你的对话不上传任何服务器）、零成本（装好之后不花一分钱）、可控（断网也能用，还能自己微调）。 一、先搞清楚：你的电脑能跑多大的模型？ 这是最关键的一步，很多人卡在这里。决定你能跑多大模型的，主要是内存（尤其是显存）。 回顾第 5 期和第 19 期：模型大小用参数量衡量，7B 就是 70 亿参数。而经过量化（第 19 期讲过的压缩术）后，模型对内存的需求大幅下降。 一个简单的估算（4-bit 量化后）： · 1.5B：约 1.5G 内存，几乎任何电脑 · 7B / 8B：约 5G 内存，16G 内存的笔记本 · 14B：约 9G 内存，好一点的独显 / M 系列 Mac · 32B：约 20G 内存，高端显卡 / 32G 统一内存 Mac · 70B：约 40G 内存，专业显卡或多卡 给普通人的建议：先从 7B 或 8B 起步。它足够聪明，能应付日常问答、翻译、写代码，而且大多数笔记本都跑得动。 二、最简单的方案：Ollama 部署大模型有很多工具，对新手最友好的是 Ollama——它把所有复杂的环境配置都打包好了，你只需要两条命令。 打个比方：以前部署模型像自己组装电脑，要配显卡驱动、装 Python 环境、下载权重、写推理代码，劝退无数人。Ollama 就像买了一台开箱即用的成品机——插电就能用。 三步跑起来 第一步：安装 Ollama 去官网 ollama.com 下载对应系统的安装包（Windows / Mac / Linux 都有），一路点下一步装完。 第二步：下载并运行模型 打开终端，输入一行命令： ollama run qwen2.5 第一次运行会自动下载模型（几个 G，等一会儿），下完直接进入对话界面。就这么简单——你已经有了一个完全本地的 AI。 想换模型？把名字改掉就行： · ollama run llama3.1（Meta 的 Llama） · ollama run qwen2.5:14b（更大的 14B 版本） · ollama run deepseek-r1（会推理的模型） 第三步：像用 ChatGPT 一样聊天 模型跑起来后，直接在终端里打字提问。断网也能用，所有对话都在你本机，不上传任何地方。 三、进阶：给它配个网页界面 终端里聊天不够优雅？可以装一个 Open WebUI，给本地模型套上一个和 ChatGPT 几乎一样的网页界面：有对话历史、能传文件、能切换模型。 它通过 Docker 一条命令就能装好，装完打开浏览器就能用。这样你就拥有了一个完全私有的「ChatGPT」——界面一样好用，但数据完全属于你。 四、本地模型能干什么？ 别指望本地的 7B 模型能和 GPT-5 掰手腕，但它在这些场景非常够用： · 隐私敏感的处理：涉及公司文档、个人隐私的内容，不放心传给云端 · 日常问答与写作：翻译、润色、写邮件、总结文章 · 写代码：本地跑个代码模型，补全、debug 都行 · 搭 RAG 知识库：结合第 13 期讲的 RAG，让本地模型读你自己的文档 · 学习和折腾：想微调、想实验，本地想怎么玩就怎么玩 我们做 Camus 平台时，本地就跑着一个微调过的 Qwen2.5-7B，专门回答项目相关问题——数据不出内网，随时可用，这正是本地部署的价值。 五、几个新手常踩的坑 · 模型下载慢：国内建议配置镜像源，或选择国内可访问的模型仓库。 · 内存不够卡死：别硬上大模型，先从 7B 起步，跑顺了再往上加。 · 速度慢：纯 CPU 跑会比较慢，有独立显卡（或 Mac 的统一内存）会快很多。 · 以为本地模型 = 云端模型：本地小模型能力有限，别拿它和 GPT-4 比，要理解它的定位。 今日要点 1. 本地部署三大价值：数据隐私、零成本、可控（可断网、可微调）。 2. 能跑多大看内存：4-bit 量化后 7B 约占 5G，普通笔记本就能跑，新手从 7B/8B 起步。 3. Ollama 最省心：ollama run qwen2.5 一行命令，自动下载 + 运行。 4. 配 Open WebUI：给本地模型套上 ChatGPT 同款网页界面。 5. 应用场景：隐私处理、日常写作、写代码、搭 RAG 知识库、学习折腾。 金句：把大模型装进自己的电脑，你才真正拥有了它。云端的 AI 是租来的，本地的 AI 是你自己的。 下期预告：本地模型装好了，但它只会通用问答，不懂你的专属知识。#22 我们讲怎么用 Ollama + 本地文档搭一个私人知识库——让你的本地 AI 读懂你的笔记、文档、资料，真正为你所用。下期见。
AI 每日一课 | 第 21 期（第三阶段开篇）
前两个阶段，我们聊了 AI「是什么」和「为什么」。从预训练到 Transformer，从幻觉到对齐，都是原理。
从这一期开始，我们进入第三阶段——动手实践。原理讲得再透，不动手总隔一层。今天这一课，我们就把一个真正的大模型，装进你自己的电脑。
为什么要本地部署？三个理由：数据隐私（你的对话不上传任何服务器）、零成本（装好之后不花一分钱）、可控（断网也能用，还能自己微调）。
这是最关键的一步，很多人卡在这里。决定你能跑多大模型的，主要是内存（尤其是显存）。
回顾第 5 期和第 19 期：模型大小用参数量衡量，7B 就是 70 亿参数。而经过量化（第 19 期讲过的压缩术）后，模型对内存的需求大幅下降。
一个简单的估算（4-bit 量化后）：
· 1.5B：约 1.5G 内存，几乎任何电脑
· 7B / 8B：约 5G 内存，16G 内存的笔记本
· 14B：约 9G 内存，好一点的独显 / M 系列 Mac
· 32B：约 20G 内存，高端显卡 / 32G 统一内存 Mac
· 70B：约 40G 内存，专业显卡或多卡
给普通人的建议：先从 7B 或 8B 起步。它足够聪明，能应付日常问答、翻译、写代码，而且大多数笔记本都跑得动。
部署大模型有很多工具，对新手最友好的是 Ollama——它把所有复杂的环境配置都打包好了，你只需要两条命令。
打个比方：以前部署模型像自己组装电脑，要配显卡驱动、装 Python 环境、下载权重、写推理代码，劝退无数人。Ollama 就像买了一台开箱即用的成品机——插电就能用。
第一步：安装 Ollama
去官网 ollama.com 下载对应系统的安装包（Windows / Mac / Linux 都有），一路点下一步装完。
第二步：下载并运行模型
打开终端，输入一行命令：
ollama run qwen2.5
第一次运行会自动下载模型（几个 G，等一会儿），下完直接进入对话界面。就这么简单——你已经有了一个完全本地的 AI。
想换模型？把名字改掉就行：
· ollama run llama3.1（Meta 的 Llama）
· ollama run qwen2.5:14b（更大的 14B 版本）
· ollama run deepseek-r1（会推理的模型）
第三步：像用 ChatGPT 一样聊天
模型跑起来后，直接在终端里打字提问。断网也能用，所有对话都在你本机，不上传任何地方。
终端里聊天不够优雅？可以装一个 Open WebUI，给本地模型套上一个和 ChatGPT 几乎一样的网页界面：有对话历史、能传文件、能切换模型。
它通过 Docker 一条命令就能装好，装完打开浏览器就能用。这样你就拥有了一个完全私有的「ChatGPT」——界面一样好用，但数据完全属于你。
别指望本地的 7B 模型能和 GPT-5 掰手腕，但它在这些场景非常够用：
· 隐私敏感的处理：涉及公司文档、个人隐私的内容，不放心传给云端
· 日常问答与写作：翻译、润色、写邮件、总结文章
· 写代码：本地跑个代码模型，补全、debug 都行
· 搭 RAG 知识库：结合第 13 期讲的 RAG，让本地模型读你自己的文档
· 学习和折腾：想微调、想实验，本地想怎么玩就怎么玩
我们做 Camus 平台时，本地就跑着一个微调过的 Qwen2.5-7B，专门回答项目相关问题——数据不出内网，随时可用，这正是本地部署的价值。
· 模型下载慢：国内建议配置镜像源，或选择国内可访问的模型仓库。
· 内存不够卡死：别硬上大模型，先从 7B 起步，跑顺了再往上加。
· 速度慢：纯 CPU 跑会比较慢，有独立显卡（或 Mac 的统一内存）会快很多。
· 以为本地模型 = 云端模型：本地小模型能力有限，别拿它和 GPT-4 比，要理解它的定位。
1. 本地部署三大价值：数据隐私、零成本、可控（可断网、可微调）。
2. 能跑多大看内存：4-bit 量化后 7B 约占 5G，普通笔记本就能跑，新手从 7B/8B 起步。
3. Ollama 最省心：ollama run qwen2.5 一行命令，自动下载 + 运行。
4. 配 Open WebUI：给本地模型套上 ChatGPT 同款网页界面。
5. 应用场景：隐私处理、日常写作、写代码、搭 RAG 知识库、学习折腾。
下期预告：本地模型装好了，但它只会通用问答，不懂你的专属知识。#22 我们讲怎么用 Ollama + 本地文档搭一个私人知识库——让你的本地 AI 读懂你的笔记、文档、资料，真正为你所用。下期见。