路径 01 · 入门

好奇者—— “我只想试试,别太复杂。”

您听说过本地 LLM,想看看它在您自己的机器上运行的效果。无需编写代码,也不需要复杂的命令行操作——只需 15 分钟,您就能与自己的第一个模型聊天,离线运行,免费使用。

总时长
~15 分钟
所需水平
无
成本
0 €
典型设备配置
较新的 PC 或 Mac
↑
我们的承诺

完成这一流程后,Ollama 将在后台静默运行,Mistral 7B 已下载到本地,您还会拥有一个简洁的网页界面,可以从浏览器访问并与模型聊天。整个过程不到一刻钟,无需理解任何一行代码。

适用人群 适合哪些人?

我们更希望尽早告知您,而不是让您白白浪费30分钟。

✓ 如果您符合以下情况,这条学习路径适合您
  • ✓你对LLM了解甚少,但对此话题很感兴趣。
  • ✓您想尝试一下,又不想把自己的问题交给美国的服务平台。
  • ✓您想找到从“听说过”到“在自己的设备上运行起来”的最短路径。
  • ✓您拥有一台机龄不足 5 年、内存至少为 8 GB 的 PC 或 Mac。
✕ 如果您符合以下情况,请考虑其他选择
  • ·您想用自己的数据微调模型:请查看开发者学习路线。
  • ·您想搭建专业环境,对自己的文档使用 RAG:请参阅专业保密方案。
  • ·您的设备为 2015 年款,配备 4 GB RAM:可以运行,但会卡顿。

这条学习路径分为 3 步

每一步都附有详细指南的链接,您可以在操作时配合阅读。步骤顺序已经过优化:第一次操作时,请不要跳过任何步骤。

累计 · 约 15 分钟
  1. 1
    步骤 01·3 分钟·入门

    安装 Ollama

    请访问 ollama.com 下载官方安装程序,双击即可完成安装。系统时钟附近会出现一个图标:AI 引擎已后台运行。

    Ollama 已安装,并在 localhost:11434 上监听。
    阅读指南 →
  2. 2
    步骤 02·4 分钟·入门

    下载 Mistral 7B

    只需在终端输入一条命令:ollama run mistral。下载需要 4 GB(取决于您的网络连接)。这是法国 Mistral AI 的模型,非常适合入门。

    Mistral 7B 已下载并加载到内存中,可以开始对话了。
    阅读指南 →
  3. 3
    步骤 03·8 分钟·入门

    一个类似 ChatGPT 的界面

    终端界面比较枯燥。Open WebUI 提供优雅的界面,支持历史记录、Markdown 和复制粘贴。一条 Docker 命令即可启动。

    您在 http://localhost:3000 上通过熟悉的界面进行聊天。
    阅读指南 →

推荐模型

为本学习路径测试过的三款选择——从最轻量到能力最强。点击查看详细介绍(显存、上下文、基准测试)。

起步
Mistral 7B Instruct
Mistral AI · 7B · Q4 下 5 GB

默认的入门选择。原生支持法语,规模适中。

查看详情 →
参考模型
qwen2.5-7b

出色的性能与规模比,代码和推理能力都非常出色。

参考模型
llama-3.1-8b

Meta出品,多语言支持,生成更长且结构化的回复。

常见问题

我们通过邮件和Mastodon收到的真实问题。如果您的问题未被覆盖,请提交工单。

对话期间:是的,您的 GPU 会满负荷运行(200 至 400 W,具体取决于型号)。两次提问之间的空闲时段:耗电量几乎为零。如果只是偶尔使用,与玩电子游戏相比,这点耗电量可以忽略不计。
完成这条学习路径后
下一个学习路径

注重保密的专业人士 — “我的文件资料不会离开我的电脑。”

法律专业人士、医生、人力资源人员、顾问、专业会计师、公证人——您的文件受职业保密义务或保密协议(NDA)约束。将本地 LLM 与 RAG 结合,您就可以针对这些文件提问、生成摘要……

→
本地 AI 套件

只需 1 小时,即可在您的电脑上拥有专属的免费 ChatGPT — LM Studio、Ollama、Open WebUI、您的文档,无需云端。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

有疑问、发现错别字或遇到 bug?

这条学习路线会随着每次新模型发布而更新。您的反馈是改进的基础。