路径 02 · 编程

开发者 — « 本地 Copilot,100% 离线,0 云延迟。 »

Qwen 3.8 27B 用于聊天和智能体,一个小型 Qwen2.5-Coder“base”模型用于自动补全,通过 Continue.dev 接入 VS Code。自动补全、聊天、整个文件的重构——您的代码不会有一行泄露给 Microsoft、OpenAI 或 Anthropic。您的 PR 包含 API 密钥?它会留在本地。

总时长
约 30 分钟
所需水平
熟悉终端操作
成本
0 €
典型设备配置
24 GB GPU(使用 Gemma 4 12B 时为 16 GB)或 32 GB 及以上的 Mac
↑
我们的承诺

完成本流程后,您将拥有一个在后台运行的 llama.cpp 服务器:使用 Q4 量化的 Qwen 3.8 27B 负责聊天,另有一个小型 Qwen2.5-Coder base(1.5B)负责代码补全(FIM)。Continue.dev 将接入 VS Code,提供代码补全以及侧边栏聊天。

适用人群 适合哪些人?

我们更愿意早点告诉您,也不想让您白白浪费 30 分钟。

✓ 如果您符合以下情况,这条学习路径适合您
  • ✓你每天都写代码,已经厌倦了把代码片段复制到网页界面里。
  • ✓您的雇主禁止使用 GitHub Copilot、ChatGPT 和 Cursor——理由充分。
  • ✓您处理的是专有代码、受保密协议(NDA)约束的内容,或包含明文 API 密钥的内容。
  • ✓您拥有 RTX 4070 Ti+、RTX 4090、RTX 5090,或配备 32 GB 及以上内存的 MacBook Pro M2/M3/M4。
  • ✓向云端 API 的 200 ms 延迟会打乱你的节奏。
✕ 如果您符合以下情况,请考虑其他选择
  • ·您有 8 GB 显存:使用 Qwen 3.5 9B 可以运行,但明显不及云端助手。
  • ·您每周编写代码 1 小时:云服务商的免费账户会省心许多。
  • ·如果您想使用通用聊天助手,请查看更简单的好奇者路线。

这条学习路径分为 4 步

每一步都附有详细指南的链接,您可以在操作时配合阅读。步骤顺序已经过优化:第一次操作时,请不要跳过任何步骤。

累计 · 约 30 分钟
  1. 1
    步骤 01·12 分钟·高级

    编译支持 GPU 加速的 llama.cpp

    从源码编译,以获得最高的每秒 token 生成速度。NVIDIA 上使用 CUDA,Apple Silicon 上使用 Metal,AMD 上使用 ROCm。速度比 Ollama 快 15% 至 30%。

    llama-server 二进制程序已就绪,可提供兼容 OpenAI 的 API。
    阅读指南 →
  2. 2
    步骤 02·6 分钟·中级

    下载 Qwen 3.8 27B(Q4)和一个自动补全模型

    Qwen 3.8 27B 在 Artificial Analysis 指数中位居 40 亿至 400 亿参数模型之首(2026 年 10 月):Q4_K_M 量化下为 18 GB,适合 24 GB 显卡。如果只有 16 GB,请选择 Gemma 4 12B。行中间的自动补全(FIM)需要专门的“base”模型:在 Qwen 3.8 27B 旁边搭配 Qwen2.5-Coder 1.5B base(1 GB),如果内存还有余量,可用 7B base(4.7 GB)。从 Hugging Face 下载。

    模型在 localhost:8080 上以 chat completions 格式提供服务。
    阅读指南 →
  3. 3
    步骤 03·8 分钟·中级

    将 Continue.dev 接入 VSCode

    从扩展市场安装 Continue 扩展,编辑 ~/.continue/config.json,使其指向您的本地端点,并配置 FIM 模型以实现自动补全。

    按 Tab 接受建议,按 Cmd+L 在选中文本上打开聊天。
    阅读指南 →
  4. +
    步骤 bonus·4 分钟·高级

    附加内容 — 在命令行中使用 Aider

    对于范围更大的任务(如重构一个模块、生成测试),Aider支持在终端中用自然语言编辑文件,并自动通过Git提交修改。

    一个连接到同一后端、具备智能体能力的命令行工具,可与 Continue 互补。
    阅读指南 →

推荐模型

本教程提供三种选择——从最轻量到能力最强。点击可查看详细信息(VRAM、上下文、基准测试)。

常见问题

这些是我们通过邮件和 Mastodon 收到的真实问题。如果没有找到您的问题,请提交工单。

在行级自动补全上,一个小型本地 base 模型就能很好地完成日常工作。在聊天和智能体方面,最好的云端模型在长任务上仍占优势;Qwen 3.8 27B 缩小了这一差距。而且您的数据始终掌握在自己手中。
完成这条学习路径后
下一个学习路径

处理机密文件的专业人士 — « 我的文件夹不会离开我的工作站。 »

律师、医生、人力资源从业者、顾问、注册会计师、公证人——您的文件受职业保密或 NDA 保护。结合 RAG 的本地 LLM 让您可以查询、总结、…

→
本地编程副驾驶套件

用 100 % 本地代码副驾驶替代 GitHub Copilot 和 Cursor——权威指南,含配置。

  • 在线空间,终身可用
  • PDF + 文件
  • 30 天内退款

有疑问、发现错别字或遇到 bug?

这条学习路线会随着每次新模型发布而更新。您的反馈是改进的基础。