开发者 — « 本地 Copilot,100% 离线,0 云延迟。 »
Qwen 3.8 27B 用于聊天和智能体,一个小型 Qwen2.5-Coder“base”模型用于自动补全,通过 Continue.dev 接入 VS Code。自动补全、聊天、整个文件的重构——您的代码不会有一行泄露给 Microsoft、OpenAI 或 Anthropic。您的 PR 包含 API 密钥?它会留在本地。
完成本流程后,您将拥有一个在后台运行的 llama.cpp 服务器:使用 Q4 量化的 Qwen 3.8 27B 负责聊天,另有一个小型 Qwen2.5-Coder base(1.5B)负责代码补全(FIM)。Continue.dev 将接入 VS Code,提供代码补全以及侧边栏聊天。
适用人群 适合哪些人?
我们更愿意早点告诉您,也不想让您白白浪费 30 分钟。
- ✓你每天都写代码,已经厌倦了把代码片段复制到网页界面里。
- ✓您的雇主禁止使用 GitHub Copilot、ChatGPT 和 Cursor——理由充分。
- ✓您处理的是专有代码、受保密协议(NDA)约束的内容,或包含明文 API 密钥的内容。
- ✓您拥有 RTX 4070 Ti+、RTX 4090、RTX 5090,或配备 32 GB 及以上内存的 MacBook Pro M2/M3/M4。
- ✓向云端 API 的 200 ms 延迟会打乱你的节奏。
- ·您有 8 GB 显存:使用 Qwen 3.5 9B 可以运行,但明显不及云端助手。
- ·您每周编写代码 1 小时:云服务商的免费账户会省心许多。
- ·如果您想使用通用聊天助手,请查看更简单的好奇者路线。
这条学习路径分为 4 步
每一步都附有详细指南的链接,您可以在操作时配合阅读。步骤顺序已经过优化:第一次操作时,请不要跳过任何步骤。
- 1步骤 01·12 分钟·高级
编译支持 GPU 加速的 llama.cpp
从源码编译,以获得最高的每秒 token 生成速度。NVIDIA 上使用 CUDA,Apple Silicon 上使用 Metal,AMD 上使用 ROCm。速度比 Ollama 快 15% 至 30%。
llama-server 二进制程序已就绪,可提供兼容 OpenAI 的 API。阅读指南 → - 2步骤 02·6 分钟·中级
下载 Qwen 3.8 27B(Q4)和一个自动补全模型
Qwen 3.8 27B 在 Artificial Analysis 指数中位居 40 亿至 400 亿参数模型之首(2026 年 10 月):Q4_K_M 量化下为 18 GB,适合 24 GB 显卡。如果只有 16 GB,请选择 Gemma 4 12B。行中间的自动补全(FIM)需要专门的“base”模型:在 Qwen 3.8 27B 旁边搭配 Qwen2.5-Coder 1.5B base(1 GB),如果内存还有余量,可用 7B base(4.7 GB)。从 Hugging Face 下载。
模型在 localhost:8080 上以 chat completions 格式提供服务。阅读指南 → - 3步骤 03·8 分钟·中级
将 Continue.dev 接入 VSCode
从扩展市场安装 Continue 扩展,编辑 ~/.continue/config.json,使其指向您的本地端点,并配置 FIM 模型以实现自动补全。
按 Tab 接受建议,按 Cmd+L 在选中文本上打开聊天。阅读指南 → - +步骤 bonus·4 分钟·高级
附加内容 — 在命令行中使用 Aider
对于范围更大的任务(如重构一个模块、生成测试),Aider支持在终端中用自然语言编辑文件,并自动通过Git提交修改。
一个连接到同一后端、具备智能体能力的命令行工具,可与 Continue 互补。阅读指南 →
推荐模型
本教程提供三种选择——从最轻量到能力最强。点击可查看详细信息(VRAM、上下文、基准测试)。
用于自动补全(FIM)的 base 版本:4.7 GB;若在 24 GB 上与 Qwen 3.8 27B 并用,请选择 1.5B base(1 GB)。ollama pull qwen2.5-coder:7b-base。
查看详情 →使用 24 GB VRAM 进行聊天和代码智能体(Cline、Aider、OpenCode):Q4 下占 18 GB。使用 16 GB 时:Gemma 4 12B。
查看详情 →内存 32 GB 或以上:选用快速的 MoE 模型(3B 激活参数),适合长时间的智能体循环。
查看详情 →常见问题
这些是我们通过邮件和 Mastodon 收到的真实问题。如果没有找到您的问题,请提交工单。
处理机密文件的专业人士 — « 我的文件夹不会离开我的工作站。 »
律师、医生、人力资源从业者、顾问、注册会计师、公证人——您的文件受职业保密或 NDA 保护。结合 RAG 的本地 LLM 让您可以查询、总结、…
用 100 % 本地代码副驾驶替代 GitHub Copilot 和 Cursor——权威指南,含配置。
- 在线空间,终身可用
- PDF + 文件
- 30 天内退款
有疑问、发现错别字或遇到 bug?
这条学习路线会随着每次新模型发布而更新。您的反馈是改进的基础。