Unsloth：在一张大显卡上微调 LLM public

#安装任何组件前需明确的关键问题

是的，消费级显卡也能微调 70 亿或 80 亿参数的模型：Unsloth 文档给出的 4 位 QLoRA 最低显存需求为 5–6 GB，因此 12 GB 显卡足够，并且还能为上下文和批次留出余量。Unsloth 重写了 LoRA 和 QLoRA 微调中计算负担较重的步骤；据开发方称，速度最高可达到原来的两倍，同时显存用量减少 70%，但这些数字仅适用于部分 notebook 示例。微调结果可以导出为 GGUF，在 Ollama 中运行。不过，安装之前就应该先考虑真正的问题：微调改变的是模型的行为（语气、格式、语域），并不会更新它的知识。如果您希望模型了解您的文档，请先构建文档检索功能。还要把数据集准备所需的时间算进去：它比训练本身更耗时。

微调改变的是模型的行为方式。文档检索改变的是模型在回答时掌握的信息。混淆两者会白白浪费数周时间。

• 微调或RAG：详细决策树
• LoRA与QLoRA：实际工作原理
• LoRA微调的完整示例
• 用数据评估 RAG 是否会表现更好

#Unsloth 实际带来了哪些改变

这种方法并不新：冻结模型权重，只训练添加到每个权重上的小型矩阵；根据 Unsloth 指南，这些矩阵约占参数总数的 1%。LoRA 将原始模型保留为 16 位，QLoRA 则将其量化为 4 位，从而节省 75% 的内存。这是标准方法，并非 Unsloth 的专有技术。

该库提供的是具体实现，其中针对计算负担较重的步骤重写了计算内核。该项目有三种形式：原生应用 Unsloth Desktop、网页界面 Unsloth Studio，以及本文介绍的代码驱动版本 Unsloth Core。项目采用双许可证：核心部分采用 Apache 2.0，部分可选组件（如 Studio 界面）采用 AGPL-3.0。项目宣称，语言模型、扩散模型、语音合成模型和嵌入模型的训练速度可达到原来的两倍，同时减少 70% 的显存用量，且不损失精度。在混合专家（MoE）架构上，公布的提升幅度更大：某些较新的模型最高可达到原来的 12 倍速度，并节省超过 35% 的显存。与所有厂商公布的数字一样，这些数字描述的是最佳情况：README 本身就表明，“两倍速度、减少 70% 显存”只适用于部分 notebook。

#哪种显卡适合哪种模型

文档明确指出这些数值为绝对最低值：具体取决于模型，可能需要更多资源。文档将批次大小过大列为内存饱和的常见原因，建议将其调整为 1、2 或 3，并推荐首次测试时使用 2048 的上下文长度。

#真正的工作在于数据集

微调失败从来不是库的问题，而是数据的问题。

格式

数据集通常包含两列，分别为问题和回答，并采用模型所要求的对话结构。本指南建议从 Instruct 模型入手：它可直接接受对话模板（ChatML、ShareGPT），所需数据也比基础模型少。数据的一致性比数量更重要。

数量

Unsloth 指南建议最少使用 100 行数据，若想取得更好的效果，则应超过 1,000 行。少量示例就能调整语气和格式；要真正形成符合业务需求的行为，则需要更多彼此一致的示例。

质量

模型会模仿它所看到的内容，包括错误。数据中的系统性缺陷会转化为模型中的系统性缺陷。

检验数据集

模型在训练过程中从未见过的示例。没有这些示例，就无法区分学习与死记硬背。

无需代码

Unsloth Studio 提供 Data Recipes，可通过可视化流程将 PDF、CSV 或 DOCX 文件转换为数据集，并在启动完整构建之前提供预览。

#从适配器到可用模型

流程分为三个阶段：以4位精度加载模型，使用官方笔记本进行训练，然后导出模型。第一段代码负责加载模型并添加LoRA适配器；实际训练则通过Unsloth提供的笔记本完成，指南建议将该笔记本复制到本地环境中。

from unsloth import FastLanguageModel

model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/Qwen3-8B-unsloth-bnb-4bit",  # quantification dynamique 4 bits d'Unsloth
    max_seq_length=2048,
    load_in_4bit=True,
)
model = FastLanguageModel.get_peft_model(model, r=16, lora_alpha=16)

名称的后缀很重要。根据指南，以 unsloth-bnb-4bit 结尾的模型采用 Unsloth 的动态 4 位量化：它比标准 BitsAndBytes 量化略多占用一些 VRAM，但精度明显更高。仅以 bnb-4bit 结尾的名称表示标准版本。指南还指出，训练和部署服务使用相同的精度更有利：如果以 4 位精度提供服务，就以 4 位精度训练。

1. 01
   训练

   最终结果是一个 LoRA 适配器，在 Unsloth 的示例中约为 100 MB，而非完整模型。
2. 02
   评估

   使用对照数据集进行评估，并与原始模型比较。“更好”需要证明，不能想当然。指南指出，自动评估工具可能无法准确反映您的评判标准。
3. 03
   合并或单独保留

   适配器可以独立保存并按需替换，也可以合并到模型权重中：使用 model.save_pretrained_merged，并设置 save_method="merged_16bit"。
4. 04
   导出为GGUF并进行量化

   model.save_pretrained_gguf 会生成文件，可选择 q4_k_m、q8_0 或 f16。这使导出的模型能够通过 Ollama 或 llama.cpp 在普通硬件上运行。

model.save_pretrained_gguf(
    "mon-modele-q4", tokenizer, quantization_method="q4_k_m"
)
# puis, avec le Modelfile fourni : ollama create mon-modele -f Modelfile

• 将 GGUF 模型导入 Ollama
• 选择模型的量化级别

#常见陷阱

在不知情的情况下从基础模型开始

指南建议使用指令模型：它们支持对话模板，且所需数据较少。基础模型则需要不同的格式（如Alpaca、Vicuna），并需要更多示例。

忘记使用对话模板

格式与模型预期不符的示例会导致技术上成功的训练，但实际应用中毫无价值。

在训练样本上进行评估

正是这种错误，让人宣称取得了惊人的成果，最终交付的模型却令人失望。

认为它会取代文档检索

模型所学的知识会随着您信息的更新而过时，且模型不会引用其信息来源。对于不断变化的事实，文档检索仍更为可靠。

低估示例数据清洗的重要性

数据集中几乎完全相同的重复样本会使训练偏向这些特定案例，而所跟踪的指标却不会反映这一点。

同时更改多个设置

在同一实验中修改学习率、适配器秩和序列长度，将无法判断哪个参数导致了观察到的变化。

#具体用例

保持一致的客户支持语气

基于真实对话进行微调的模型会以符合品牌风格的语气回答，无需在每次提示中重复风格要求。

严格格式提取

使用输入—输出示例进行微调，比仅靠提示词更能可靠地固定输出格式；在将结果发送至下游系统之前，这很有用。

这些情况有一个共同点：每一种都可以衡量。在开始训练前，请用一句可验证的话定义成功标准，例如“测试集至少 95% 的输出符合 JSON 格式”，而不是笼统地感觉有所改善。判断结果是否值得投入这些时间的，应是这个标准，而不是直觉。

• 来源：Unsloth 官方仓库（功能、硬件、双许可）
• 来源：模型规模对应的前置条件及最小显存需求
• 来源：Unsloth 微调指南
• 来源：GGUF导出及模板问题
• 数据来源：MoE 模型的性能指标

#实际成本：不只是显卡价格

显卡只是其中一项投入。收集并清洗一致的示例数据，编写模型永远不会接触到的评估集，再将每个版本与原始模型进行比较，这些工作往往比训练本身更繁重；Unsloth 指南用一次 60 步的试验演示了训练过程。

因此，无论 Unsloth 的训练速度有多快，它都无法像人们期望的那样大幅缩短项目周期：它消除的是技术瓶颈，而不是数据方面的工作。

#FAQ

推荐硬件： GMKtec EVO-X2 64GB / 1TB (Ryzen AI Max+ 395) — 16 GB 显存的 NVIDIA 显卡，足以使用 QLoRA 微调 7–8B 模型。 所有 AI 硬件 →