ControlNet：掌握其 images

#所解决的问题

文字并不适合描述几何结构。提示词可以描述主体、风格和氛围，但无法用文字固定一只手的位置、建筑的角度或产品的精确轮廓。换一个随机种子重新生成，整个构图就会改变。ControlNet 改变的是输入，而不是提示词：您提供一张包含所需结构信息的图像，模型在每一步去噪时都以这张图像为条件，而提示词控制其余所有内容。

该方法源自研究论文《Adding Conditional Control to Text-to-Image Diffusion Models》，作者为Lvmin Zhang、Anyi Rao和Maneesh Agrawala。论文发表于ICCV 2023会议论文集，并获得该会议的最佳论文奖——Marr奖。摘要描述了其原理：ControlNet冻结扩散模型，复用其预训练编码层作为基础，并通过“零卷积”（zero convolutions）连接可训练副本。这些卷积层初始化为零，使参数逐步增长，避免有害噪声干扰训练。作者还表明，无论使用小型数据集（少于50,000张图像），还是大型数据集（超过一百万张图像），训练都能保持稳健。

对您的影响：在不重新训练的情况下，为现有模型增加控制功能，且每种控制都对应一个独立文件。因此，必须为特定模型家族使用正确的文件。

#选择控制类型

ControlNet 1.1 官方仓库公布了 14 个模型，其中 11 个可用于生产环境，3 个为实验性模型，全部采用统一的命名规则。对于深度控制，仓库列出了三种支持的预处理器：Depth_Midas、Depth_Leres 和 Depth_Zoe。预处理器是将您的参考图像转换成控制图的工具，例如将照片转换成深度图。

实用原则：选择尽可能宽松、但仍能保留您所关注内容的控制方式。对一张照片采用轮廓条件控制，会复现这张照片；如果这就是想要的结果，那么生成就没有必要了。深度或姿态通常能更好地平衡遵循控制条件与创造性。

#关键设置

名称因工具而异，但有三个设置在各处都会出现。下表根据相关文档，列出了它们在三种最常用环境中的名称。

控制强度是最有效的调节手段：接近最大值时，生成结果会显得僵硬，降低强度能改善大多数呆板的图像。在去噪结束前停止控制，可以固定构图，同时让模型自由表现材质和光照。AUTOMATIC1111 的扩展提供了一个有三个选项的 Control Mode：Balanced、My prompt is more important 和 ControlNet is more important，用于在提示词和控制之间进行权衡。

#模型作者发布的初始参数值

与其编造数字，不如从发布方提供的数据出发。不同系列之间的数据差异明显，这也提醒我们，适用于 SD 1.5 的设置不能直接照搬。

#不同ControlNet适用于哪些模型家族

自 SD 1.5 以来，可用方案变化很大，许多指南已经过时。表格区分了模型开发实验室发布的内容和社区发布的内容，因为这会影响维护和许可证。

有两点值得说明。首先，Black Forest Labs 已在其 API 中将 FLUX.1 Depth 和 FLUX.1 Canny 标记为弃用，包括其 LoRA 版本：开放权重仍可在 Hugging Face 上获取，但发布方已不再维护这些模型。其次，「Union」模型将多种模式整合到一个文件中，可以节省磁盘空间，但各模型的成熟度参差不齐：InstantX 的 Flux ControlNet Union 模型说明将其描述为首个测试版本，可能尚未完成全部训练。

许可证不会自动沿用基础模型的许可证：每个控制文件都有自己的许可证，而且不同文件的许可证各不相同。

#文件和内存方面的开销

ControlNet 是一个与基础模型配合运行的额外网络：它会增加显存占用和每张图像的处理时间。Hugging Face 上公布的文件大小可以提供初步的量级参考：这些文件的大小需要与基础模型及其文本编码器的权重大小相加。

两个要点。首先，以 LoRA 形式进行的控制仅占完整模型的一小部分：Stability AI 将 Control-LoRA 定义为一种使控制扩展到更广泛消费级显卡的方式。其次，需警惕文件格式：ControlNet 1.1 的 .pth 文件是 Python pickles，Hugging Face 已明确提示存在 pickle 导入警告。建议使用 .safetensors 格式，该格式无法执行代码。

需要额外多少显存？开发商并未公布通用数值，实际测量结果取决于模型和分辨率。显存耗尽时，应依次采取以下措施：降低分辨率、减少同时使用的控制数量，然后改用更轻量的控制方案，例如Control-LoRA或半精度版本。关于基础显存需求，请参阅显存指南。

• VRAM 是什么，运行 AI 需要多少？

#在哪里使用

ControlNet 不是独立应用程序，而是在图像生成界面中运行。在 ComfyUI 中，两个节点负责这项工作：Load ControlNet 读取 models/controlnet 文件夹中的文件，Apply ControlNet 接收控制图像和上方表格中的设置。ComfyUI 文档明确指出，软件核心并不包含所有预处理器，通常需要 ComfyUI ControlNet aux 这样的扩展。请记住，扩展是以您的权限执行的代码：只安装您熟知的扩展。对于 Z-Image Turbo，控制文件应放在另一个文件夹 models/model_patches 中。

在传统 Web 界面中，AUTOMATIC1111 的 sd-webui-controlnet 扩展会在提示词下方添加一个面板。其最新动态条目是 1.1.454 版本，日期为 2024 年 7 月，最后一次提交也在同月：该扩展仍可用于 SD 1.5 和 SDXL，但不会继续跟进新模型。根据 Forge 的 README，Forge 直接集成了 ControlNet，无需使用这一扩展。

#同时组合多种控制

完全可以叠加两个控制，例如用姿态控制人物的姿势，用深度控制场景。diffusers 文档给出的规则是：为了获得良好效果，应对条件输入应用掩码，使其作用区域不重叠，并尝试不同的强度来调整各项控制的权重。文档中的 SDXL 示例将 canny 和深度控制结合使用，两者的强度均为 0.5。在 ComfyUI 中，则依次连接 Apply ControlNet 节点。两种方式都适用相同的原则：只叠加作用于图像不同方面的控制，并降低各项控制的强度，因为它们的效果会叠加。

#当控制被忽略时

控制项未出现在列表中

文件位于错误的文件夹中，或其配置文件名称与文件名不一致。在ComfyUI中，文件夹应为models/controlnet。

生成结果忽略了参考图像

基础模型与控制模型所属系列不兼容、预处理器生成了空的控制图，或控制强度过低。在怀疑其他问题之前，请先显示控制图本身。

图片僵硬，缺乏生机

力度过高，或在整个去噪过程中持续应用控制。请降低力度，并在结束前停止控制。

使用 Union 模型效果令人失望

InstantX 的 Union 模型作者指出，即使是经过充分训练的 Union 模型，也可能不如专用模型，例如姿态模型。请尝试使用专用的 ControlNet，并按照 Shakker Labs 模型说明中的建议，编写详细的提示词。

内存已满

降低分辨率，移除一个控制，或使用该控制的更轻量版本。

• ComfyUI：安装基于节点图的界面
• AUTOMATIC1111：经典网页界面
• 本地图像生成技术全景
• AI 图像套件：基于显卡的 ControlNet 工作流与设置
• 来源：ControlNet官方仓库
• 来源：ICCV 2023 原始研究论文
• 来源：Stability AI的SDXL Control-LoRA
• 来源：FLUX.1 Tools 与 Depth 和 Canny 的弃用

#FAQ