Stable Diffusion

关于 Stable Diffusion

Stable Diffusion 是 Stability AI 推出的开源权重文生图模型系列。它可以根据文字提示词生成图片，与封闭式服务不同，它可以下载并在自己的电脑上运行，无需按张付费，也无需把提示词发送到云端服务。它是掀起开源图像生成浪潮的模型系列，至今仍拥有最大的社区工具、微调模型和教程生态。

该系列共有三代。SD 1.5 于 2022 年发布，体积小、速度快，社区扩展库最丰富。SDXL 1.0 于 2023 年 7 月发布，原生支持 1024×1024 像素，手部和短文字的生成效果更好。Stable Diffusion 3.5 于 2024 年 10 月发布，分为 Large、Large Turbo 和 Medium 三个版本，三代中画质和提示词遵循度最好。大多数用户通过 ComfyUI 或 AUTOMATIC1111 WebUI 等免费界面运行这些模型，也可以使用 Stability AI 自家的网页应用和 API。

核心功能

• 文生图：输入提示词即可生成任意风格的图片，从写实人像到动漫、产品图和建筑渲染。
• 图生图：以现有图片为起点进行变换，保留构图的同时改变风格或细节。
• 局部重绘与扩图：擦除并重新生成图片的一部分，或把画布扩展到原图边界之外。
• ControlNet：用姿态、深度图、边缘线稿或草图引导生成，让输出遵循你指定的布局，而不是纯靠随机。
• LoRA 微调：用少量图片训练一个小型适配器，稳定复现特定风格、角色、产品或面孔。
• 社区检查点：在 Hugging Face 和 CivitAI 上有数千个微调模型，涵盖水彩到赛博朋克等各种风格。
• 放大与细节增强：用专用放大模型放大图片并补充精细细节。
• 完全本地可控：在自己的 GPU 上离线运行，提示词和图片保持私密，想生成多少张都可以，没有用量限制。
• 开源权重：模型文件可下载，在各自许可下免费使用，无需订阅，也不会被厂商锁定。

如何使用

1. 根据硬件选择模型。SDXL 在 8GB 显存的消费级显卡上运行良好；SD 3.5 Medium 约需 10GB 显存，SD 3.5 Large 需要更多。
2. 安装 ComfyUI 或 AUTOMATIC1111 WebUI 等免费界面，然后从 Hugging Face 下载检查点并放入模型文件夹。
3. 编写提示词，描述主体、风格、光线和氛围，并添加反向提示词，列出要避免的内容，例如模糊或低质量。
4. 批量生成，挑选最佳结果，再通过更换随机种子、采样器或步数来优化。
5. 需要精确控制时使用 ControlNet，例如用人物的姿态或房间的深度图来引导生成。
6. 需要稳定的风格或角色时添加 LoRA，并用局部重绘修复手部、面部或小细节。
7. 商业使用前先确认所用模型的许可条款，并保存提示词和参数，以便复现好的结果。

价格与许可

模型本身可以免费下载并在本地运行，硬件配置好之后没有按张计费的成本。许可条款因版本而异：SD 1.5 采用 CreativeML OpenRAIL-M 许可，SDXL 采用 OpenRAIL++-M 许可，SD 3.5 采用 Stability AI 社区许可，研究用途和年收入低于 100 万美元的商业用途免费，超过该门槛需要签署企业协议。Stability AI 也提供付费托管服务和 API，适合不想自己运行本地 GPU 的用户。

优点

• 配置好之后免费且不限量：无需订阅，没有按张收费，也没有每日上限。
• 完全的隐私与控制：一切都在自己的机器上运行，可以安装任意检查点、LoRA 或扩展。
• 开源图像生成领域最深厚的生态，多年的教程、扩展和社区模型积累。
• 结果可复现：随机种子、采样器和参数可以精确还原一张好图。
• ControlNet 和 LoRA 提供了封闭式工具难以比拟的精确、可重复的控制能力。

局限

• 配置需要实际投入：安装软件、寻找模型、调整参数对新手并不友好。
• 需要一块不错的显卡，集成显卡或性能较弱的显卡会很慢甚至无法使用，最大的模型需要 12GB 或更多显存。
• 画质高度依赖所选检查点和提示词，开箱即用的效果不如最优秀的封闭式生成器精致。
• 提示词遵循度和图片内文字的清晰度落后于最新的封闭式模型。
• 各版本许可条款不同，商业用户必须仔细阅读所用具体模型的许可。