如何得到一张透明底图片素材？此前我们需要花几小时在Photoshop里面小心翼翼地抠图，效率低效果也难保证，但是现在，有了AI神器——LayerDiffusion，这些繁琐的步骤都可以省去了！今天带大家一起来了解。

LayerDiffusion

01、简介

LayerDiffusion 是 ControlNet 作者Lvmin Zhang提出的新项目，它使得大规模预训练的Stable Diffusion能够生成单个透明图像或多个透明层，且支持前后景的图片融合和图层拆分——LayerDiffusion 不是抠图，是生成！

效果图

02、算法背景

LayerDiffusion的核心，是一种叫做潜在透明度（latent transparency）的方法。简单来说，它可以允许在不破坏预训练潜在扩散模型（如Stable Diffusion）的潜在分布的前提下，为模型添加透明度。

03、与传统抠图的区别

原生生成VS后处理

• LayerDiffusion： 是一种原生的透明图像生成方法，它直接在生成过程中考虑并编码透明度信息。这意味着模型在生成图像的同时就创建了透明度通道（alpha channel），从而产生了具有透明度的图像。
• 传统的抠图方法： 通常涉及先生成或获取一个图像，然后通过图像编辑技术（如色键、边缘检测、用户指定的遮罩等）来分离前景和背景。这种方法通常需要额外的步骤来处理透明度，并且可能在复杂背景或边缘处产生不自然的过渡。

单层生成效果

潜在空间操作 vs. 像素空间操作

• LayerDiffusion： 在潜在空间（latent space）中进行操作，这是一个中间表示，它允许模型学习并生成更复杂的图像特征。通过在潜在空间中编码透明度，模型可以在生成过程中自然地处理透明度，而不需要在像素级别上进行复杂的计算。
• 传统的抠图技术： 通常在像素空间中进行，这可能涉及到对原始图像的直接编辑，如颜色替换、边缘平滑等。这些方法可能在处理半透明效果（如火焰、烟雾）或复杂边缘时遇到困难。

多层生成效果

灵活性和控制

• LayerDiffusion： 提供了更高的灵活性和控制能力，因为它允许用户通过文本提示（text prompts）来指导图像的生成，并且可以生成多个图层，这些图层可以被混合和组合以创建复杂的场景。
• 传统的抠图方法： 可能在控制方面更为有限，尤其是在处理复杂的图像内容和透明度时。

使用地址？

现在 LayerDiffusion 已经支持在WebUI Forge和 ComfyUI 中使用了，SD WebUI 暂不支持。

01、WebUI Forge

Forge 是 WebUI 的一个分支，其操作逻辑和交互与 Web UI 完全相同，只是在底层进行了一些修改以提高生成速度。插件在运行时会自动*载下**所需模型。LayerDiffusion 项目现在已经成功整合到 Forge 的扩展中，这一功能可以直接生成具有透明背景的图片。

插件地址：https://github.com/layerdiffusion/sd-forge-layerdiffusion

02、ComfyUI

ComfyUI的LayerDiffusion透明图层生成插件也已经发布了，目前还只支持生成。

通过 Git URL 安装选择，输入以下地址，点击确定安装就可以了：

https://github.com/huchenlei/ComfyUI-layerdiffuse

感兴趣的小伙伴们可以去试试哦～