Controlnet作者放出新的大招 IC-Light，可以操控图像生成时的光照，对内容主体重新打光生成符合新背景环境光照的图片
IC-Light代表Impose Constant Light,是一个控制图像照明的项目。可以操控图像生成时的光照，对内容主体重新打光生成符合新背景环境光照的图片。这下商品图合成这种需要最大程度保持原有主体 ID 需求的最大的问题解决了。
目前，已经发布了两种类型的模型：
-
文本条件重新光照模型。从原图分离主体之后通过提示词生成符合光照要求的背景同时主体除了光照之外和原主体一致。
-
背景条件模型。给定背景图片和前景主体，会自动生成环境光，保证背景和前景的融合。
相关链接
Github链接：https://github.com/lllyasviel/IC-Light
Demo地址:https://huggingface.co/spaces/lllyasviel/IC-Light
生成效果
文本条件模型
Lighting Preference只是初始潜在值。 例如，如果照明首选项为“左”，则初始潜在值是左白右黑。
-
提示：美丽的女人，细致的脸，温暖的气氛，在家，卧室
-
照明偏好：左
-
Prompt: beautiful woman, detailed face, warm atmosphere, at home, bedroom
-
Lighting Preference: Left
-
Prompt: beautiful woman, detailed face, sunshine from window
-
Lighting Preference: Left
-
Prompt: beautiful woman, detailed face, light and shadow
-
Lighting Preference: Left
-
Prompt: (beautiful woman, detailed face, soft studio lighting)
背景条件模型
背景条件模型不需要仔细提示。只需使用“帅哥、电影灯光”等简单提示即可。
施加一致的光
在 HDR 空间中，照明具有所有光传输都是独立的属性。因此，不同光源的外观混合相当于混合光源的外观：
以上面的灯光舞台为例，“外观混合”和“光源混合”的两幅图像是一致的(理想情况下，HDR空间中的数学等效)。
我们在训练重光照模型时施加了这种一致性(在潜在空间中使用mlp)。因此，该模型能够产生高度一致的光照-如此一致，不同的光照甚至可以合并为法线贴图!尽管这些模型是潜在扩散的。
从左到右分别是输入、模型输出、重光照、分割阴影图像和合并法线贴图。请注意，该模型没有使用任何法线贴图数据进行训练。这种正常估计来自于重光照的一致性。 你可以使用这个按钮重现这个实验(它是4倍慢，因为它重照图像4次）
使用模型需注意的地方
-
iclight_sd15_fc.safetensors默认的重光照模型，以文本和前景为条件。你可以使用初始潜波来影响重亮。
-
iclight_sd15_fcon.safetensors与“iclight_sd15_fc”相同。“安全装置”，但经过了噪音补偿训练。注意，默认的“iclight_sd15_fc。在用户研究中，Safetensors的表现略优于该模型。这就是为什么默认模型是没有偏移噪声的模型。
-
iclight_sd15_fbc.safetensors -以文本、前景和背景为条件的重新照明模型。