ELLA是一种轻量级方法，可将现有的基于CLIP的扩散模型配备强大的LLM。ELLA提高了模型的提示跟随能力，使文本到图像模型能够理解长文本。我们设计了一个时间感知语义连接器，从预训练的LLM中提取各种去噪阶段的时间步骤相关条件。我们的TSC动态地适应了不同采样时间步的语义特征，有助于在不同的语义层次上对U-Net进行冻结。ELLA在DPG-Bench等基准测试中表现优越，尤其在涉及多个对象组合、不同属性和关系的密集提示方面表现出色。
点击前往ELLA官网体验入口
谁可以从ELLA中受益？
ELLA适用于需要改进文本对图像模型的长文本理解和提示跟随能力的场景。使用场景示例包括社交媒体平台希望改进其自动生成图像的提示对齐能力，研究人员需要对复杂文章进行图像生成，以及设计师需要根据详细描述生成图像。
ELLA的产品特色
- 通过LLM增强扩散模型的文本对齐能力
- 无需训练U-Net和LLM即可提高模型的提示跟随能力
- 设计了时间感知语义连接器，提取LLM中的时间步相关条件
- 提供了Dense Prompt Graph Benchmark基准测试，评估文本对图像模型的密集提示跟随能力
- 能够与社区模型和下游工具（如LoRA和ControlNet）无缝整合，提高其文本-图像对齐能力
为了获取更多关于ELLA的信息和体验该工具，请访问ELLA官网。
（举报）