拆解Stable Diffusion 3.5 Medium管道时输出图像不符的技术问询

• 对齐噪声调度器的全部配置
  SD3采用的调度器（如DPMSolverMultistepScheduler）有大量细节参数，拆解时必须完全复用原生管道的调度器实例，不要手动初始化。重点核对beta_start、beta_end、beta_schedule，以及use_karras_sigmas、algorithm_type这类开关参数——哪怕一个参数差异，都会导致生成结果完全偏离。

• 严格匹配Latent的初始化与缩放逻辑
  SD3的Latent处理逻辑和旧版SD不同：

  • 初始Latent必须从标准正态分布采样后，乘以调度器提供的initial_noise_sigma
  • VAE解码前，要确保Latent做了正确的反缩放（比如乘以vae.scaling_factor），这一步很容易被忽略，直接导致输出色彩或构图异常

• 确保UNet输入参数完整传递
  SD3的UNet需要的输入远多于旧版，除正负文本嵌入外，必须传递：

  • 调度器处理后的timestep张量（不是原始时间步数值）
  • 文本嵌入对应的pooled_prompt_embeds（全局文本特征，SD3 UNet的必填项）
  • 若使用了尺寸、风格等控制，要同步传递add_time_ids等辅助参数
  • 文本嵌入有padding时，必须传入正确的attention_mask

• 复刻去噪循环的执行逻辑
  原生管道的去噪循环是严格按调度器生成的timesteps顺序执行的：

  • 必须遍历scheduler.timesteps，禁止手动生成时间步序列
  • 每一步调用scheduler.step()时，要完整传入模型输出、当前timestep、当前Latent，且将返回的prev_sample直接作为下一轮的Latent输入
  • 核对eta、use_clipped_model_output等scheduler.step()的参数，确保和原生管道完全一致

• 获取SD3管道拆解的参考实现
  直接查看Diffusers库中StableDiffusion3Pipeline类的源码，重点研读__call__方法的核心流程：从prompt编码、Latent初始化、去噪循环到VAE解码的每一行逻辑。另外，Diffusers官方examples目录中包含自定义SD3管道的示例，可参考其中的可控生成实现，这类示例会完整展示拆解后的管道流程。

内容的提问来源于stack exchange，提问作者Curious Scientist