GLIGEN推理脚本中locations参数格式咨询及生图异常排查

locations参数格式 #

GLIGEN的locations参数采用归一化的xyxy格式，即数组[x1, y1, x2, y2]：

• x1: 目标区域左上角的x坐标，取值范围0~1（相对于图片宽度的归一化值）
• y1: 目标区域左上角的y坐标，取值范围0~1（相对于图片高度的归一化值）
• x2: 目标区域右下角的x坐标，取值范围0~1（需大于x1）
• y2: 目标区域右下角的y坐标，取值范围0~1（需大于y1）

你当前代码中gen_location()函数生成的格式是符合要求的，本身格式没有问题。

生成图片乱序的可能原因 #

如果图片内容和位置不匹配，建议排查以下几点：

• phrases与locations的对应关系：确保每个phrase对应的locations是一一对应的，若批量生成时出现索引错位，会导致目标出现在错误位置
• batch_size设置：若batch_size大于1，需保证每个batch内的phrases和locations数组长度一致且顺序对应
• alpha_type参数：alpha_type控制GLIGEN模块的权重，异常的权重配置可能影响位置约束效果，可尝试使用默认值测试
• prompt冲突：主prompt与phrases中的内容若存在冲突，可能导致模型忽略位置约束

你的代码片段中，循环里每个phrase对应一个随机location，单batch情况下格式是正确的，可先检查批量生成时的列表拼接是否存在顺序错误，或尝试单样本生成验证位置约束是否生效。

内容的提问来源于stack exchange，提问作者Dave