Postgres中使用Peewee时的Device记录重复问题排查

问题背景 #

使用Peewee操作Postgres，设计一对多关联表结构：Devices表存储设备基础信息，Messages、Files、User Accounts表通过外键关联Devices。导入数据时，每个Excel文件包含对应各关联表的Sheet，但每处理一个Sheet就会在Devices表创建一条重复记录（同一文件3个Sheet会生成3条相同设备的记录）。

核心原因 #

1. 数据库无唯一约束：Devices表的md5字段未设置唯一约束，数据库允许存储多条md5相同的记录。
2. 重复执行Device创建逻辑：每个Sheet处理时都会独立执行Device的查询与创建流程，同一文件的多Sheet会多次触发该逻辑。
3. 异常捕获范围过大：代码中使用except:捕获所有异常，而非仅捕获Device.DoesNotExist，可能因非预期异常误触发Device创建。

解决方案 #

1. 给Device表添加唯一约束 #

修改Device模型，确保md5字段唯一，从数据库层面杜绝重复记录：

class Device(BaseModel):
    id = AutoField()
    md5 = FixedCharField(32, unique=True)  # 添加唯一约束
    # ... 其他属性

2. 重构导入流程，每个文件仅处理一次Device #

将Device的查询/创建逻辑移至文件遍历的外层，确保同一文件只处理一次Device，避免重复执行：

# 映射Sheet名到对应模型
sheet_model = {
    "Messages": Message,
    "Files": File,
    "User Accounts": UserAccounts
}

# 遍历所有Excel文件
for file in glob.glob("file/location/whatever"):
    # 计算文件MD5哈希
    file_hash = md5(open(file, 'rb').read()).hexdigest()
    
    # 查询或创建Device，仅捕获DoesNotExist异常
    try:
        device = Device.select().where(Device.md5 == file_hash).get()
    except Device.DoesNotExist:
        # 这里需确保设备的其他属性正确赋值（如从文件的特定Sheet读取）
        device = Device(md5=file_hash, ...)
        device.save()
    
    # 处理当前文件的所有目标Sheet
    xl_file = openpyxl.load_workbook(file, read_only=True)
    for sheet in filter(lambda k: k in sheet_model, xl_file.sheetnames):
        df = pd.read_excel(file, sheet_name=sheet)
        # 遍历Sheet行数据，创建关联表记录
        for idx, row in df.iterrows():
            # 根据实际列名映射数据
            attrs = {
                # 示例："message_content": row["消息内容"]
                # ... 其他字段映射
            }
            # 直接传入device对象，Peewee自动处理外键关联
            sheet_model[sheet].create(dev_ref=device, **attrs)

3. 简化查询创建逻辑（可选） #

使用Peewee内置的get_or_create方法替代手动try-except，代码更简洁：

# 替代原有的try-except块
device, created = Device.get_or_create(
    md5=file_hash,
    defaults={...}  # 设备其他属性的默认值或从Excel读取的值
)

内容的提问来源于stack exchange，提问作者Luke