PyPika双表关联查询时workflowtracker.COE返回None及重复日志问题

问题根因 #

• COE字段返回None：当前查询使用默认INNER JOIN，且主表选择错误。你核心数据存储在activitylog表，却以workflowtracker作为主表关联，当匹配不到对应RequestId时符合筛选条件的activitylog记录无法正常返回；如果存在RequestId大小写、首尾空格、字段类型不匹配的情况，也会导致关联失败，COE返回空值。
• 大量重复日志：workflowtracker表中同一个RequestId存在多条匹配记录，关联后会和activitylog的行产生笛卡尔积，生成大量重复行。

修复后代码 #

# 调整主表为activitylog，使用LEFT JOIN保证所有符合筛选条件的activitylog记录都能返回
q = Query.from_(activitylog) \
    .left_join(workflowtracker) \
    .on(activitylog.RequestId == workflowtracker.RequestId) \
    .select(
        workflowtracker.COE, 
        activitylog.RequestId,
        activitylog.SubjectLine,
        activitylog.ResourceName, 
        activitylog.ResourceEmail,
        activitylog.GPN, 
        activitylog.ExecutionDate,
        activitylog.Status,
        activitylog.TotalTimeTaken
    ) \
    .where(
        (activitylog.Status == "In Progress") & (activitylog.ExecutionDate == excecutiondate)
    ) \
    # 去重解决重复日志问题，若业务需要保留所有重复行可删除此行
    .distinct()

额外排查方案 #

如果调整后COE仍返回None，可按以下步骤排查：

• 打印生成的原生SQL直接在数据库执行，确认是否符合预期，打印方法：print(q.get_sql())
• 检查关联字段RequestId是否存在格式差异：比如首尾空格、大小写不一致、字符串和数字类型不匹配等
• 确认workflowtracker.COE字段名拼写和数据库中完全一致，部分数据库对表名、字段名大小写敏感

内容的提问来源于stack exchange，提问作者anoop anto thomas