Python中findDiff返回None的错误处理及S3写入异常问题

问题根源分析 #

• 初始用if ret_unique_counts is not None:只检查了最外层对象不为空，但没验证ret_unique_counts["UNIQUE_COUNT_COMPARISON"]是否存在，以及该键下对应self.table的取值是否有效，所以当get(self.table)返回None时，后续对这个None做下标/属性操作就会抛出TypeError。
• 改成if not ret_unique_counts:后，会把空字典、仅包含空结构的有效返回值也判定为"假"，直接跳过后续写报告逻辑，导致正常的验证报告也无法写入S3。

正确的处理方案 #

1. 逐层验证嵌套结构的有效性 #

不要只做最外层判断，要确保后续用到的每个嵌套层级都有有效值：

# 先检查最外层和UNIQUE_COUNT_COMPARISON键是否存在且有效
if ret_unique_counts and "UNIQUE_COUNT_COMPARISON" in ret_unique_counts:
    table_diff = ret_unique_counts["UNIQUE_COUNT_COMPARISON"].get(self.table)
    # 再检查当前表的对比结果是否存在
    if table_diff is not None:
        # 执行后续的报告生成、写入S3逻辑
        generate_validation_report(table_diff)
        write_report_to_s3(report_content)
    else:
        # 可选：记录日志，标记当前表无对比数据
        logger.info(f"No unique count comparison data found for table {self.table}")
else:
    # 可选：记录日志，标记findDiff返回无效结果
    logger.warning("SourceValidation.findDiff returned invalid or empty result")

2. 优化findDiff函数的返回值（如果有权限修改） #

如果可以修改SourceValidation.findDiff，让它始终返回结构完整的字典，即使没有对比数据，也返回{"UNIQUE_COUNT_COMPARISON": {}}而不是None，这样外层判断可以更简洁：

# 修改后的findDiff示例
def findDiff(self):
    # 原有逻辑...
    if no_data_available:
        return {"UNIQUE_COUNT_COMPARISON": {}}
    else:
        return {"UNIQUE_COUNT_COMPARISON": {self.table: diff_result}}

之后处理逻辑可以简化为：

table_diff = ret_unique_counts.get("UNIQUE_COUNT_COMPARISON", {}).get(self.table)
if table_diff is not None:
    # 执行报告写入逻辑
    pass

3. 避免if not ret_unique_counts的陷阱 #

if not x会把空字典{}、空列表[]、0、False等都判定为假，如果你确实需要判断最外层是否为None，应该明确写：

if ret_unique_counts is not None:
    # 再做嵌套结构检查
    pass

关键注意点 #

• 数据验证场景中，要区分"无对比数据"和"函数返回无效"两种情况，分别处理，不要一概跳过。
• 写入S3的逻辑必须确保只有在有有效对比结果或者需要生成空报告时才执行，避免因为判断条件过宽导致漏写。

内容的提问来源于stack exchange，提问作者noride_togo