Airflow同次执行创建删除BQ临时表正常 下轮运行删除操作失效问题

• 最常见原因是表名匹配的格式不统一：通过BigQuery API获取的表对象返回的表名默认是项目ID.数据集ID.表名的全限定格式，你直接用这个值和纯表名字符串temp_table_name做相等判断，必然返回false。
• 动态表名跨任务传递失效：如果你生成临时表名时拼接了{{ ds }}、任务实例ID这类动态参数，Airflow不同任务运行在独立进程中，没有通过XCom传递实际生成的表名的话，删除任务拿到的只是初始定义的静态占位值，和实际创建的表名不一致。
• 字符串格式差异：表名前后存在多余空格、大小写不匹配（Python字符串判断大小写敏感，而BQ表名默认大小写不敏感）也会导致判断失败。

• 统一使用全限定名做判断：调整判断逻辑，用完整的BQ表路径做匹配，示例如下：

  # PROJECT_ID、DATASET_ID提前定义为全局常量
  TARGET_TABLE = f"{PROJECT_ID}.{DATASET_ID}.temp_table_name"
  if table.full_table_id == TARGET_TABLE:
      # 执行删除操作
  

• 用XCom传递实际表名：创建表的任务执行完成后，把实际生成的临时表名push到XCom，删除任务执行前先pull该值作为判断基准，不要依赖本地静态变量。
• 增加表存在性校验兜底：删除前优先调用BQ API校验表是否真实存在，跳过纯表名匹配的判断逻辑，避免误判，示例：

  from google.cloud import bigquery
  
  bq_client = bigquery.Client()
  table_full_id = "your-project.your-dataset.temp_table_name"
  
  try:
      bq_client.get_table(table_full_id)
      bq_client.delete_table(table_full_id)
  except bigquery.NotFound:
      # 表不存在直接跳过，无需额外处理
      pass
  

• 加日志排查问题：在创建表、执行名称判断的位置分别打印实际拿到的表名字段值，可快速定位两个值的具体差异。

内容的提问来源于stack exchange，提问作者sayanti bhattacharjee