Airflow中BigQueryCreateEmptyTableOperator列Mode未生效问题

可能的原因及对应解决方案 #

1. 目标表已存在，exists_ok=True导致schema未更新 #

当exists_ok=True时，如果目标表在BigQuery中已经存在，算子会直接跳过创建逻辑，不会覆盖或更新现有表的schema。你看到的全NULLABLE列的表，大概率是之前创建的旧表，而非本次任务生成的新表。

解决方法：

• 手动删除BigQuery中已存在的my_table，重新运行DAG验证新表的schema
• 将exists_ok改为False，这样如果表已存在会直接报错，明确问题根源
• 如果需要保留现有表并更新schema，搭配使用BigQueryUpdateTableSchemaOperator来修改列模式

2. Airflow Google Provider版本存在bug #

部分早期版本的apache-airflow-providers-google（比如版本<8.0.0）的BigQueryCreateEmptyTableOperator存在schema解析缺陷，无法正确识别mode参数，导致所有列默认设为NULLABLE。

解决方法：

• 查看当前安装的provider版本：

pip show apache-airflow-providers-google

• 升级到最新稳定版：

pip install --upgrade apache-airflow-providers-google

3. Schema格式细节排查 #

虽然你的schema定义看起来符合规范，但可以尝试以下调整验证：

• 将mode的值改为小写（比如"required"），部分旧版本算子对大小写敏感
• 确认schema字典的键名拼写完全正确（name/type/mode不能写错）

4. 参数冲突排查 #

检查DAG中是否存在其他可能覆盖schema的参数：

• 确认没有同时设置schema_object参数（该参数会优先于schema_fields生效）
• 检查default_args中是否配置了影响BigQuery表创建的全局参数

内容的提问来源于stack exchange，提问作者alfavictor