GCSToBigQueryOperator报错‘job.configuration.load.schema.fields’求助

错误原因1：参数使用错误 #

GCSToBigQueryOperator的schema_fields参数要求传入Python列表形式的字段定义，而非GCS文件路径。如果要指定GCS上的JSON schema文件，应使用schema_object参数。

错误原因2：文件名拼写错误 #

你的schema文件路径里的my_sqchema.json存在拼写错误，需改为my_schema.json（将sqchema修正为schema），否则会导致BigQuery无法找到目标schema文件。

修正后的代码（使用GCS schema文件） #

gcs_to_bq = GCSToBigQueryOperator(
            task_id='gcs_to_bq',
            bucket=GCS_BUCKET_NAME,
            source_objects=[GCS_OBJECT_NAME],
            destination_project_dataset_table=f"{DATASET_NAME}.{DATASET_TABLE_NAME}",
            schema_object="path/my_schema.json",  # 无需写gs://bucket/前缀，bucket参数已指定存储桶
            autodetect=False,
            dag=dag,
)

替代方案（直接传入字段定义） #

如果不想通过GCS文件，可直接用schema_fields传入Python列表：

gcs_to_bq = GCSToBigQueryOperator(
            task_id='gcs_to_bq',
            bucket=GCS_BUCKET_NAME,
            source_objects=[GCS_OBJECT_NAME],
            destination_project_dataset_table=f"{DATASET_NAME}.{DATASET_TABLE_NAME}",
            schema_fields=[
                {"name": "col1", "type": "STRING", "mode": "NULLABLE"},
                {"name": "col2", "type": "STRING", "mode": "NULLABLE"}
            ],
            autodetect=False,
            dag=dag,
)

补充说明 #

• 使用schema_object时，只需传入存储桶下的相对路径即可，bucket参数已指定存储桶名称，无需重复写gs://bucket/前缀。
• 确保GCS上的schema文件路径、名称完全正确，且BigQuery具备该文件的读取权限。

内容的提问来源于stack exchange，提问作者A_Sk