Polars写入Avro生成空名称Schema致BQ上传失败，求解决方案

问题根源是Polars默认生成的Avro Schema中，顶层record的name字段为空，而BigQuery的Avro解析器要求该字段必须有非空值。以下是具体解决步骤：

1. 导出Avro时手动指定Record名称 #

在使用Polars的write_avro方法时，通过schema参数显式定义包含非空record名称的Avro Schema，有两种实现方式：

方法一：基于默认Schema修改 #

先获取Polars生成的默认Schema，再修改record名称：

import polars as pl
from pyarrow import avro

# 假设你的DataFrame为df
default_schema = avro.schema_from_pandas(df.to_pandas())
# 将record名称改为自定义值，比如"bq_compatible_record"
default_schema.name = "bq_compatible_record"

# 用修改后的Schema导出Avro文件
df.write_avro("output.avro", schema=default_schema)

方法二：手动构造Avro Schema #

直接编写符合要求的Avro JSON Schema，确保顶层record的name字段不为空：

import polars as pl

# 根据你的DataFrame列定义对应的Avro字段
custom_avro_schema = {
    "type": "record",
    "name": "bq_compatible_record",
    "fields": [
        {"name": "user_id", "type": "int"},
        {"name": "user_name", "type": "string"},
        {"name": "signup_date", "type": {"type": "long", "logicalType": "timestamp-millis"}}
        # 添加所有DataFrame对应的字段
    ]
}

df.write_avro("output.avro", schema=custom_avro_schema)

2. 验证生成的Avro Schema #

导出后可以用pyarrow检查Schema是否符合要求，避免再次出错：

from pyarrow import avro

with open("output.avro", "rb") as f:
    reader = avro.open_file(f)
    print(reader.schema)

确认输出的Schema中，顶层record的name字段已设置为自定义的非空值。

3. 上传到BigQuery的正确方式 #

无论是用命令行还是客户端库，确保指定源格式为AVRO：

命令行工具示例 #

bq load --source_format=AVRO your_dataset.your_table output.avro

Python客户端示例 #

from google.cloud import bigquery

client = bigquery.Client()
job_config = bigquery.LoadJobConfig(source_format=bigquery.SourceFormat.AVRO)

# 可以是本地文件或GCS路径
uri = "gs://your_bucket/output.avro"
load_job = client.load_table_from_uri(
    uri, "your_dataset.your_table", job_config=job_config
)
# 等待任务完成
load_job.result()

内容的提问来源于stack exchange，提问作者Sergii Makarevych