使用Python API更新含RECORD字段的BigQuery Schema报错的解决方法

你遇到的问题核心出在两个地方：SchemaField构造函数的参数顺序错误，以及嵌套RECORD字段没有递归处理。咱们一步步来修复：

1. 先修正SchemaField的参数顺序 #

BigQuery Python客户端的SchemaField构造函数参数顺序是固定的：

SchemaField(name, field_type, mode=None, description=None, fields=None)

你当前的代码把column.fields放到了第三个参数（对应mode的位置），这直接导致了类型不匹配，进而触发JSON序列化失败。必须把mode参数正确传入，嵌套字段要放到fields参数的位置。

2. 递归处理嵌套RECORD字段 #

对于RECORD类型的字段，它的fields属性本身是一个SchemaField列表，不能直接原封不动复用——需要递归地更新每个嵌套字段的描述，再重新构造嵌套的SchemaField对象。

修正后的完整代码 #

from google.cloud import bigquery

def update_column_descriptions(schema_fields):
    updated_fields = []
    for column in schema_fields:
        # 替换成你实际生成列描述的逻辑
        columntxt = f"Enhanced metadata for column: {column.name}"
        
        # 处理嵌套RECORD字段
        if column.field_type == "RECORD" and column.fields:
            # 递归更新嵌套字段的描述
            nested_updated_fields = update_column_descriptions(column.fields)
            updated_field = bigquery.SchemaField(
                name=column.name,
                field_type=column.field_type,
                mode=column.mode,
                description=columntxt,
                fields=nested_updated_fields
            )
        else:
            updated_field = bigquery.SchemaField(
                name=column.name,
                field_type=column.field_type,
                mode=column.mode,
                description=columntxt
            )
        updated_fields.append(updated_field)
    return updated_fields

# 主执行逻辑
bigquery_client = bigquery.Client()
orig_table = bigquery_client.get_table(table)

# 生成包含嵌套字段更新的新Schema
new_schema = update_column_descriptions(orig_table.schema)

# 更新表的Schema和标签
orig_table.schema = new_schema
# 假设你已经完成了labels的更新逻辑
table = bigquery_client.update_table(orig_table, ['schema', 'labels'])

代码说明 #

• 新增的update_column_descriptions是递归函数，专门处理所有层级的Schema字段，包括嵌套的RECORD字段。
• 对每个字段先生成新描述，再判断是否为RECORD类型：如果是，就递归处理它的嵌套字段列表，再构造新的SchemaField；如果不是，直接构造更新后的字段。
• 主逻辑调用这个函数生成完整的新Schema，再提交表更新请求，就能避免序列化错误了。

内容的提问来源于stack exchange，提问作者Rogier Werschkull