向BigQuery表写入JSON时出现类型不兼容问题如何解决
问题解决方法
你遇到的报错是因为BigQuery导入JSON数据时,不会自动将JSON中的数值类型值隐式转换为目标表STRING类型字段的对应值,可通过以下两种方案解决:
方案1:预处理JSON数据(支持指定字段转换,兼容性最高)
直接遍历待上传的JSON数据,将需要强制转为字符串的字段主动做类型转换,处理完成后再执行上传逻辑即可,示例代码如下:
# 定义所有需要强制转字符串的字段 force_string_fields = ["nm_id", "barcode"] for row in json_result: for field in force_string_fields: # 字段存在且非空时做转换 if field in row and row[field] is not None: row[field] = str(row[field])
方案2:使用LoadJobConfig内置参数(无需修改原数据)
BigQuery的LoadJobConfig提供了原生参数coerce_json_integer_to_string,开启后会自动将JSON中的整数值,转换为目标表中对应STRING类型字段的字符串值,仅需修改任务配置即可:
job_config = bigquery.LoadJobConfig( schema = wb_options.get_schema(), autodetect = False, # 新增以下配置开启自动转换 coerce_json_integer_to_string = True )
注意:该参数会对所有目标字段类型为STRING的JSON整数值生效,如果你只需要转换指定的几个字段,更推荐使用方案1。
关于json.dumps的default参数是否可行
该方案不可行。default参数仅用于处理JSON无法直接序列化的对象(如自定义类、时间对象等)的序列化逻辑,不会修改已合法的数值类型的输出格式,无法满足你的需求。
内容的提问来源于stack exchange,提问作者Lena
相关产品推荐
相关产品推荐

