You need to enable JavaScript to run this app. Python如何移除JSON中的Null:[] 以解决BigQuery流式插入报错
优惠活动
大模型
产品
解决方案
定价
更多

Python如何移除JSON中的Null:[] 以解决BigQuery流式插入报错

处理BigQuery流式插入的Null类异常空值方案

报错根因

通过csv.DictReader转成的JSON行数据中,混杂了空字符串、空列表、字符串形式的"Null"这类非标准空值。BigQuery的insert_rows_json接口识别的合法空值是Python原生None,不识别空字符串、空列表、字面量为"Null"的字符串为合法空值,类型不匹配就会触发写入报错。
仅靠给csv.DictReader加读取参数没法解决这个问题,因为这类值是读取完成后存在于字典里的,需要在生成待插入数据的环节做定向清洗。

具体代码改造

在原来的逐行读取CSV、生成JSON行的循环里,增加字段值清洗逻辑,把所有非标准空值统一替换为None,再加入待插入队列,改造后的代码如下:

def stream_data():
    # BigQuery
    client = bigquery.Client()
    project_id = 'test_project'
    dataset_name = 'test'
    table_name = "test"
    full_table_name = dataset_name + '.' + table_name

    json_rows = [] 
    with open('./test.csv','r') as f:
        reader = csv.DictReader(f, skipinitialspace=False, quoting=csv.QUOTE_NONE)
        for line in reader:
            line_json = dict(line)
            # 新增空值清洗逻辑
            cleaned_row = {}
            for field_name, field_value in line_json.items():
                # 匹配所有需要替换的异常空值场景
                is_invalid_null = (
                    field_value == ""  # CSV读取生成的空字符串
                    or field_value == []  # 异常拆分生成的空列表
                    or str(field_value).strip().lower() == "null"  # 字符串形式的"Null"/"null"
                )
                if is_invalid_null:
                    cleaned_row[field_name] = None
                else:
                    cleaned_row[field_name] = field_value
            json_rows.append(cleaned_row)

    errors = client.insert_rows_json(
        full_table_name,
        json_rows,
        # 基于luid去重,避免重复写入相同主键的记录
        row_ids=[row['luid'] for row in json_rows]
    )

    if errors == []:
        print("New rows have been added.")
    else:
        print("Encountered errors while inserting rows: {}".format(errors))

配套注意事项

  • 核对目标BigQuery表的字段可空属性:如果某字段定义为非空约束,清洗后得到None的记录需要回溯CSV源排查数据问题,不要强行写入,否则会触发字段约束报错
  • 不要期待BigQuery自动把空字符串转为NULL:insert_rows_json接口会严格匹配值类型,空字符串属于STRING类型的合法值,不会被自动识别为空值
  • 谨慎使用quoting=csv.QUOTE_NONE参数:如果CSV没有特殊的无引号分隔规则,这个参数很容易把包含分隔符的字段值错误拆分,反而生成大量异常的空值字段

内容的提问来源于stack exchange,提问作者amaturePy

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.11.09 14:36:02