Python如何移除JSON中的Null:[] 以解决BigQuery流式插入报错
处理BigQuery流式插入的Null类异常空值方案
报错根因
通过csv.DictReader转成的JSON行数据中,混杂了空字符串、空列表、字符串形式的"Null"这类非标准空值。BigQuery的insert_rows_json接口识别的合法空值是Python原生None,不识别空字符串、空列表、字面量为"Null"的字符串为合法空值,类型不匹配就会触发写入报错。
仅靠给csv.DictReader加读取参数没法解决这个问题,因为这类值是读取完成后存在于字典里的,需要在生成待插入数据的环节做定向清洗。
具体代码改造
在原来的逐行读取CSV、生成JSON行的循环里,增加字段值清洗逻辑,把所有非标准空值统一替换为None,再加入待插入队列,改造后的代码如下:
def stream_data(): # BigQuery client = bigquery.Client() project_id = 'test_project' dataset_name = 'test' table_name = "test" full_table_name = dataset_name + '.' + table_name json_rows = [] with open('./test.csv','r') as f: reader = csv.DictReader(f, skipinitialspace=False, quoting=csv.QUOTE_NONE) for line in reader: line_json = dict(line) # 新增空值清洗逻辑 cleaned_row = {} for field_name, field_value in line_json.items(): # 匹配所有需要替换的异常空值场景 is_invalid_null = ( field_value == "" # CSV读取生成的空字符串 or field_value == [] # 异常拆分生成的空列表 or str(field_value).strip().lower() == "null" # 字符串形式的"Null"/"null" ) if is_invalid_null: cleaned_row[field_name] = None else: cleaned_row[field_name] = field_value json_rows.append(cleaned_row) errors = client.insert_rows_json( full_table_name, json_rows, # 基于luid去重,避免重复写入相同主键的记录 row_ids=[row['luid'] for row in json_rows] ) if errors == []: print("New rows have been added.") else: print("Encountered errors while inserting rows: {}".format(errors))
配套注意事项
- 核对目标BigQuery表的字段可空属性:如果某字段定义为非空约束,清洗后得到
None的记录需要回溯CSV源排查数据问题,不要强行写入,否则会触发字段约束报错 - 不要期待BigQuery自动把空字符串转为NULL:
insert_rows_json接口会严格匹配值类型,空字符串属于STRING类型的合法值,不会被自动识别为空值 - 谨慎使用
quoting=csv.QUOTE_NONE参数:如果CSV没有特殊的无引号分隔规则,这个参数很容易把包含分隔符的字段值错误拆分,反而生成大量异常的空值字段
内容的提问来源于stack exchange,提问作者amaturePy
相关产品推荐
相关产品推荐

