使用write_pandas向Snowflake写入DataFrame时遇转换错误及列类型问题

问题描述 #

使用write_pandas将DataFrame写入Snowflake时，触发两个错误：

1. Can only convert 1-dimensional array values
2. Conversion failed for column SRC_XML with type object

已知信息：

• Snowflake目标表中SRC_XML列类型为Variant
• 执行代码如下：

write_pandas(connection_String, dataframe, table_name,database='SB', schema = 'SBB',quote_identifiers=False)

排查与解决步骤 #

1. 修复SRC_XML列的类型转换问题 #

Snowflake的Variant类型支持JSON/半结构化数据，但DataFrame的object类型若为非标准格式，write_pandas无法自动解析，需针对性处理：

• 若SRC_XML是JSON字符串：
  先验证字符串合法性，再转换为Python字典/列表：

  import json
  import pandas as pd
  
  dataframe['SRC_XML'] = dataframe['SRC_XML'].apply(
      lambda x: json.loads(x) if pd.notna(x) and isinstance(x, str) else x
  )
  

• 若SRC_XML是嵌套数组/字典：
  将多维结构序列化为JSON字符串后写入：

  dataframe['SRC_XML'] = dataframe['SRC_XML'].apply(
      lambda x: json.dumps(x) if pd.notna(x) else x
  )
  

2. 解决一维数组转换限制错误 #

该错误源于DataFrame中存在二维及以上数组列，write_pandas无法直接映射到Snowflake列类型：

• 检查列数据结构：
  遍历列打印元素类型，定位多维数组列：

  for col in dataframe.columns:
      sample_val = dataframe[col].iloc[0]
      print(f"列名: {col}, 类型: {type(sample_val)}")
      if isinstance(sample_val, (list, dict)):
          print(f"  结构示例: {sample_val}")
  

• 处理多维数据：
  要么将多维数组拆分为多个扁平列，要么序列化为JSON字符串，确保所有列数据为一维结构或可被Variant解析的格式。

3. 前置数据校验 #

写入前确认：

• SRC_XML列非空值均为合法JSON或可序列化的嵌套结构
• 避免NaN以外的异常空值（如自定义空对象）

内容的提问来源于stack exchange，提问作者Markpelly