如何通过Pandas向Snowflake字符串列插入NULL值？

问题场景 #

创建Snowflake表语句：

create table TEST_TBL(
    ID integer,
    VALUE string
)

Python写入代码：

import pandas as pd
from snowflake.connector import pandas_tools as pt

df = pd.DataFrame(data={'ID': [1, 2],
                        'VALUE': ['test', None]
                       })

# 假设连接等配置已完成
pt.write_pandas(conn=conn, 
                df=df, 
                table_name=table_name,
                database=database,
                schema=schema)

实际写入后，ID=2的VALUE列被写入字面字符串"None"，而非预期的NULL；尝试用np.nan替换None时，会写入字符串"NaN"，均不符合需求。

解决方法 #

方法1：用pd.NA替换字符串列中的None #

pandas的pd.NA是专门标记缺失值的类型，Snowflake的pandas_tools能正确将其映射为NULL：

import pandas as pd
from snowflake.connector import pandas_tools as pt

df = pd.DataFrame(data={'ID': [1, 2],
                        'VALUE': ['test', None]
                       })

# 替换字符串列中的None为pd.NA
df['VALUE'] = df['VALUE'].replace({None: pd.NA})

pt.write_pandas(conn=conn, 
                df=df, 
                table_name=table_name,
                database=database,
                schema=schema)

方法2：为字符串列指定StringDtype类型 #

pandas 1.0+支持的StringDtype原生支持缺失值，会自动将None转为pd.NA：

import pandas as pd
from snowflake.connector import pandas_tools as pt

# 创建DataFrame时指定VALUE列为StringDtype
df = pd.DataFrame(
    data={'ID': [1, 2], 'VALUE': ['test', None]},
    dtype={'VALUE': 'string'}
)

pt.write_pandas(conn=conn, 
                df=df, 
                table_name=table_name,
                database=database,
                schema=schema)

方法3：开启use_logical_type参数 #

部分Snowflake连接器版本中，开启use_logical_type=True参数可优化数据类型映射，正确识别缺失值：

import pandas as pd
from snowflake.connector import pandas_tools as pt

df = pd.DataFrame(data={'ID': [1, 2],
                        'VALUE': ['test', None]
                       })

pt.write_pandas(conn=conn, 
                df=df, 
                table_name=table_name,
                database=database,
                schema=schema,
                use_logical_type=True)

原因说明 #

默认情况下，pandas的object类型列会将None视为普通Python对象，pandas_tools序列化时会将其转为字符串"None"；而pd.NA或StringDtype标记的缺失值，会被工具正确识别为Snowflake的NULL类型。

内容的提问来源于stack exchange，提问作者sml485