Pandas to_sql写入Snowflake全为NA的问题排查与解决

嘿，我之前也碰到过一模一样的问题！全列NA的情况大概率和数据类型映射或者列名匹配有关，咱们一步步来排查解决：

第一步：先确认本地DataFrame本身没问题 #

别上来就改上传代码，先确保你的DataFrame在本地是有真实数据的：

# 打印前5行看看数据是否正常
print(my_data_frame.head())
# 统计每列的空值数量，排查本地是否就有大量空值
print(my_data_frame.isna().sum())

如果本地数据就有大量空值，那得先处理CSV读取的问题；如果本地数据正常，那问题肯定出在Snowflake上传环节。

第二步：解决列名大小写不匹配的坑（最常见原因！） #

Snowflake默认会把表的列名存储为大写，但你的Pandas DataFrame列名是小写的（比如column1），pd_writer在映射的时候可能会找不到对应列，导致数据无法写入，最终全是NA。

解决方法很简单，把DataFrame的列名统一转成大写：

my_data_frame.columns = my_data_frame.columns.str.upper()

然后再执行上传代码试试，这一步大概率能解决问题！

第三步：手动指定数据类型映射，避免自动推断出错 #

如果列名没问题，那就是Pandas和Snowflake的数据类型自动映射出问题了（尤其是object类型的列）。咱们手动给每个列指定Snowflake能识别的类型：

首先导入SQLAlchemy的类型，然后定义映射字典：

from sqlalchemy.types import String, Integer

# 根据你的dtypes定义对应关系
dtype_map = {
    'COLUMN1': String,  # 对应原来的column1 object类型
    'COLUMN2': Integer, # 对应原来的column2 int64类型
    'COLUMN3': String,
    'COLUMN4': String,
    'COLUMN5': String,
    'COLUMN6': String,
    'COLUMN7': Integer,
    'COLUMN8': Integer
}

然后在to_sql里加上dtype参数：

my_data_frame.to_sql(
    'new_table_name_on_Snowflake', 
    engine, 
    index=False, 
    method=pd_writer, 
    if_exists='replace',
    dtype=dtype_map
)

第四步：换用更稳定的write_pandas函数（备选方案） #

如果pd_writer还是不给力，试试Snowflake官方推荐的write_pandas函数，它比pd_writer更稳定，尤其是处理大数据量的时候：

首先调整连接方式，用Snowflake原生连接器而不是SQLAlchemy：

import snowflake.connector
from snowflake.connector.pandas_tools import write_pandas

# 建立原生连接
conn = snowflake.connector.connect(
    account='my_snowflake_account',
    user='my_snowflake_id',
    password='my_snowflake_password',
    database='my_database',
    schema='my_schema',
    warehouse='my_warehouse',
    role='my_role'
)

# 使用write_pandas上传，overwrite=True会替换已存在的表
success, nchunks, nrows, _ = write_pandas(
    conn=conn,
    df=my_data_frame,
    table_name='new_table_name_on_Snowflake',
    overwrite=True
)

# 检查是否成功
if success:
    print(f"成功上传{nrows}行数据！")

第五步：检查编码和会话参数 #

如果你的数据里有特殊字符（比如中文、表情），可能是编码问题导致数据无法正确写入。可以在连接后设置Snowflake的会话编码为UTF-8：

# 如果用SQLAlchemy连接
connection.execute("ALTER SESSION SET CLIENT_ENCODING = 'UTF8'")

# 如果用原生连接
conn.cursor().execute("ALTER SESSION SET CLIENT_ENCODING = 'UTF8'")

内容的提问来源于stack exchange，提问作者nba2020