如何将含字典的列表转换为单列Pandas DataFrame以加载至Snowflake

1. 转换为单列Pandas DataFrame #

你之前转换失败大概率是直接用了pd.DataFrame(data_list)，这会把字典里的键拆成独立列。要生成仅含Data_Field列的DataFrame，需要把整个列表作为该列的数据源：

import pandas as pd

data_list = [{'Col1': '24', 'Col2': '8'}, {'Col1': '25', 'Col2': '9'}]
# 直接将data_list作为Data_Field列的取值
df = pd.DataFrame({'Data_Field': data_list})

# 验证结果
print(df)

执行后输出的DataFrame就是你要的格式：

Data_Field
0  {'Col1': '24', 'Col2': '8'}
1  {'Col1': '25', 'Col2': '9'}

2. 加载到Snowflake表 #

要把这个DataFrame写入Snowflake，推荐用SQLAlchemy引擎配合to_sql方法，同时建议将Data_Field列定义为Snowflake的VARIANT类型（适合存储JSON/字典结构）。

步骤1：安装依赖包 #

pip install pandas snowflake-connector-python snowflake-sqlalchemy

步骤2：编写加载代码 #

from sqlalchemy import create_engine

# 替换为你的Snowflake连接信息
account = '你的账户名'
warehouse = '你的仓库名'
database = '你的数据库名'
schema = '你的模式名'
table_name = '目标表名'
username = '你的用户名'
password = '你的密码'

# 创建Snowflake连接引擎
engine = create_engine(
    f'snowflake://{username}:{password}@{account}/{database}/{schema}?warehouse={warehouse}'
)

# 将DataFrame写入Snowflake，if_exists可选'replace'（覆盖表）或'append'（追加数据）
df.to_sql(table_name, engine, if_exists='replace', index=False)

可选：手动创建表（推荐） #

如果需要提前定义表结构，确保Data_Field为VARIANT类型，可以执行SQL语句：

CREATE TABLE 目标表名 (
    Data_Field VARIANT
);

内容的提问来源于stack exchange，提问作者Bobby John