如何将Pandas DataFrame转换为Snowpark DataFrame及逆向转换？

要实现Pandas DataFrame到Snowpark DataFrame的逆向转换，核心是使用Snowpark Session的create_dataframe()方法，以下是具体步骤和示例：

1. 前提：初始化Snowpark Session #

首先需要确保已建立并初始化Snowpark Session，示例代码如下：

from snowflake.snowpark import Session

# 配置Snowflake连接参数
connection_params = {
    "account": "你的账户名",
    "user": "你的用户名",
    "password": "你的密码",
    "warehouse": "你的仓库名",
    "database": "你的数据库名",
    "schema": "你的模式名",
    "role": "你的角色名"
}

# 创建Snowpark Session
session = Session.builder.configs(connection_params).create()

2. 基础转换：直接传入Pandas DataFrame #

如果Pandas DataFrame的列类型可被Snowpark自动正确推断，直接调用create_dataframe()即可：

import pandas as pd

# 示例Pandas DataFrame
pd_df = pd.DataFrame({
    "ID": [1, 2, 3],
    "NAME": ["Alice", "Bob", "Charlie"],
    "AGE": [25, 30, 35]
})

# 转换为Snowpark DataFrame
snowpark_df = session.create_dataframe(pd_df)

# 验证转换结果
snowpark_df.show()

3. 自定义Schema转换（推荐用于复杂场景） #

当需要精确控制Snowpark DataFrame的列类型（避免自动推断误差），可提前定义Schema并传入：

from snowflake.snowpark.types import StructType, StructField, IntegerType, StringType

# 自定义Schema
custom_schema = StructType([
    StructField("ID", IntegerType(), nullable=False),
    StructField("NAME", StringType(), nullable=True),
    StructField("AGE", IntegerType(), nullable=True)
])

# 使用自定义Schema转换
snowpark_df_with_schema = session.create_dataframe(pd_df, schema=custom_schema)

# 查看Schema信息
snowpark_df_with_schema.print_schema()

注意事项 #

• 若Pandas DataFrame数据量极大，直接转换可能占用较多本地资源，建议先将数据写入Snowflake阶段（Stage），再通过Session读取为Snowpark DataFrame。
• 确保Pandas中的数据类型与Snowflake支持的类型兼容，比如Pandas的datetime64类型会被自动转换为Snowflake的TIMESTAMP类型。

内容的提问来源于stack exchange，提问作者psabela