如何通过Snowflake Snowpark跨不同会话实现生产库到测试库的数据迁移？

针对你这种跨角色/用户的Snowpark会话数据传递需求，推荐以下几种实用方案：

方案1：使用Snowflake内部命名阶段（推荐，适合大多数场景） #

通过内部阶段作为中间存储，源会话将数据写入阶段，目标会话从阶段读取写入目标库。需要确保两个角色都对该阶段有对应权限：

• 源角色（PROD_USER）需要阶段的WRITE权限
• 目标角色（Test_USER）需要阶段的READ权限

代码示例 #

首先创建两个Snowpark会话：

from snowflake.snowpark import Session

# 源生产库会话参数
prod_conn_params = {
    "account": "abc.snowflake.com",
    "user": "Produser1",
    "password": "123",
    "role": "PROD_USER",  
    "warehouse": "WF_IT", 
    "database": "ProdUser", 
    "schema": "user" 
}

# 目标测试库会话参数
test_conn_params = {
    "account": "abc.snowflake.com",
    "user": "TestUser1",
    "role": "Test_USER",  
    "warehouse": "WF_IT", 
    "database": "DevUser", 
    "schema": "user" 
}

# 创建两个会话
prod_session = Session.builder.configs(prod_conn_params).create()
test_session = Session.builder.configs(test_conn_params).create()

接下来在源会话中写入数据到内部阶段：

# 加载要复制的生产库表
prod_df = prod_session.table("target_table")

# 创建或复用已有的内部命名阶段（无创建权限可联系管理员配置）
prod_session.sql("CREATE OR REPLACE STAGE IF NOT EXISTS shared_transfer_stage").collect()

# 将DataFrame写入阶段，选用Parquet格式（高效压缩）
prod_df.write.mode("overwrite").parquet("@shared_transfer_stage/prod_data")

然后在目标会话中读取阶段数据并写入测试库：

# 读取阶段中的Parquet数据
test_df = test_session.read.parquet("@shared_transfer_stage/prod_data")

# 写入目标表（自动创建表，或用mode("overwrite")覆盖现有表）
test_df.write.mode("append").save_as_table("target_table_copy")

方案2：跨角色直接访问（如果权限允许） #

如果测试角色（Test_USER）已被授予生产库表的SELECT权限，可以直接在目标会话中查询生产库数据，无需中间阶段：

# 目标会话直接访问生产库表（需确保Test_USER有ProdUser.user.target_table的SELECT权限）
test_df = test_session.table("ProdUser.user.target_table")
test_df.write.mode("overwrite").save_as_table("target_table_copy")

方案3：本地文件中转（仅适合小数据量） #

对于数据量较小的场景，可先将源数据导出到本地文件，再导入到目标库：

# 源会话导出数据到本地
prod_df = prod_session.table("target_table")
prod_df.write.mode("overwrite").csv("/local/path/prod_data.csv", header=True)

# 目标会话从本地导入数据
test_df = test_session.read.csv("/local/path/prod_data.csv", header=True)
test_df.write.mode("overwrite").save_as_table("target_table_copy")

注意事项 #

• 内部阶段权限配置：如果在生产库下创建阶段，需给Test_USER授予阶段权限，可通过源会话执行：

  GRANT USAGE ON STAGE shared_transfer_stage TO ROLE Test_USER;
  GRANT READ ON STAGE shared_transfer_stage TO ROLE Test_USER;
  

• 大数据量场景优先用方案1，避免本地文件的性能瓶颈
• 操作完成后记得关闭会话：

  prod_session.close()
  test_session.close()
  

内容的提问来源于stack exchange，提问作者Sakthi S