如何无需第三方工具直接将Snowflake数据加载至Oracle RDS？

方案1：Snowflake存储过程通过JDBC连接Oracle RDS直接写入 #

Snowflake支持通过内置JDBC驱动连接外部数据库，可编写存储过程直接从Snowflake读取数据并写入Oracle RDS：

1. 配置Oracle JDBC驱动
   先将Oracle JDBC驱动（如ojdbc8.jar）上传到Snowflake内部阶段，再创建存储过程调用该驱动：

   -- 创建存储JDBC驱动的内部阶段
   CREATE OR REPLACE STAGE ORACLE_JDBC_STAGE;
   -- 通过SnowSQL或Web UI上传ojdbc8.jar到该阶段
   PUT file:///local/path/to/ojdbc8.jar @ORACLE_JDBC_STAGE;
   
   -- 创建数据迁移存储过程
   CREATE OR REPLACE PROCEDURE COPY_TO_ORACLE()
   RETURNS VARCHAR
   LANGUAGE JAVA
   IMPORTS=('@ORACLE_JDBC_STAGE/ojdbc8.jar')
   HANDLER='CopyToOracle.execute'
   AS
   $$
   import java.sql.*;
   import com.snowflake.snowpark_java.*;
   
   public class CopyToOracle {
       public static String execute(Session session) {
           // 替换为你的Oracle RDS连接信息
           String oracleUrl = "jdbc:oracle:thin:@//<rds-endpoint>:1521/<service-name>";
           String oracleUser = "<oracle-username>";
           String oraclePass = "<oracle-password>";
           String snowflakeQuery = "SELECT * FROM YOUR_SNOWFLAKE_SOURCE_TABLE";
   
           try (Connection oracleConn = DriverManager.getConnection(oracleUrl, oracleUser, oraclePass);
                PreparedStatement pstmt = oracleConn.prepareStatement(
                    "INSERT INTO YOUR_ORACLE_TARGET_TABLE (col1, col2, col3) VALUES (?, ?, ?)"
                );
                ResultSet rs = session.sql(snowflakeQuery).collect()) {
   
               // 批量插入数据，可根据数据量调整批量大小
               int batchSize = 1000;
               int count = 0;
               while (rs.next()) {
                   pstmt.setString(1, rs.getString("COL1"));
                   pstmt.setInt(2, rs.getInt("COL2"));
                   pstmt.setTimestamp(3, rs.getTimestamp("COL3"));
                   pstmt.addBatch();
                   count++;
                   if (count % batchSize == 0) {
                       pstmt.executeBatch();
                   }
               }
               pstmt.executeBatch();
               return "数据加载完成，共插入" + count + "条记录";
           } catch (Exception e) {
               return "加载失败：" + e.getMessage();
           }
       }
   }
   $$;
   

   执行存储过程：CALL COPY_TO_ORACLE();

   注意：需确保Snowflake网络能访问Oracle RDS的1521端口，可通过VPC对等或安全组配置开放权限。

方案2：Oracle RDS通过外部表直接读取Snowflake数据 #

Oracle支持通过ODBC创建外部表，直接连接Snowflake并拉取数据插入目标表：

1. 在Oracle RDS环境配置Snowflake ODBC驱动

   • 将Snowflake ODBC驱动安装到Oracle RDS可访问的服务器（如关联的EC2实例）
   • 配置ODBC数据源：

     [SnowflakeDSN]
     Driver = /path/to/snowflake/odbc/lib/libSnowflake.so
     Server = <snowflake-account>.snowflakecomputing.com
     Warehouse = <your-warehouse>
     Database = <your-database>
     Schema = <your-schema>
     Role = <your-role>
     UID = <snowflake-username>
     PWD = <snowflake-password>
     

2. 创建Oracle外部表

   CREATE TABLE SNOWFLAKE_EXTERNAL_TABLE (
       COL1 VARCHAR2(100),
       COL2 NUMBER,
       COL3 TIMESTAMP
   )
   ORGANIZATION EXTERNAL (
       TYPE ORACLE_LOADER
       DEFAULT DIRECTORY ODBC_CONFIG_DIR
       ACCESS PARAMETERS (
           RECORDS DELIMITED BY NEWLINE
           FIELDS TERMINATED BY ','
           (COL1, COL2, COL3)
       )
       LOCATION ('ODBC:SnowflakeDSN/YOUR_SNOWFLAKE_SOURCE_TABLE')
   )
   PARALLEL 5;
   

3. 迁移数据到目标表

   INSERT INTO YOUR_ORACLE_TARGET_TABLE
   SELECT * FROM SNOWFLAKE_EXTERNAL_TABLE;
   

   注意：需确保Oracle RDS网络能访问Snowflake的443端口，通过安全组或VPC对等配置权限。

补充说明 #

• 若之前S3集成方案失败，可能是格式转换或权限问题：Snowflake可将数据导出为Oracle兼容的CSV格式到S3，再通过Oracle的SQL*Loader或UTL_FILE加载，但上述两种方案更符合直接迁移的需求。
• 数据量较大时，优先选择批量插入逻辑，避免单行插入带来的性能损耗。

内容的提问来源于stack exchange，提问作者Meminza