Oracle ADW至Azure托管Snowflake的数据迁移及专线连通方案咨询

一、预设链路（ADW→OCI对象存储→Azure存储→Snowflake）落地实现步骤 #

步骤1：从Oracle ADW导出数据到OCI对象存储 #

• 直接使用ADW内置的DBMS_CLOUD包完成导出，无需额外部署第三方工具，支持并行导出，适配千万级大表的导出性能要求
• 导出格式优先选择Parquet：自带结构化schema、压缩比高，后续Snowflake加载时无需额外做字段类型匹配，效率比CSV高30%以上；如果必须用CSV，建议开启Gzip压缩，指定业务中不会出现的特殊字符作为分隔符，避免字段错位
• 超6000万行的大表建议按分区、日期维度拆分导出任务，单文件大小控制在100-250MB区间，匹配Snowflake的最优加载规格，避免单文件过大导致加载变慢
• 导出前提前给ADW服务账号授予OCI对象存储的读写权限，配置好OCI访问密钥，导出完成后生成文件哈希值留作后续校验用

步骤2：跨云同步数据到Azure Blob存储 #

• 不想用ETL工具的话，直接用rclone工具配置两端存储的访问凭证即可完成同步，支持多线程并行、断点续传，适合大体积文件跨云传输
• 同步任务完成后，对比两端文件的哈希值，确认数据传输无损坏；如果是后续需要做增量同步，可以配置按文件最后修改时间增量拉取，无需每次全量同步

步骤3：加载数据到Snowflake #

• 优先使用Snowpipe实现自动化加载：在Azure Blob存储配置事件通知，新文件上传后自动触发Snowpipe拉取文件入库，全程无需人工干预
• 加载前提前在Snowflake中建好对应表结构，匹配导出文件的字段类型，避免隐式转换导致的数据错误
• 大表加载时可以临时调高Snowflake虚拟仓库规格，6000万行的表用中等规格仓库通常5分钟内即可完成加载，加载完成后执行count、维度聚合等校验逻辑，和ADW端的原始数据做一致性校验

二、Oracle FastConnect + Azure ExpressRoute 跨云直连方案建议 #

可以通过该组合实现跨云内网直接拉取数据，相比公网传输稳定性更高、无公网流量费用，适合大体积数据迁移或者长期增量同步场景，具体建议如下：

• OCI和Azure有官方的跨云互连能力，无需自行对接第三方运营商，直接在两边云控制台申请互连即可，配置完成后OCI VPC和Azure VPC之间内网互通
• 直连场景下可以简化原有链路：
  • 方案1：直接在Snowflake中配置OCI对象存储为外部Stage，走专线内网直接拉取OCI存储中的导出文件加载入库，完全跳过Azure存储同步步骤，减少一半的迁移工作量
  • 方案2：如果需要留存数据在Azure存储，直接从Azure侧的同步工具走内网拉取OCI端的导出文件，传输速度可以跑满专线带宽，不会出现公网抖动导致的同步失败问题
• 配置注意事项：提前做好两边网络的安全组、路由表配置，确保Snowflake出口IP、Azure存储的出口IP可以访问OCI侧的对象存储/ADW服务端口，传输全程开启TLS加密保障数据安全
• 成本参考：如果是一次性全量迁移且数据量低于50TB，公网传输性价比更高；如果是长期增量同步、数据量超过50TB，专线方案的综合成本更低，稳定性更有保障

内容的提问来源于stack exchange，提问作者Harman