如何将对象存储中大于85GB的CSV文件高效加载到Oracle Autonomous Database

方案1：使用DBMS_CLOUD PL/SQL包原生批量加载（最推荐） #

• 这是ADB官方提供的原生加载工具，无需额外部署组件，兼容OCI对象存储、AWS S3、阿里云OSS等主流对象存储服务，可直接读取存储内的CSV文件
• 核心优势：内置自适应并行加载能力，85GB文件会自动拆分并行处理，性能远高于普通客户端导入，单TB级CSV加载通常在小时级即可完成
• 操作核心代码示例：
  1. 先创建对象存储访问凭据

  BEGIN
    DBMS_CLOUD.CREATE_CREDENTIAL(
      credential_name => 'OBJ_STORE_CRED',
      username => '你的对象存储访问密钥AK',
      password => '你的对象存储秘密密钥SK'
    );
  END;
  /
  

  2. 调用COPY_DATA过程直接加载，支持自定义CSV格式参数、并行度、错误容忍度

  BEGIN
    DBMS_CLOUD.COPY_DATA(
      table_name => '你的目标表名',
      credential_name => 'OBJ_STORE_CRED',
      file_uri_list => 'https://你的对象存储访问地址/CSV文件路径/*.csv',
      format => '{"type":"csv", "skipheaders":1, "delimiter":",", "ignoreblanklines":true, "trimspaces":"lrtrim"}',
      parallel => 16 -- *建议设置为ADB OCPU数量的4~16倍，可根据负载灵活调整*
    );
  END;
  /
  

• 优化提示：如果提前把单个85GB CSV拆分为多个1~2GB的小文件存入对象存储，并行加载效率会提升30%以上

方案2：使用ADB内置Data Load可视化工具 #

• 适用场景：不想编写PL/SQL代码，需要界面化操作的场景
• 操作路径：登录ADB的Database Actions控制台，进入「数据加载」模块，选择对象存储作为数据源，关联已创建的访问凭据后直接选中目标CSV文件，配置字段和目标表的映射关系即可提交加载任务
• 底层实际调用DBMS_CLOUD的加载能力，性能和方案1一致，支持查看实时加载进度、错误行日志

方案3：外部表预处理+批量插入（适用于加载前需要校验清洗数据的场景） #

• 如果需要提前做数据过滤、类型校验、关联其他表补全数据，可以先创建指向对象存储CSV文件的外部表，再通过批量插入语句写入目标表
• 核心代码示例：

  -- 创建指向CSV的外部表
  BEGIN
    DBMS_CLOUD.CREATE_EXTERNAL_TABLE(
      table_name => 'CSV_EXT_TABLE',
      credential_name => 'OBJ_STORE_CRED',
      file_uri_list => 'https://你的对象存储访问地址/CSV文件路径/*.csv',
      format => '{"type":"csv", "skipheaders":1}',
      column_list => 'id NUMBER, name VARCHAR2(100), create_time DATE' -- 和CSV字段对应
    );
  END;
  /
  -- 带自定义逻辑批量写入目标表
  INSERT /*+ append parallel(你的目标表名, 16) */ INTO 你的目标表名
  SELECT * FROM CSV_EXT_TABLE WHERE 你自定义的过滤条件;
  COMMIT;
  

通用性能优化建议 #

• 加载前可以临时删除/禁用目标表的非必要索引、触发器，加载完成后再重建，整体性能可提升50%以上
• 优先选用ADB的专用基础设施配置，而非无服务器配置，专用OCPU的并行加载能力更稳定
• 如果CSV中包含CLOB/BLOB大字段，可在format参数中添加"maxloadfilesize":"2GB"调整单文件加载分片大小，避免内存溢出问题

内容的提问来源于stack exchange，提问作者sanketdjain