Databricks SQL API读取大Delta表至Oracle的性能优化问询

是否可一次性读取完整文件？ #

Databricks SQL Warehouse API在disposition=EXTERNAL_LINKS模式下，默认会将结果集按约20MB的大小拆分，目前没有直接参数可以关闭分块逻辑。但可以通过调整输出格式、压缩配置来大幅减少分块数量，间接实现近似“一次性”读取的效果。

性能优化方案 #

• 更换输出格式并启用压缩：
  放弃JSON_ARRAY格式，改用PARQUET或CSV格式——这两种格式的压缩率远高于JSON，相同数据量下生成的块数会减少5-10倍。同时在API请求中启用压缩，比如添加format_options: { "compression": "gzip" }，进一步缩小每个块的体积，减少分块总数。

• 并行处理请求：
  不要串行循环获取外部链接和数据，在PL/SQL中利用并行执行机制（如DBMS_PARALLEL_EXECUTE、自定义并行存储过程），同时发起多个POST请求获取外部链接、多个GET请求拉取数据，将串行耗时转化为并行后的单块耗时。

• 直接批量导出至中间存储：
  跳过SQL Warehouse API，用Databricks的COPY INTO命令将Delta表直接导出到Oracle可访问的对象存储（如S3、ADLS），生成Parquet/CSV格式的批量文件。然后用Oracle的DBMS_CLOUD包直接从存储加载数据，完全避免多次API请求的开销。

• 分区并行查询：
  将大Delta表按分区键拆分，并行执行多个查询（每个查询读取一个分区），每个分区生成独立的结果块。这样既能减少单查询的分块数，又能通过多查询并行处理提升整体速度。

• 调整API请求参数：
  在初始查询的POST请求中，设置statement_timeout为更大的值避免超时，同时通过max_rows限制单查询的结果行数（配合分区查询使用），确保每个查询的分块数控制在较低水平。

内容的提问来源于stack exchange，提问作者Alex