如何解决ADLA中非分区表出现的HEAP Space问题

以下是实操性较强的处理方案：

• 调整作业内存参数配置
  如果你是通过Spark、Synapse Pipelines等作业处理非分区表，优先上调spark.executor.memory与spark.driver.memory的配置值。非分区表扫描时会全量加载数据到运行内存，建议按照单表体积的1.2-1.5倍设置内存上限；同时可以开启堆外内存分担压力，将spark.memory.offHeap.enabled设为true，按需配置spark.memory.offHeap.size参数。
• 分片读取避免全量加载
  没有分区字段做过滤的情况下，可手动按表内的有序字段（如自增ID、日期字段）拆分扫描范围，分批执行select 所需字段 from 表名 where 分片字段 between 起始值 and 结束值类查询，单次只加载部分数据到内存，避免堆空间被一次性占满。
• 开启下推优化减少无效数据加载
  处理数据时开启谓词下推、投影下推配置，只拉取实际需要的字段，过滤掉不需要的行数据，能大幅降低加载到堆内存的数据体积。
• 合并底层小文件降低开销
  若该非分区表底层存储有大量小于128MB的小文件，可先执行OPTIMIZE 你的表名命令合并小文件，减少文件读取时的元数据开销，也能缓解堆空间占用过高的问题。
• 改造为分区表从根源规避问题
  如果这张表的查询、处理频率较高，建议新增高频过滤字段（如日期、地域）作为分区键改造为分区表，后续处理时仅加载对应分区的数据，从根源避免全表扫描带来的堆内存压力。

内容的提问来源于stack exchange，提问作者Priyanka2304