Databricks中PySpark Driver节点内存泄漏排查求助

我在Databricks上运行的PySpark应用遇到内存问题：Driver节点内存占用随时间持续增长，最终因内存不足（OOM）崩溃。该问题出现在循环处理文件夹中每张图片的场景，执行代码如下：

def read_image_and_save_to_df(image_path, save_path):
    # 读取图片（tif格式）
    # 转换为PySpark DataFrame
    # 保存为Parquet格式

# 遍历文件夹中的每张图片：
for image_path in image_folder:
    read_image_and_save_to_df(image_path, save_path)

我已尝试在函数末尾清理对象、清除缓存并取消持久化SparkContext中的RDD，但内存占用仍在增长，疑似存在内存泄漏，求排查思路。

附函数末尾清理缓存前后的内存占用情况：

• 清理前：内存随图片处理数量持续攀升，无明显回收回落
• 清理后：内存仅在执行清理操作时有微小下降，整体仍呈持续上升趋势

内容的提问来源于stack exchange，提问作者George Sotiropoulos