咨询Databricks内存指标图中近138GB恒定浅色区域含义

• 确认Databricks Runtime版本：部分旧版本监控面板可能存在图例遗漏，尤其是Driver节点的系统级内存统计项（比如内核预留内存、Databricks后台服务占用内存）
• 直接查看Driver节点的系统级内存明细：在Driver终端执行free -h或ps aux --sort=-%mem命令，定位138GB内存的实际归属——可能是Databricks后台服务（如DBFS、监控代理）、系统缓存，或是Python进程的隐性内存开销（比如numpy/pandas的内存映射文件、未被GC回收的内存块）
• 追踪Python脚本的内存使用细节：用memory_profiler或tracemalloc模块监控脚本内存变化，排查是否存在内存泄漏、大对象未释放的情况；若处理大文件/数据集，检查是否有未关闭的文件句柄、未清理的中间变量
• 核对集群配置预留规则：部分集群会默认给系统和Databricks服务预留固定比例内存，256GB节点的预留内存占比可能与128GB节点不同，刚好让可用内存满足作业需求

补充：由于作业仅在Driver节点运行、完全不涉及Spark Worker，这部分未标注内存大概率和Spark无关，重点排查系统级服务、Python进程的隐性开销

内容的提问来源于stack exchange，提问作者MK.