如何通过Spark与Apache Ozone实现数据本地化？K8s部署下是否可行？

一、如何实现Spark与Ozone的数据本地化？ #

核心是让计算任务尽可能跑在数据存储的节点上，具体操作如下：

• 节点共置部署：确保Spark Executor与Ozone DataNode运行在同一物理/虚拟机节点。YARN集群可通过节点标签、队列绑定实现；裸机环境直接在部署DataNode的机器上启动Executor。
• 配置Ozone与Spark集成：将Ozone的core-site.xml和ozone-site.xml复制到Spark的conf目录，Spark通过ozone://协议访问数据（例如spark.read.parquet("ozone://bucket/path/data")）。
• 调优Spark本地化等待参数：设置spark.locality.wait.node（默认3秒）等参数，给Spark调度器足够时间等待在数据所在节点启动Executor，避免过早降级到机架级或任意节点级调度。
• 利用Ozone块位置信息：Spark的HDFS兼容客户端会自动获取Ozone数据块的存储节点信息，调度器据此将计算任务分配到对应节点的Executor，实现数据本地读取与计算。

二、该方案是否具备可行性？ #

完全可行，理由如下：

• Ozone提供HDFS兼容接口，Spark对HDFS的本地化调度逻辑可直接复用，无需修改Spark核心代码。
• 已有大量生产环境落地案例：YARN集群中通过节点亲和配置绑定Spark Executor与Ozone DataNode，数据本地化率可达90%以上，大幅降低跨节点数据传输开销，提升计算性能。
• Ozone的多副本存储机制支持Spark选择最近的副本节点计算，进一步优化本地化效果，即使部分节点故障，也能通过副本保障本地化能力。

三、K8s集群部署下的本地化与Shuffle问题 #

在K8s上同时部署Ozone与Spark，仍然可以实现数据本地化，且不需要强制执行Shuffle：

• 通过K8s节点亲和性绑定：给运行Ozone DataNode的节点添加自定义标签（如ozone-datanode=enabled），提交Spark任务时指定spark.kubernetes.node.selector.ozone-datanode=enabled，让Executor调度到这些节点，实现计算与数据节点共置。
• 使用本地存储卷：Ozone DataNode采用K8s Local PV挂载本地磁盘，Spark Executor在同一节点时可直接访问本地磁盘上的Ozone数据块，实现真正的本地读取。
• 调优K8s调度等待时间：设置spark.kubernetes.executor.locality.wait参数，让Spark等待合适的节点调度Executor，避免跨节点调度。
• 关于Shuffle：Shuffle仅由计算逻辑决定（如groupByKey、join等需要数据重分布的操作），与数据本地化无关。若任务逻辑不需要Shuffle，即使在K8s上也能实现纯本地计算；若逻辑需要Shuffle，数据本地化只是减少了读取阶段的跨节点传输，Shuffle本身仍按逻辑执行，但整体开销会远低于非本地化场景。

内容的提问来源于stack exchange，提问作者Pavel Orekhov