Spark中自定义reduce函数将数据存盘后上传至S3是否可行？

你描述的需求完全可以在Spark框架下实现，无需将全量数据拉取到Driver端处理，也可以正常在Executor侧调用JNI逻辑完成你的业务流程。

• 直接使用mapPartitions算子处理groupBy后生成的所有分区即可：该算子会将每个分区的全量tuple以迭代器的形式传入Executor侧执行的处理函数，你可以在函数内部遍历迭代器，逐个调用封装了JNI逻辑的f(tuple)，将数据写入Executor本地磁盘构建RocksDB索引。
• 单个分区的所有tuple处理完成、本地RocksDB索引文件生成后，直接在同一个处理函数内调用S3 SDK将本地生成的文件上传到指定S3路径即可。

• 封装了JNI逻辑的Jar包会自动分发到Executor吗？
  只要你通过spark-submit的--jars参数指定JNI依赖Jar，或者将JNI相关依赖打入作业的Fat Jar中提交，Spark会自动将所有依赖分发到需要执行任务的Executor节点，无需手动同步。
• 可以在Executor运行的函数内调用JNI函数吗？
  完全可以，但需要注意两个常见坑：
  1. JNI依赖的C++动态库（.so/.dll/.dylib文件）需要提前部署到所有Executor节点的java.library.path路径下，也可以通过spark-submit的--files参数将动态库随作业一起提交，在运行时加载。
  2. JNI的System.loadLibrary方法在同一个JVM进程内仅能调用一次，而Executor上多个任务会复用同一个JVM进程，重复加载会抛出异常，建议你将JNI库的加载逻辑放在静态代码块中，保证每个Executor JVM仅加载一次。

• 如果生成的RocksDB索引文件体积较大，建议提前配置Executor本地临时目录的磁盘扩容规则，避免写入时出现磁盘空间不足的问题。
• 上传S3时建议采用分段上传逻辑，降低大文件上传失败后的重试开销。

内容的提问来源于stack exchange，提问作者Samson Hu