Spark中使用UDF时的并行性问题咨询

问题本质 #

你用Jar包开发的UDF本身具备利用Spark并行性的能力，但当前的SQL写法直接把任务限制成了单实例运行。

为啥现在只用到1个Worker和1个分区（1D） #

你的SQL里直接调用udf_function_name("user","password","report", "Last 2 Days")，没有关联任何分布式数据源（比如多分区表）。Spark的并行调度完全依赖输入数据的分区数：

• 没有分布式输入时，Spark默认只会创建1个分区，对应的任务自然只能在1个Worker上执行
• UDF的执行逻辑绑定在任务上，单分区场景下就只能占用单个Worker的资源

怎么让UDF用上Spark并行能力 #

要让UDF跑在多Worker上，必须给Spark提供可拆分分区的输入数据源，让任务能拆分成多个并行子任务：

• 最简单的方式是关联一张已有多分区的分布式表：

  CREATE or replace FUNCTION udf_function_name AS 'j.hive.udtf.udf_function_name';
  
  -- 假设存在一张带多分区的分布式表source_table
  create or replace view result_data as 
  select udf_function_name("user","password","report", "Last 2 Days")
  from source_table; -- 关联该表后，Spark会按表的分区数生成并行任务
  
  create table final_name as select * from result_data;
  

• 如果没有现成分布式表，也可以手动生成虚拟分区触发并行，比如用range函数构造虚拟数据：

  create or replace view result_data as 
  select udf_function_name("user","password","report", "Last 2 Days")
  from range(10); -- 生成10个分区的虚拟数据，对应10个并行任务，可按需调整数字
  

额外提醒 #

• UDF的并行能力由Spark任务调度决定，只要有足够的分区数和集群空闲资源，自动扩缩容机制就会启动额外Worker处理任务
• 如果你的UDF是UDTF（表生成函数），要注意避免返回数据出现倾斜，否则可能仍会出现单个Worker负载过高的情况

内容的提问来源于stack exchange，提问作者user16798185