Spark Java项目中如何将Java数组/List转为Scala String*

Scala 中 selectExpr(String*) 的可变参数机制，在 Java 环境下直接传入数组时，会被当作单个字符串参数处理。Spark 会把数组元素拼接成的逗号分隔字符串当成一条完整的 SQL 表达式解析，自然触发语法错误。

方案1：将Java数组/List转为Scala Seq传入 #

如果必须使用 selectExpr，需要把 Java 集合转换为 Scala 原生的 Seq 类型，再传递给方法：

import scala.jdk.CollectionConverters;
import java.util.Arrays;

// 处理Java数组
String[] selectFields = new String[]{"provinceCode","cpCode","psId"};
scala.collection.Seq<String> scalaSelectSeq = CollectionConverters.ArrayHasAsScala(selectFields).asScala().toSeq();
datasets.selectExpr(scalaSelectSeq);

// 处理Java List
List<String> selectFieldsList = Arrays.asList("provinceCode","cpCode","psId");
scala.collection.Seq<String> scalaSelectListSeq = CollectionConverters.ListHasAsScala(selectFieldsList).asScala().toSeq();
datasets.selectExpr(scalaSelectListSeq);

方案2：直接传递可变参数 #

如果字段数量固定，直接把字段作为多个参数传入：

datasets.selectExpr("provinceCode", "cpCode", "psId");

方案3：改用select+col函数替代selectExpr #

如果不需要使用 SQL 表达式语法，推荐用更符合 Java 习惯的 select 配合 col 函数：

import static org.apache.spark.sql.functions.col;
import java.util.Arrays;

String[] selectFields = new String[]{"provinceCode","cpCode","psId"};
// 将字符串数组转为Column数组
org.apache.spark.sql.Column[] columns = Arrays.stream(selectFields)
                                            .map(col)
                                            .toArray(org.apache.spark.sql.Column[]::new);
datasets.select(columns);

内容的提问来源于stack exchange，提问作者minyan-xiao