Spark Java UDF计算相似度时参数重复及属性冲突问题

一、UDF参数始终相同的原因与修复 #

所有行相似度全为1.0的核心原因是：传给similariteCompetences的两个数组参数本质是同一列的值。根源是从候选数据集过滤得到参考数据后，未对参考数据的能力列重命名，导致关联操作时列名冲突，误将同一列传入UDF。

举个典型错误场景：
假设候选数据集competencesCC包含competences列，过滤得到intercoReference后，该数据集仍保留同名的competences列。关联后调用UDF时，若写成：

df.withColumn("similarite", functions.callUDF("similariteCompetences", col("competences"), col("competences")))

就会导致UDF拿到的是同一行的同一列数据，自然相似度全为1.0。

修复步骤：

1. 过滤得到参考数据集后，立即重命名其能力列，避免与候选数据集列名冲突：

Dataset<Row> intercoReference = competencesCC.filter("id = '目标参考当局ID'")
    .withColumnRenamed("competences", "ref_competences");

2. 将候选数据集与参考数据集做交叉关联（因仅需计算每个候选与单个参考的相似度，用crossJoin即可，单条参考数据不会有性能问题）：

Dataset<Row> joinedDF = competencesCC.crossJoin(intercoReference);

3. 调用UDF时传入不同的列：

joinedDF.withColumn("similarite", functions.callUDF("similariteCompetences", col("competences"), col("ref_competences")))

二、单独加载参考数据集的属性冲突问题修复 #

单独加载参考数据集触发MISSING_ATTRIBUTES.RESOLVED_ATTRIBUTE_APPEAR_IN_OPERATION异常，是因为参考数据集与候选数据集存在同名列（比如id、competences等），Spark在执行关联操作时无法区分这些同名属性，导致解析失败。

修复步骤：

1. 单独加载参考数据集后，统一给所有可能冲突的列加上前缀（比如ref_）重命名：

// 加载参考数据集的逻辑
Dataset<Row> refDF = spark.read().format("xxx").load("参考数据路径")
    .withColumnRenamed("id", "ref_id")
    .withColumnRenamed("competences", "ref_competences");

2. 将候选数据集与重命名后的参考数据集做交叉关联：

Dataset<Row> joinedDF = competencesCC.crossJoin(refDF);

3. 调用UDF时传入正确的列：

joinedDF.withColumn("similarite", functions.callUDF("similariteCompetences", col("competences"), col("ref_competences")))

额外优化：若参考数据集仅包含单个参考当局的数据（仅一行），可通过广播参考数据集提升关联性能：

Dataset<Row> broadcastRef = functions.broadcast(refDF);
Dataset<Row> joinedDF = competencesCC.crossJoin(broadcastRef);

内容的提问来源于stack exchange，提问作者Marc Le Bihan