Spark写入HBASE主表仅更新一列时其他列被置空，如何解决？

这问题我之前也碰到过！你现在的写法其实是把只有EMP_ID和EMP_ROLE的新记录追加/插入到主表中，但因为EMP_ID是主键，数据库触发了主键冲突的替换逻辑，把原有记录的其他列都覆盖成了Null——这显然不是你想要的「只更新指定列」的效果。

下面给你两种可行的解决方案，看你更适合哪种：

方案一：用Spark关联生成完整更新数据集后写入 #

先把主表和更新表做关联，仅更新匹配到的EMP_ROLE列，保留其他原有列的值，再写入主表：

// 读取主表与更新表
val DfEmpMaster = spark.read.format("BIGSQL").option("dbtable","EMP_MASTER_DETAIL").load()
val DfEmpRole = spark.read.format("BIGSQL").option("dbtable", "EMP_ROLE").load()

// 关联两张表，仅更新匹配记录的EMP_ROLE，其余列保留原值
val updatedDf = DfEmpMaster.join(DfEmpRole, Seq("EMP_ID"), "left_outer")
  .select(
    DfEmpMaster("EMP_ID"),
    DfEmpMaster("EMP_NAME"),
    // 匹配到更新数据则用新角色，否则保留原角色
    when(DfEmpRole("EMP_ROLE").isNotNull, DfEmpRole("EMP_ROLE")).otherwise(DfEmpMaster("EMP_ROLE")).alias("EMP_ROLE"),
    DfEmpMaster("EMP_LOCATION")
  )

// 覆盖写入主表（确保全量数据完整，未更新的记录也会被保留）
updatedDf.write.mode(SaveMode.Overwrite).format("BIGSQL").option("dbtable","EMP_MASTER_DETAIL").save()

方案二：执行SQL的MERGE INTO语句（推荐） #

如果你的底层数据库支持MERGE INTO（比如HBase搭配Phoenix、各类关系型数据库），直接用Spark执行原生SQL会更高效，尤其适合大数据量场景：

// 将更新表注册为临时视图
DfEmpRole.createOrReplaceTempView("temp_emp_role")

// 执行MERGE INTO，仅更新匹配记录的EMP_ROLE列
spark.sql("""
    MERGE INTO EMP_MASTER_DETAIL t
    USING temp_emp_role s
    ON t.EMP_ID = s.EMP_ID
    WHEN MATCHED THEN UPDATE SET t.EMP_ROLE = s.EMP_ROLE
""")

这种方式无需全量读取主表，仅对匹配的记录做字段更新，完全不会影响其他列的值，性能更优。

原写法出问题的核心原因 #

你使用SaveMode.Append时，因EMP_ID是主键，数据库遇到主键重复的记录时，默认执行了「替换整条记录」的逻辑——而你的更新表仅包含两列数据，未提供的列自然被置为Null。本质是你把「更新操作」错误当成了「插入操作」来执行，才导致了这个问题。

内容的提问来源于stack exchange，提问作者Karthick