You need to enable JavaScript to run this app. 如何在Spark Scala中实现HTML实体的解码处理
优惠活动
大模型
产品
解决方案
定价
更多

如何在Spark Scala中实现HTML实体的解码处理

Spark Scala 实现HTML实体解码的方案

推荐方案:使用Apache Commons Text工具库

Java生态下的Apache Commons Text提供了成熟的HTML实体转义/反转义能力,完全可以覆盖你的需求,适配Spark Scala场景的使用步骤如下:

  • 第一步:引入依赖
    在项目构建配置中添加commons-text依赖:
    sbt配置示例:
libraryDependencies += "org.apache.commons" % "commons-text" % "1.10.0"

maven配置示例:

<dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-text</artifactId>
    <version>1.10.0</version>
</dependency>
  • 第二步:封装UDF并处理字段
    Spark中需要将解码逻辑封装为UDF才能在DataFrame算子中使用,完整示例代码如下:
import org.apache.commons.text.StringEscapeUtils
import org.apache.spark.sql.functions.udf
import spark.implicits._

// 定义HTML解码UDF
val htmlDecodeUDF = udf((str: String) => {
  if (str == null) null else StringEscapeUtils.unescapeHtml4(str)
})

// 模拟用户的测试源数据,实际使用时替换为你从数据库读取的DataFrame
val sourceDF = Seq(
  "Example sentence",
  "Read the &#8216;Book&#8217;",
  "&#8216;LOTR&#8217; Is A Great Book"
).toDF("title")

// 使用UDF处理title字段
val resultDF = sourceDF.withColumn("title", htmlDecodeUDF($"title"))

// 查看输出结果
resultDF.show(false)

运行后输出和你预期的结果完全一致。

补充说明

  • 如果你是在YARN等集群环境提交任务,需要将commons-text依赖打入作业Jar包,或者提前在集群的Spark类路径中放置该依赖,避免运行时出现ClassNotFoundException。
  • 如果你场景中只需要处理少量固定格式的十进制HTML实体,不想引入第三方依赖,也可以自己实现简单的正则替换逻辑,但该方案兼容性较差,仅推荐简单场景使用,示例如下:
val simpleHtmlDecodeUDF = udf((str: String) => {
  if (str == null) return null
  val pattern = "&#(\\d+);".r
  pattern.replaceAllIn(str, m => {
    val code = m.group(1).toInt
    code.toChar.toString
  })
})

内容的提问来源于stack exchange,提问作者Kuxha

相关产品推荐
方舟 Agent Plan

超全模态模型 × Harness 升级,最新支持 Deepseek-V4.1-Flash、GLM-5.3 系列、Doubao-Seedream-5.0-pro、Kimi-K3 (部分), 限时 9.9 元起

最近更新时间:2026.10.10 08:39:03