如何选择Scala DataFrame中包含特殊字符的列？

方法1：Spark SQL中用反引号包裹列名 #

Spark SQL支持用反引号（`）包裹包含特殊字符的列名，以此规避SQL标识符的语法限制。示例如下：

// 假设df是你创建的目标DataFrame
df.createOrReplaceTempView("temp_table")

// 用反引号包裹带特殊字符的列名
val result = spark.sql("SELECT `ABB/aws:1.0/CustomerId:2.0` FROM temp_table")
result.show()

如果需要访问列内的嵌套元素（比如示例中的id字段），可以这样写：

val result = spark.sql("SELECT `ABB/aws:1.0/CustomerId:2.0`[0].id FROM temp_table")
result.show()

方法2：使用DataFrame API替代Spark SQL #

直接借助DataFrame的select方法配合col函数，通过字符串指定列名，绕开SQL语法的限制：

import org.apache.spark.sql.functions.col

// 直接选择特殊列
val result = df.select(col("ABB/aws:1.0/CustomerId:2.0"))
result.show()

// 访问嵌套元素
val result = df.select(col("ABB/aws:1.0/CustomerId:2.0.id"))
result.show()

额外建议：提前重命名列 #

如果后续需要频繁使用该列，建议先将其重命名为不含特殊字符的名称，简化后续操作：

val renamedDf = df.withColumnRenamed("ABB/aws:1.0/CustomerId:2.0", "customer_info")
renamedDf.createOrReplaceTempView("temp_table")

// 后续直接使用新列名查询
val result = spark.sql("SELECT customer_info FROM temp_table")

内容的提问来源于stack exchange，提问作者Shankar Panda