如何使用Databricks的sparkXML在Spark SQL中解析DataFrame的XML列

首先确保你的Databricks集群已经安装了对应Spark版本的spark-xml组件，比如Spark 3.x对应的版本为com.databricks:spark-xml_2.12:0.16.0，安装完成后即可直接在Spark SQL中使用其提供的XML解析函数。

假设你存储原始数据的表名为original_xml_table，可以直接执行以下SQL完成转换：

SELECT 
  t.ID,
  line.colX AS colx
FROM 
  original_xml_table t
  LATERAL VIEW EXPLODE(
    FROM_XML(
      t.xml,
      'STRUCT<line: ARRAY<STRUCT<colX: INT>>>',
      map('rootTag', 'root')
    ).line
  ) exploded AS line

注：你提供的目标结果示例中ID=2对应的colx值存在笔误，按原始XML内容实际解析结果应为3和4。

内容的提问来源于stack exchange，提问作者Alexander