如何在EMR集群上安装com.databricks.spark.xml包？

嗨，我来帮你搞定这个问题——你之前用sc.install_pypi_package("com.databricks.spark.xml")肯定不行，因为com.databricks.spark.xml是Spark的Java/Scala jar包，并非PyPI托管的Python包，咱们换几种适配EMR集群的正确方式来安装：

1. 集群启动时预先配置（生产环境推荐） #

如果你希望整个集群的所有Spark任务都能直接使用这个包，最稳妥的方式是在创建EMR集群时就配置依赖：

• 进入EMR集群创建页面，找到「软件配置」的「编辑软件设置」，添加以下JSON配置：

  [
    {
      "classification": "spark-defaults",
      "properties": {
        "spark.jars.packages": "com.databricks:spark-xml_2.12:0.17.0"
      }
    }
  ]
  

  注意：版本号0.17.0和后缀_2.12要匹配你的EMR Spark版本——Spark 3.x系列用_2.12，Spark 2.x系列用_2.11，你可以根据自己的集群环境调整。

2. 已运行集群的临时添加（交互式场景） #

如果集群已经启动，不想重建的话，可以在你的PySpark Notebook或者交互式会话里临时添加依赖：

方式一：通过SparkSession配置自动下载 #

在PySpark代码开头添加这段配置，Spark会自动从Maven仓库下载对应的jar包到集群节点：

from pyspark.sql import SparkSession

spark = SparkSession.builder \
    .config("spark.jars.packages", "com.databricks:spark-xml_2.12:0.17.0") \
    .getOrCreate()

方式二：搭配PyPI包使用（便捷Python API） #

如果你想要更Python化的操作语法，可以先安装社区维护的PyPI包spark-xml（它是官方jar的Python封装），在Notebook里执行：

%pip install spark-xml

之后再用上面的SparkSession配置jar依赖，就能用from pysparkxml import SparkXmlReader这类更简洁的API来处理XML数据了。

3. 离线环境手动上传jar包 #

如果你的EMR集群无法访问公网，没办法自动下载jar包：

• 从Maven中央仓库下载对应版本的spark-xml_2.xx-xxx.jar文件
• 把jar包上传到EMR主节点的/usr/lib/spark/jars/目录下
• 重启Spark服务，或者在会话里通过spark.jars参数指定该jar的绝对路径

验证安装是否成功 #

运行一段简单的测试代码，确认依赖生效：

# 读取一个XML文件测试（替换为你自己的文件路径，S3或本地路径都可以）
df = spark.read.format("xml").option("rowTag", "book").load("s3://your-bucket/path/to/sample.xml")
df.show()

如果能正常读取并展示XML数据，就说明安装成功啦！

内容的提问来源于stack exchange，提问作者salsa