如何向Google Dataproc提交Kafka流PySpark作业？加载包失败求助

看起来你踩了个常见的配置坑——你把Spark加载依赖包的--packages参数放在了PySpark作业的args字段里，这会被当成Python脚本的命令行参数，而不是Spark用来识别依赖的配置项，自然没法触发Kafka相关包的加载。

下面给你两种靠谱的解决方法：

方法1：通过Spark属性声明Maven依赖 #

这是Spark官方推荐的方式，在PySparkJob配置里用sparkProperties指定spark.jars.packages，让Spark自动从Maven仓库下载对应依赖。修改后的REST请求示例如下：

POST /v1/projects/projectname/regions/global/jobs:submit/
{
  "projectId": "projectname",
  "job": {
    "placement": {
      "clusterName": "cluster-main"
    },
    "reference": {
      "jobId": "job-33ab811a"
    },
    "pysparkJob": {
      "mainPythonFileUri": "gs://projectname/streaming.py",
      "sparkProperties": {
        "spark.jars.packages": "org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.0"
      }
    }
  }
}

⚠️ 注意：要把3.3.0替换成你Dataproc集群使用的Spark版本对应的Kafka包版本，版本不匹配会导致加载失败。

方法2：直接指定GCS上的本地Jar包 #

如果你已经把Kafka相关Jar包上传到了GCS，可以用jarFileUris字段直接指定Jar路径，跳过自动下载步骤：

POST /v1/projects/projectname/regions/global/jobs:submit/
{
  "projectId": "projectname",
  "job": {
    "placement": {
      "clusterName": "cluster-main"
    },
    "reference": {
      "jobId": "job-33ab811a"
    },
    "pysparkJob": {
      "mainPythonFileUri": "gs://projectname/streaming.py",
      "jarFileUris": [
        "gs://projectname/jars/spark-sql-kafka-0-10_2.12-3.3.0.jar",
        "gs://projectname/jars/kafka-clients-2.8.1.jar"
      ]
    }
  }
}

如果你用Dataproc UI操作（更简单） #

不用手动写REST命令，在UI提交作业的页面里，找到Spark properties区域，添加一行键值对：

• 键：spark.jars.packages
• 值：你的Kafka包完整Maven坐标（比如org.apache.spark:spark-sql-kafka-0-10_2.12:3.3.0）

提交后Spark就会自动处理依赖加载了。

内容的提问来源于stack exchange，提问作者kxasha