Spark 2.3.0 Structured Streaming提交作业时无法写入Parquet文件接收器

看起来你遇到了一个很典型的Spark流作业在交互式环境正常，但集群提交后卡住的问题。我来帮你梳理几个常见的排查方向和解决方案：

1. 优先检查EMRFS的权限问题 #

spark-shell是交互式运行，用的是你登录集群的用户权限，但spark-submit在YARN集群模式下默认用的是yarn用户执行。这个用户很可能没有你指定的EMRFS路径的写入权限：

• 先做个快速测试：用sudo -u yarn hadoop fs -touchz <你的EMRFS目标路径>/test-file，如果报错权限不足，那就是核心问题了。
• 解决办法：要么给yarn用户赋予目标路径的写入权限，要么在spark-submit命令里添加--conf spark.hadoop.fs.s3a.user.name=<你的有权限的IAM用户名>（如果是S3后端的EMRFS），或者调整S3桶的IAM策略，允许作业执行角色拥有写入权限。

2. 修正Checkpoint目录的配置 #

你当前用的是本地目录/tmp/ingestcheckpoint，在YARN集群模式下，这个目录是Driver节点的本地磁盘，不是分布式存储：

• 一旦Driver重启或者节点故障，Checkpoint数据会丢失，流作业会因为无法恢复状态而卡住，甚至一直等待。
• 解决方案：把Checkpoint路径改成EMRFS上的分布式路径，比如s3://your-bucket/path/to/checkpoint/ingest，这样所有节点都能访问到状态数据，保证流作业的稳定性。

3. 验证数据触发与触发器配置 #

spark-shell运行时可能恰好有Kafka数据流入，所以作业能立即触发写入，但提交Jar后可能没有新数据，或者触发器设置的时间还没到：

• 可以临时把Trigger.ProcessingTime(10.seconds)改成Trigger.Once()，这样作业会一次性处理完Kafka中所有现有数据后停止，验证是否能正常写入Parquet。
• 检查Kafka消费者的startingOffsets配置：如果设为latest，而主题里没有新数据，作业会一直等待新消息。可以改成earliest试试，看是否能消费历史数据并写入。

4. 确认打包与提交的依赖完整性 #

SBT打包无报错不代表依赖都包含完整了，尤其是Spark的Kafka和Parquet相关依赖：

• 如果你用的是普通sbt package，打包的Jar只包含你的代码，不包含依赖，这时候spark-submit需要手动指定依赖包：比如添加--packages org.apache.spark:spark-sql-kafka-0-10_2.12:<你的Spark版本>（注意Scala和Spark版本要匹配）。
• 更稳妥的方式是用sbt assembly打包成Fat Jar，把所有依赖都打进同一个Jar里，避免依赖缺失的问题。

5. 查看日志定位具体错误 #

如果上面的方法都没解决，一定要去看作业的日志：

• 登录EMR集群的YARN UI，找到对应的Application，查看Driver和Executor的日志，里面会有具体的报错信息（比如权限拒绝、Kafka连接失败、Parquet写入异常等）。
• 也可以用命令行查看：yarn logs -applicationId <你的应用ID>，从日志里找关键词（比如ERROR、Exception），快速定位问题。

内容的提问来源于stack exchange，提问作者maverik