Kafka主题数据提取异常：PySpark仅导出1行的排查与修复

先查消费位移问题 #

• 检查当前消费组的位移：在Databricks里执行spark.read.format("kafka").option("kafka.bootstrap.servers", "你的Kafka地址").option("subscribe", "目标主题").option("group.id", "你的消费组ID").option("startingOffsets", "latest").load().select("offset").show()，或者有Kafka命令行权限的话，用kafka-consumer-groups.sh --bootstrap-server 你的Kafka地址 --describe --group 你的消费组ID，看是不是消费组已经把主题消息消费完，位移到了最新位置，所以只拿到最新的1行。
• 要是位移的问题，调整startingOffsets参数：改成earliest从头消费，或者指定具体起始位移，比如{"目标主题": {"0": 0, "1": 0}}（对应各分区的起始位移）。

排查多Notebook消费冲突 #

• 确认所有测试Notebook是不是用了同一个消费组ID：多个Notebook共用同一个group.id的话，Kafka会把分区消费权分配给其中一个实例，其他实例拿不到数据；而且之前的Notebook提交过位移的话，新Notebook用同一个group.id只能从已提交的位移开始消费，可能只剩最新1行。
• 解决办法：每个测试Notebook用独立的消费组ID，或者测试时临时禁用自动提交位移（添加option("enable.auto.commit", "false")），避免互相干扰。

验证主题实际数据量 #

• 先确认主题真的有大量数据：用Kafka命令行工具查主题分区和消息数，比如kafka-run-class.sh kafka.tools.GetOffsetShell --bootstrap-server 你的Kafka地址 --topic 目标主题 --time -1，每个分区的最后位移减去起始位移就是该分区的消息数，加起来看总数据量是否符合预期。
• 如果主题实际只有1行数据，那问题出在生产端，和消费无关。

检查PySpark读取参数 #

• 确认没加错误的限制参数：比如有没有不小心加了limit(1)或者option("maxOffsetsPerTrigger", 1)这类限制读取数量的配置，之前正常可能是没加这些参数。
• 检查分区匹配：PySpark读取Kafka时默认创建和主题分区数相同的RDD分区，要是主题只有1个分区，可能因某些原因只读到1行；多分区的话，用select("partition", "offset", "value").groupBy("partition").count().show()查看各分区消费数量，确认每个分区都能读到数据。

单实例消费测试 #

• 关掉所有其他正在消费该主题的Notebook，只留一个测试Notebook，用新的消费组ID，设置startingOffsets="earliest"重新读取，看能不能拿到所有数据，排除多实例干扰。

内容的提问来源于stack exchange，提问作者rakk