PySpark消费Kafka时startingOffset与endingOffset配置疑问

Spark读取Kafka的偏移量配置是固定的两层JSON结构：

1. 最外层的Key为Kafka主题名称
2. 主题嵌套的内层Key为该主题下的Kafka分区ID（整数类型），对应的Value就是该分区要指定的读取偏移量数值

所以"0":23的含义是：当前所属主题下，ID为0的分区，偏移量定位到23的位置，这个位置是作为起始读取点还是结束读取点，取决于该JSON是传给startingOffsets参数还是endingOffsets参数。

配置里的负数是Spark Kafka Connector预留的特殊偏移量标记：

• -1：代表对应分区的最新消息偏移量位置
• -2：代表对应分区的最早可消费消息偏移量位置

只消费单个主题topicA时，只需要在JSON最外层保留topicA这一个主题Key即可，不需要添加其他主题的配置项，示例如下：

{"topicA":{"0":23,"1":-1}}

上述配置的含义是：消费topicA主题时，0分区定位到偏移量23的位置，1分区定位到最新偏移量位置。

如果不需要精准指定每个分区的偏移量，不需要编写完整JSON结构，直接给参数传对应字符串简写即可：

• 传"earliest"：从所有分区的最早可消费位置读取
• 传"latest"：从所有分区的最新位置读取

注意：官方示例外层的三个双引号是Python定义多行字符串的语法标记，实际传给配置项的JSON值不需要携带这三个引号，直接传入标准JSON字符串即可。如果手动编写JSON枚举分区偏移量，需要把消费范围内的所有分区都列全，漏写的分区会默认按earliest（作为startingOffsets时）或latest（作为endingOffsets时）补全，可能导致实际读取范围和预期不符。

内容的提问来源于stack exchange，提问作者gohan