Camus迁移问题：Kafka HDFS Connect无法从设定偏移量启动

针对你用Confluent HDFS Sink Connector v4.0.0替换Camus时遇到的「手动设置消费者组偏移量后，连接器无法从指定偏移量启动」的问题，我整理了一套可行的排查和解决流程：

1. 先搞懂核心原因 #

HDFS Sink Connector v4.0.0默认会把消费偏移量存储在HDFS的.offset文件中（路径一般是${hdfs.url}/${topics.dir}/${topic}/${partition}/.offset），而非完全依赖Kafka的消费者组元数据。所以你只通过kafka-consumer-groups修改Kafka端的偏移量，启动后连接器会优先读取HDFS里的偏移量文件，导致你的设置不生效。

2. 正确的偏移量同步步骤 #

要实现和Camus的偏移量完全对齐，需要同时同步Kafka消费者组偏移量和连接器在HDFS中的偏移量文件，具体步骤如下：

• 第一步：停止连接器并清理残留文件
  发送DELETE请求停止连接器后，删除连接器生成的临时HDFS文件和对应偏移量文件，避免旧数据干扰：

  hdfs dfs -rm -r /your/connector/temp/file/path
  hdfs dfs -rm /your/topics/storage/dir/<topic-name>/<partition-id>/.offset
  

• 第二步：设置Kafka消费者组偏移量
  用kafka-consumer-groups脚本指定目标偏移量，注意消费者组名格式是connect-<你的连接器名称>：

  /usr/bin/kafka-consumer-groups --bootstrap-server <kafka-broker-addr>:9092 --group connect-<your-connector-name> --reset-offsets --to-offset <target-offset> --topic <target-topic> --execute
  

• 第三步：初始化HDFS偏移量文件
  在对应主题分区的HDFS目录下，手动创建.offset文件并写入目标偏移量：

  echo "<target-offset>" | hdfs dfs -put - /your/topics/storage/dir/<topic-name>/<partition-id>/.offset
  

• 第四步：重启连接器
  发送POST请求重启连接器，此时连接器会读取HDFS中的.offset文件，同时Kafka消费者组偏移量已同步，就能从指定位置开始消费了。

3. 额外注意点 #

• 确认连接器配置里的offset.storage是hdfs（v4.0.0默认值），如果配置了其他存储方式（比如Kafka），需要对应调整偏移量的同步位置。
• 操作前务必备份原有偏移量文件和Kafka消费者组元数据，防止数据丢失。
• 多分区主题需要对每个分区重复上述偏移量设置操作。

内容的提问来源于stack exchange，提问作者Rupesh More