如何排查VoltDB Kafka导出器故障？Kafka主题无数据更新求助

碰到过类似的问题，咱们一步步来定位问题：

1. 先确认VoltDB导出器本身的运行状态 #

首先用VoltDB的命令行工具检查导出器是否正常工作：

voltadmin export status

重点看目标为archive的导出器状态：

• 如果显示stopped或者error，说明导出器启动失败，直接看日志找原因；
• 如果是running，再往下排查。

2. 检查导出配置的细节（你的配置可能有个关键错误） #

看你贴的deployment.xml配置，这里有个容易踩坑的点：

<property name="topic.key">sobackup.voltdb_neweggpreso_1_</property>

VoltDB Kafka导出器中，topic.key是用来指定消息的Key字段（比如用表中的某个列作为Kafka消息的key），而指定目标Kafka主题的参数是topic，不是topic.key！

也就是说，你现在的配置根本没指定要发往哪个主题，导出器可能用了默认主题名（一般是表名），而你监听的是sobackup.voltdb_neweggpreso_1_，自然收不到数据。

修正配置：把topic.key改成topic，或者如果确实需要设置消息key，再额外加topic.key配置：

<export>
  <configuration target="archive" enabled="true" type="kafka">
    <property name="bootstrap.servers">s7biapp27:9092,s7biapp30:9092,s7biapp31:9092</property>
    <property name="topic">sobackup.voltdb_neweggpreso_1_</property>
    <!-- 如果需要用表字段作为消息key，再加这个 -->
    <!-- <property name="topic.key">your_table_key_column</property> -->
    <property name="acks">1</property> <!-- 建议先改成1，方便排查发送失败问题 -->
  </configuration>
</export>

另外，acks=0会让VoltDB不等待Kafka的确认，即使发送失败也不会报错，改成acks=1或者all，能在日志里看到发送失败的信息。

3. 确认数据导出的触发条件是否满足 #

VoltDB的archive类型导出是基于表的变更操作（INSERT/UPDATE/DELETE），而且需要表和导出目标关联：

• 检查你的表是否在DDL中声明了EXPORT TO archive，比如：

  CREATE TABLE your_table (
    id INT PRIMARY KEY,
    data VARCHAR(256)
  ) EXPORT TO archive;
  

  如果没有这个声明，表的变更不会被导出。
• 确认你测试时有没有对表执行变更操作（比如插入新数据），如果表一直没数据变化，导出器不会产生任何消息。

4. 检查网络与Kafka集群连通性 #

• 在VoltDB节点上测试能否连通Kafka的bootstrap服务器：

  telnet s7biapp27 9092
  

  如果不通，说明网络有问题（防火墙、端口映射、Kafka节点没启动等）。
• 用Kafka命令行工具检查目标主题是否存在：

  kafka-topics.sh --list --bootstrap-server s7biapp27:9092
  

  如果主题不存在，且Kafka没有开启auto.create.topics.enable，需要手动创建主题：

  kafka-topics.sh --create --topic sobackup.voltdb_neweggpreso_1_ --bootstrap-server s7biapp27:9092 --partitions 3 --replication-factor 2
  

5. 查看VoltDB的导出日志 #

VoltDB的导出相关日志默认在voltdb/log/export.log，或者主日志voltdb.log里，找关键词Kafka、export、error：

• 如果看到Failed to connect to bootstrap servers：网络或Kafka地址错误；
• 如果看到TopicAuthorizationException：VoltDB使用的账号没有往该主题写数据的权限（Kafka ACL限制）；
• 如果看到UnknownTopicOrPartitionException：主题不存在，需要手动创建。

6. 验证Kafka端是否有消息 #

用Kafka控制台消费者直接拉取主题的消息，排除消费者端的问题：

kafka-console-consumer.sh --bootstrap-server s7biapp27:9092 --topic sobackup.voltdb_neweggpreso_1_ --from-beginning

如果这里能看到消息，说明是你自己的消费者程序有问题；如果还是看不到，回到VoltDB端继续排查。

7. 重启导出器或集群 #

如果配置修改过，或者导出器状态异常，可以尝试：

# 暂停导出器
voltadmin export pause archive
# 恢复导出器
voltadmin export resume archive

如果还是不行，重启整个VoltDB集群（业务允许的情况下），确保配置生效。

内容的提问来源于stack exchange，提问作者Ckll