无法将Confluent Kafka主题的Avro数据导入HBase求助

看起来你已经走完了大部分流程，但数据始终没进入HBase，我帮你梳理几个关键排查点和修复步骤：

1. 最可能的遗漏：提交Connector配置到Connect集群 #

你启动了Connect分布式服务，但还没有将HBase Sink的配置提交给Connect集群——启动Connect服务只是让它处于运行状态，你需要显式创建Connector实例，它才会开始消费Kafka数据并向HBase写入。

提交配置的两种方法： #

方法1：使用Confluent CLI

./bin/confluent config kafka-cdc-hbase --create --config ./etc/kafka-connect-hbase/hbase-sink.properties

方法2：使用REST API

先把你的hbase-sink.properties转成JSON格式（保存为hbase-sink.json）：

{
  "name": "kafka-cdc-hbase",
  "config": {
    "connector.class": "io.svectors.hbase.sink.HBaseSinkConnector",
    "tasks.max": "1",
    "topics": "test",
    "zookeeper.quorum": "wdsjnl012.test.com:2181",
    "event.parser.class": "io.svectors.hbase.parser.AvroEventParser",
    "hbase.test.rowkey.columns": "id",
    "hbase.test.rowkey.delimiter": ",",
    "hbase.test.family": "name",
    "hbase.test.name.columns": "name"  // 这行是必须添加的配置，后面会解释
  }
}

然后用curl提交：

curl -X POST -H "Content-Type: application/json" --data @hbase-sink.json http://<你的Connect主机>:8083/connectors

提交后，检查Connector状态是否正常运行：

curl http://<你的Connect主机>:8083/connectors/kafka-cdc-hbase/status

返回结果里的state字段应该显示为RUNNING。

2. 配置缺失：字段到HBase列的映射 #

你的配置里只指定了RowKey和列族，但没有告诉插件把Avro里的name字段写到HBase列族name下的具体列。必须添加一行配置：

hbase.test.name.columns=name

这里的规则是hbase.<表名>.<列族名>.columns=<Avro字段名>，如果字段名和HBase列名一致，直接写字段名即可；如果不一致，可以用Avro字段名:HBase列名的格式做映射。

3. 检查权限与网络连通性 #

• HBase权限：运行Connect进程的系统用户需要有HBase表test的写入权限，你可以在HBase Shell里执行：

  grant 'connect_user', 'RW', 'test'
  

  替换connect_user为实际运行Connect的系统用户名。
• 网络连通性：确保Connect服务器能访问ZooKeeper（2181端口）和HBase集群的所有节点（比如HMaster的16000、RegionServer的16020等端口），没有防火墙或网络策略拦截。

4. 查看详细日志定位问题 #

你目前只提供了插件加载的日志，需要查看Connect运行时的详细日志（通常在/usr/local/confluent/logs/connect-distributed.log），搜索kafka-cdc-hbase关键词，寻找报错信息：

• 比如Failed to connect to HBase：说明HBase集群连接失败
• Avro parsing error：Avro数据解析有问题，可能是依赖版本不兼容
• Table test not found：HBase表不存在（但你已经创建了，大概率是权限问题）
• Permission denied：权限不足导致无法写入

5. 验证Kafka主题数据是否正常 #

先用Avro消费者确认主题里确实有数据：

./bin/kafka-avro-console-consumer --bootstrap-server wdsjnl010:9092 --topic test --from-beginning

如果能看到你生产的{"id": 1, "name": "foo"}，说明数据已经正常进入Kafka，问题出在Connector端。

按照以上步骤排查，应该能解决数据不写入HBase的问题。

内容的提问来源于stack exchange，提问作者Cauchy Wu