Druid MySQL元数据无Segment记录、任务Pending状态求助

1. 任务调度与Worker节点检查 #

• 查看Overlord服务日志，确认Worker节点是否成功注册：

  grep "WorkerAdded" var/druid/overlord/logs/druid-overlord.log
  

  若无Worker注册记录，检查Worker节点runtime.properties中druid.worker.capacity配置是否大于0，同时验证Worker与Overlord的网络连通性（默认端口8091是否开放）。
• 确认Overlord的任务运行模式：druid.indexer.runner.type需设为remote（集群模式），若为local模式仅Overlord自身处理任务，需确保其资源充足。

2. 元数据库连接与权限验证 #

• 检查Coordinator、Overlord服务的common.runtime.properties中MySQL元数据库配置：

  druid.metadata.storage.type=mysql
  druid.metadata.storage.connector.connectURI=jdbc:mysql://<host>:<port>/druid?useSSL=false
  druid.metadata.storage.connector.user=<user>
  druid.metadata.storage.connector.password=<password>
  

  手动使用配置的账号登录MySQL，验证是否能正常访问druid数据库，且拥有SELECT、INSERT、UPDATE权限。
• 查看Coordinator日志，确认元数据库连接状态：

  grep "metadata storage connection" var/druid/coordinator/logs/druid-coordinator.log
  

  若存在连接超时或权限错误，修复数据库配置或调整账号权限。

3. Coordinator与Segments管理检查 #

• 检查Coordinator的初始化配置：druid.coordinator.startDelay（默认30秒）和druid.coordinator.period（默认60秒）需确保Coordinator有足够时间完成元数据初始化。
• 查看Coordinator日志中Segments相关错误：

  grep "segment" var/druid/coordinator/logs/druid-coordinator.log | grep -i error
  

  若存在存储路径错误或元数据不一致问题，确认所有节点的druid.storage.type（如HDFS、本地存储）配置一致，且存储路径具备读写权限。

4. 数据加载任务配置验证 #

• 检查提交的 ingestion 任务配置（如ingestion-spec.json）：
  • 确认dataSource名称无特殊字符，符合Druid规范
  • 验证ioConfig中的输入源（本地文件、Kafka等）可被Worker节点访问，路径或地址配置正确
  • 检查tuningConfig中的maxRowsPerSegment、numShards等参数，避免因资源不足导致任务无法启动
• 查看MiddleManager服务日志，确认任务是否被接收：

  grep "task received" var/druid/middleManager/logs/druid-middleManager.log
  

  若任务未被接收，检查MiddleManager与Overlord的网络连通性，以及druid.worker.capacity是否有剩余容量。

5. Lookups初始化问题排查 #

• Lookups未初始化通常与Coordinator配置相关，检查common.runtime.properties：

  druid.lookup.enableLookupSyncOnStartup=true
  druid.lookup.lookupTierIsDatasource=true
  

  确保Lookups配置正确，且Coordinator具备访问Lookups存储（数据库、本地文件等）的权限，查看相关错误日志：

  grep "lookup" var/druid/coordinator/logs/druid-coordinator.log | grep -i error
  

内容的提问来源于stack exchange，提问作者Saberedo