Druid Kafka摄入服务多数据源异常：第二个数据源无任务分配求助

别着急，咱们一步步拆解这个问题——你碰到的是Druid Indexing Service资源被首个数据源独占的典型场景，调整几个配置就能让两个数据源正常并行运行：

1. 先确认Indexing Service的全局资源容量 #

首先得排查你的集群总可用资源是不是真的只有1个core：

• 检查middleManager/runtime.properties里的druid.indexer.runner.numWorkers：这个参数控制Worker实例数量，如果当前是1，你可以改成2，直接翻倍总可用容量（假设每个Worker默认线程数为1）。
• 调整druid.indexer.runner.defaultWorkerThreads：每个Worker能处理的并行任务数，默认是1，若机器CPU足够，可改成2或更高，提升单Worker的处理能力。
  修改后需要重启MiddleManager服务生效。

2. 给每个Kafka Supervisor设置资源上限 #

第一个数据源的Supervisor大概率没设资源限制，导致占满了所有容量。你需要在每个数据源的Supervisor配置里明确资源分配规则：

• 设置taskCount：控制该Supervisor启动的并行任务数，比如给两个数据源各设为1，刚好匹配2个core的总容量。
• 配置requiredCapacity：每个任务占用的容量单位（默认是1），确保两个任务的总容量不超过集群总可用值。
  示例Supervisor配置片段：

{
  "type": "kafka",
  "spec": {
    "dataSchema": { ... },
    "ioConfig": { ... },
    "tuningConfig": {
      "taskCount": 1,
      "requiredCapacity": 1,
      ...
    }
  }
}

3. 用队列机制实现资源隔离（可选） #

如果你的Druid版本支持，可以通过队列配置更精细化地分配资源：

• 将druid.indexer.runner.queue.type设为priority，然后在每个Supervisor配置里添加queuePriority字段，给第二个数据源设更高优先级，确保它能抢到资源。
• 或者用fair队列类型，配置不同队列的资源配额，保证两个数据源都能分到固定比例的资源。

4. 排查第二个数据源的Supervisor状态 #

最后别忘了确认第二个数据源的Supervisor本身是否正常：

• 登录Druid Console的Supervisors页面，检查状态是否为RUNNING。
• 查看MiddleManager的日志，有没有配置错误、Kafka连接失败等导致任务无法启动的报错。

按上面的步骤调整后，两个数据源应该就能合理分配资源，同时运行了。

内容的提问来源于stack exchange，提问作者Frank