Druid索引任务因内存不足失败，存在Reducer倾斜问题

嘿，看你的描述和日志，这明显是Druid索引任务里的Reducer热点倾斜问题——Map阶段跑完后，Reduce进度卡在99%左右最终因内存不足失败，核心原因就是大量数据被分配到了少数几个Reducer节点上，导致这些节点内存负载直接拉满扛不住了。

下面是针对这个问题的具体解决办法，按实操优先级排序：

1. 启用Druid的二次分区（Secondary Partitioning） #

这是最直接有效的方案。如果你的数据里存在某个热点维度（比如user_id、product_id这类可能出现超级大Key的字段），二次分区能在Map阶段之后，基于指定维度的哈希值把数据拆分成更多小分区，让Reduce任务的负载更均匀。

在你的索引任务规范（Ingestion Spec）里添加这段配置：

"secondaryPartitioning": {
  "type": "hashed",
  "partitionDimensions": ["hot_dimension"], // 把这里换成你的热点维度字段名
  "numPartitions": 10 // 分区数可以根据热点数据量调整，比如数据特别多就设20
}

2. 调高Hadoop Reduce任务的内存配额 #

如果二次分区后还是有内存压力，可以直接给Reduce任务加内存。你可以在Druid的runtime.properties里全局配置，或者在单个索引任务的hadoopConfiguration里单独设置：

mapreduce.reduce.memory.mb=8192
mapreduce.reduce.java.opts=-Xmx6144m

注意：mapreduce.reduce.java.opts的值要比mapreduce.reduce.memory.mb小，一般设为总内存的75%左右，避免容器内存溢出。

3. 过滤或采样热点数据 #

要是某些热点数据是无效的、或者可以暂时忽略来验证方案，可以试试这俩办法：

• 过滤热点Key：在transformSpec里加过滤规则，直接排除那个超级大Key：

"transformSpec": {
  "filter": {
    "type": "not",
    "field": {
      "type": "selector",
      "dimension": "hot_dimension",
      "value": "super_hot_key" // 替换成你的热点值
    }
  }
}

• 数据采样：先拿一部分数据跑任务验证效果，比如只处理10%的数据：

"inputSource": {
  "type": "hdfs",
  "paths": "/path/to/your/data",
  "sampling": {
    "type": "random",
    "probability": 0.1
  }
}

4. 调整索引任务的并行度 #

通过增加Map和Reduce任务的数量，让更多节点分担负载。在索引任务的tuningConfig里调整：

"tuningConfig": {
  "type": "hadoop",
  "maxNumMapTasks": 100, // 适当增加Map任务数，根据集群资源调整
  "maxNumReduceTasks": 50 // 同理，增加Reduce任务数来分散压力
}

不过注意别调太高，不然集群资源被占满，反而拖慢任务。

5. 优化数据维度和分区设计 #

如果你的数据是天然存在热点（比如某个时间段流量暴增），可以从数据设计层面优化：

• 把时间分区粒度调小，比如从按天分区改成按小时分区，让每个分区的数据量更均匀；
• 对热点维度拆分，比如把user_id按前缀拆分，或者把热点用户的数据单独处理。

附上你提供的任务日志：

2018-03-27T21:14:30,349 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - map 100% reduce 96%
2018-03-27T21:14:33,353 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - map 100% reduce 97%
2018-03-27T21:15:18,418 INFO [task-runner-0-priority-0] org.apache.hadoop.mapreduce.Job - map 100% reduc...

内容的提问来源于stack exchange，提问作者kalyan chakravarthy