如何扩展Druid批量导入任务？解决设备空间不足报错

你遇到的No space left on device错误，是Druid生成Segment中间文件或最终存储文件时磁盘空间耗尽导致的——即便机器CPU内存充足，磁盘临时目录或数据存储目录的空间限制依然会阻断导入流程。结合Druid 25.0.0版本，以下是针对性的配置调整方案：

一、先排查核心磁盘空间 #

• 检查默认临时目录/tmp剩余空间：执行df -h /tmp，多数系统默认/tmp是小分区，极易被中间文件占满
• 检查Druid数据存储目录（对应druid.storage.storageDirectory配置路径）的剩余空间
• 确认JVM直接内存对应的磁盘区域（如swap、临时挂载点）的可用空间

二、调整jvm.config（重点针对MiddleManager/Indexer节点） #

1. 优化堆内存与直接内存分配 #

Druid导入依赖大量直接内存，合理分配可减少磁盘临时文件生成：

# MiddleManager/Indexer节点的jvm.config
-server
-Xms120g
-Xmx120g
-XX:MaxDirectMemorySize=60g
-XX:+UseG1GC
-XX:MaxGCPauseMillis=200
-XX:+ParallelRefProcEnabled
-XX:+HeapDumpOnOutOfMemoryError
-XX:HeapDumpPath=/var/log/druid/heapdump.hprof

注：200GB内存的机器，堆内存分配120GB，直接内存60GB，剩余空间留给系统缓存，避免内存耗尽。

2. 指定自定义临时目录 #

如果默认/tmp空间不足，替换为大空间目录：

# 在jvm.config末尾添加，需确保目录存在且Druid进程有读写权限
-Djava.io.tmpdir=/data/druid/tmp

要求该目录剩余空间至少为导入文件大小的3-5倍（Parquet导入的中间文件体积可能远超源文件）。

三、调整runtime.properties（重点针对MiddleManager/Indexer节点） #

1. 优化Segment生成的临时存储 #

# 指定Segment生成的工作目录，避开默认/tmp
druid.worker.tmpDir=/data/druid/worker-tmp

# 增大内存合并缓冲区，减少磁盘临时文件生成
druid.indexer.fork.property.druid.processing.buffer.sizeBytes=2g
druid.indexer.fork.property.druid.processing.numMergeBuffers=8

注：numMergeBuffers可根据48vCPU调整为8-12，让更多合并操作在内存完成。

2. 完善存储与清理策略 #

# 确保数据存储目录空间充足
druid.storage.storageDirectory=/data/druid/storage

# 开启任务完成后自动清理临时文件
druid.indexer.cleanup.onSuccess=true
druid.indexer.cleanup.onFailure=true
druid.indexer.cleanup.delayMillis=30000

3. 调整Parquet导入并行度 #

# 控制Parquet读取批量大小，降低磁盘IO压力
druid.parquet.reader.batchSize=10000
# 控制并发子任务数，匹配CPU与磁盘能力
druid.indexer.task.maxNumConcurrentSubTasks=8

四、额外优化建议 #

• 将1GB的Parquet拆分为200-500MB的小文件，分散单个任务的磁盘负载
• 给数据磁盘开启noatime属性，提升读写性能
• 定期清理Druid旧Segment与残留临时文件，释放存储空间

内容的提问来源于stack exchange，提问作者Chiquelo