Flume本地.gz文件转储HDFS异常及按时间戳存储需求咨询

搞定这个Flume配置问题很简单，你要的两个核心需求——原样转储.gz文件不合并、用系统时间戳命名HDFS输出文件，只需要调整几个关键参数就行。下面是完整的配置方案和细节解释：

# 定义Agent组件
agent1.sources = agent1_source
agent1.sinks = agent1_sink
agent1.channels = agent1_channel

# 配置Spool Dir Source：原样读取本地.gz文件
agent1.sources.agent1_source.type = spooldir
agent1.sources.agent1_source.spoolDir = /your/local/gz/file/directory  # 替换为你的本地.gz文件目录
agent1.sources.agent1_source.fileSuffix = .COMPLETED  # 处理完的文件添加后缀，防止重复读取
agent1.sources.agent1_source.deletePolicy = never  # 可选：保留本地文件，按需改为immediate删除
agent1.sources.agent1_source.deserializer = raw  # 核心：以二进制形式读取整个文件，不拆分内容
agent1.sources.agent1_source.deserializer.maxLineLength = 0  # 取消行长度限制，支持大文件

# 配置内存Channel（按需替换为File Channel保证可靠性）
agent1.channels.agent1_channel.type = memory
agent1.channels.agent1_channel.capacity = 1000
agent1.channels.agent1_channel.transactionCapacity = 100

# 配置HDFS Sink：按时间戳命名并原样写入.gz文件
agent1.sinks.agent1_sink.type = hdfs
agent1.sinks.agent1_sink.hdfs.path = hdfs://your-nn-host:port/hdfs/target/dir/%Y%m%d  # 可选：按日期分目录
agent1.sinks.agent1_sink.hdfs.filePrefix = %Y%m%d%H%M%S  # 核心：用系统当前时间戳作为文件名前缀
agent1.sinks.agent1_sink.hdfs.fileSuffix = .gz  # 保留.gz后缀，和源文件格式一致
agent1.sinks.agent1_sink.hdfs.rollCount = 1  # 核心：每个源文件对应一个HDFS文件，不合并
agent1.sinks.agent1_sink.hdfs.rollInterval = 0  # 关闭按时间自动滚动文件
agent1.sinks.agent1_sink.hdfs.rollSize = 0  # 关闭按文件大小自动滚动文件
agent1.sinks.agent1_sink.hdfs.fileType = DataStream  # 核心：直接写入原始数据流，不重新压缩
agent1.sinks.agent1_sink.hdfs.writeFormat = Text  # 配合DataStream，保留原始内容格式
agent1.sinks.agent1_sink.hdfs.batchSize = 1  # 每个批次写入一个文件
agent1.sinks.agent1_sink.hdfs.round = false  # 使用精确时间戳，不取整

# 绑定组件关系
agent1.sources.agent1_source.channels = agent1_channel
agent1.sinks.agent1_sink.channel = agent1_channel

关键参数为啥这么设置？ #

针对「不合并.gz文件」 #

• deserializer = raw：让Flume把整个.gz文件当成一个完整的二进制事件读取，而不是拆分文件内容成多行事件，这样每个源文件都会单独发送到HDFS，不会和其他文件的内容混在一起。
• hdfs.rollCount = 1：告诉Flume每处理一个事件（也就是一个源文件）就生成一个新的HDFS文件，彻底避免合并多个文件的数据。

针对「按系统时间戳命名」 #

• hdfs.filePrefix = %Y%m%d%H%M%S：用Flume支持的时间格式化占位符，生成精确到秒的时间戳作为文件名前缀，比如20240520154030.gz，保证文件名唯一且带时间信息。
• 如果需要按日期分目录，就在hdfs.path里加上%Y%m%d，Flume会自动创建类似/hdfs/target/dir/20240520的目录，方便后续管理。

额外注意事项 #

• 确保Flume进程对本地spoolDir有读取权限，对HDFS目标路径有写入权限。
• 如果处理超大.gz文件，建议把内存Channel换成File Channel，避免内存溢出。
• deletePolicy可以根据需求调整：never保留本地文件，immediate处理完就删除。

内容的提问来源于stack exchange，提问作者Nitesh Kataria