Kafka SFTP Source Connector处理大CSV文件异常停止及资源咨询

1. 文件读取是否存在大小阈值？ #

• Kafka SFTP Source Connector本身没有硬性的文件大小阈值，但默认配置和JVM内存限制会间接导致大文件处理失败。
• 50MB以上文件引发连接器停止，核心原因通常是默认配置下连接器尝试一次性加载部分或全部文件内容到内存，超出JVM堆内存可用空间，触发OOM（内存溢出）导致进程崩溃。
• 重启后产生重复消息，是因为连接器崩溃时未及时持久化文件读取偏移量，重启后会从文件开头重新读取。

2. 处理500MB级CSV文件的配置与硬件要求 #

内存配置 #

• JVM堆内存：给连接器所在JVM分配至少4GB堆内存（推荐6-8GB），通过KAFKA_HEAP_OPTS设置，例如：export KAFKA_HEAP_OPTS="-Xms6g -Xmx6g"
• 连接器内存参数：调整batch.size（默认1000）至500-1000范围（单条记录越大值越小），避免一次性加载过多记录；同时配置fetch.min.bytes和fetch.max.wait.ms优化批量读取效率。
• 文件读取模式：设置file.read.mode=stream，让连接器以流方式逐行读取，而非一次性加载整个文件到内存。

CPU配置 #

• 单节点至少2核CPU（推荐4核及以上），大文件的CSV解析、消息序列化会消耗较多CPU资源；若部署多连接器实例，每新增一个大文件处理实例，建议额外增加1-2核CPU。
• 确保CPU资源不被其他进程抢占，避免因CPU瓶颈导致处理超时。

关键连接器配置优化 #

• 持久化偏移量：配置file.offset.storage=kafka或file.offset.storage=file（文件路径需可写且持久化），确保重启后从上次中断位置继续读取，避免重复消息。
• 调整行长度限制：若CSV存在超长行，设置足够大的csv.parser.max.line.length值，避免解析失败导致连接器停止。
• 并行任务配置：根据文件数量和资源情况，设置task.max=2-4，实现多文件并行处理（单文件无法被多任务拆分，此配置适用于多文件场景）。

内容的提问来源于stack exchange，提问作者Umesh N