自定义Kafka音频Source Connector启动无反应无数据，抛Java堆内存溢出

一、启动后无日志、无消息产出排查 #

• 校验Worker插件加载配置
  • 确认connect-standalone.properties中plugin.path参数指向的目录，包含自定义Connector的jar包及所有运行依赖，路径配置错误会导致Worker静默跳过插件加载，无报错输出
  • 确认Connector.properties中connector.class的全限定类名，与AudioSourceConnector的实际包路径完全一致，拼写错误会触发类加载失败，默认INFO日志级别下无任何提示
• 校验连接器生命周期实现
  • 确认AudioSourceConnector.taskConfigs()方法返回非空的任务配置列表，若返回空列表，Worker不会启动任何Task，自然无运行日志与消息产出
  • 临时调整Worker日志级别为DEBUG，过滤org.apache.kafka.connect.runtime、org.apache.kafka.connect.runtime.isolation相关日志，确认Connector是否被正常加载、Task是否被正常初始化
• 校验任务运行逻辑
  • 确认AudioSourceTask.start()中初始化的文件读取根路径存在、且有访问权限，路径不存在时部分文件操作会静默返回空结果，无异常抛出
  • 检查AudioSourceTask.poll()的文件遍历逻辑：若路径拼接错误、或文件过滤规则误拦截所有目标文件，会导致poll始终返回空SourceRecord集合，无消息发送
  • 确认Kafka自动创建Topic开关状态：若auto.create.topics.enable配置为false，且未提前创建目标Topic，消息发送会静默失败无报错

二、java.lang.OutOfMemoryError: Java heap space 修复方案 #

• 替换全量文件读取逻辑
  • Files.readAllBytes会将整个文件一次性加载到堆内存，完全不适合大体积音频文件的读取场景，需替换为分块流式读取逻辑：按预设的最大消息大小（如1MB/分片）拆分文件内容，每次仅读取指定分片的字节数据，避免全量文件占用堆内存
• 调整poll方法的执行逻辑
  • Kafka Source Task的poll()方法会被Worker高频循环调用，禁止在单次poll中加载多个大文件，建议每次poll仅处理1个文件分片，返回对应SourceRecord后立即释放内存引用，避免堆内存占用持续升高
• 补充消费状态持久化
  • 增加已处理文件的状态标记，避免每次poll都重复读取未标记的大文件，导致内存中冗余存储大量重复字节数据
• 临时缓解方案（不建议作为长期修复）
  • 调整Worker启动参数的-Xmx配置、或修改connect-standalone.properties中worker.override.heap参数，提升堆内存上限，仅能暂时降低OOM触发概率，未解决全量读取的设计缺陷

内容的提问来源于stack exchange，提问作者AinzOwlGown