Redpanda/Kafka创建主题失败：InvalidPartitionsException文件句柄限制报错

问题根源 #

报错核心InvalidPartitionsException: Can not increase partition count due to FD limit，本质是Redpanda/Kafka Broker的文件句柄（FD）上限不足。Debezium连接器启动时会自动创建数据库Schema历史主题，创建过程中所需的分区对应的文件句柄数量，超过了系统或Broker配置的最大限制，导致主题创建失败，进而触发Connector任务报错。

解决方案 #

1. 检查当前文件句柄限制 #

先确认当前系统和Broker进程的文件句柄上限：

• 查看当前Shell的软/硬文件句柄限制：

  ulimit -n  # 软限制
  ulimit -Hn # 硬限制
  

• 查看Redpanda/Kafka进程的实际限制（替换<broker_pid>为Broker进程ID）：

  cat /proc/<broker_pid>/limits | grep "Max open files"
  

2. 提升系统级文件句柄限制 #

临时生效（重启后失效）

直接在终端调整当前Shell的限制，然后重启Broker：

ulimit -n 65535
ulimit -Hn 65535

永久生效

• 编辑/etc/security/limits.conf，添加以下内容（用户替换为Redpanda/Kafka运行用户，比如redpanda或kafka）：

  redpanda soft nofile 65535
  redpanda hard nofile 65535
  

• 编辑/etc/sysctl.conf，设置系统全局文件句柄上限：

  fs.file-max = 655350
  

  执行以下命令让配置生效：

  sysctl -p
  

• 重启Redpanda/Kafka Broker，使新的限制生效。

3. 调整Broker配置 #

• Redpanda：修改redpanda.yaml配置文件，设置文件句柄限制：

  limits:
    file_descriptors: 65535
  

  重启Redpanda服务。

• Kafka：修改server.properties，确保相关线程参数与文件句柄上限匹配（避免过度消耗），同时确认auto.create.topics.enable为true（Debezium依赖自动创建主题），重启Kafka Broker。

4. 手动创建Schema历史主题（应急方案） #

如果暂时无法调整系统或Broker配置，可手动创建Debezium所需的Schema历史主题：

1. 确认主题名称：通常为schema-changes.<your-database-name>，具体可查看Connector配置中的schema.history.topic.name参数。
2. 创建主题：
   • Redpanda：

     rpk topic create schema-changes.<your-database-name> --partitions 1 --replicas 1
     

   • Kafka：

     kafka-topics.sh --create --topic schema-changes.<your-database-name> --partitions 1 --replication-factor 1 --bootstrap-server <broker-ip:port>
     

   注意：手动创建时尽量减少分区数，降低文件句柄消耗，后续限制提升后再按需调整分区。

内容的提问来源于stack exchange，提问作者Fayaz Rashid