如何用Apache Kafka连接IBM iSeries与SQL Server 2016并支持RPGLE发指定主题消息

核心最佳实施路径 #

整套链路以最小代码改造成本、全开源无商业成本、满足RPGLE程序直接发消息到Kafka为核心设计目标，端到端流程为：
AS400业务RPGLE程序 → 轻量HTTP调用 → Kafka REST Proxy → Kafka指定业务主题 → Kafka Connect JDBC Sink → SQL Server 2016目标表

• 相比依赖原生ILE Kafka客户端、商业集成中间件的方案，该路径对存量RPGLE业务代码的侵入性极低，无需重构核心业务逻辑，是当前场景下的最优选择。

可选开源组件清单（无商业授权要求） #

• AS400侧：开源HTTPAPI for i组件，支持RPGLE直接发起HTTP请求，无额外重型运行时依赖
• Kafka集群侧：Apache Kafka生态原生开源的Kafka REST Proxy，提供HTTP形式的Kafka消息生产/消费接口；同属开源生态的JDBC Sink Connector，负责将Kafka主题的消息批量写入关系型数据库
• 数据库适配层：对应SQL Server 2016兼容版本的开源mssql-jdbc驱动，支撑JDBC Sink连接目标数据库

• 全流程不需要采购任何商业版Kafka插件、AS400商用中间件即可实现功能打通。

额外安装组件说明 #

所有需要安装的组件均为开源可自由使用的版本，无强制商业付费要求：

• AS400服务器端：需安装HTTPAPI for i组件，配置AS400到Kafka集群的出站网络访问权限（开放9092客户端端口、8082 REST代理端口）
• Kafka集群侧：需部署Kafka REST Proxy服务、部署Kafka Connect服务并加载JDBC Sink插件、放入对应兼容版本的SQL Server JDBC驱动
• SQL Server 2016服务器端：无需安装任何本地客户端组件，仅需开放1433数据库端口、创建专属数据库写入账号、提前建好数据接收表即可

全流程配置工作项 #

• Kafka侧配置
  • 按需创建专属业务传输主题，根据业务峰值消息量设置对应分区数、副本数，保障消息传输可靠性
  • 配置Kafka REST Proxy的IP访问白名单，仅允许AS400服务器的IP调用对应主题的生产接口，规避未授权访问风险
  • 配置Kafka Connect的JDBC Sink任务：填写SQL Server 2016的JDBC连接串、数据库账号密码，配置Kafka消息字段和数据库表字段的映射规则，设置批量写入的批次大小、刷盘间隔、失败重试策略
• AS400侧RPGLE配置
  • 基于HTTPAPI封装通用的Kafka消息发送子程序：将业务进程产生的结构化数据组装为符合REST Proxy接口要求的请求报文，直接调用发送逻辑，无需处理Kafka底层连接、网络重连等复杂开发工作
  • 增加基础的消息容错逻辑：HTTP发送失败时，将原始业务消息落到AS400本地的临时暂存文件，配套编写简单的补传程序，避免消息丢失
• SQL Server侧配置
  • 提前创建和Kafka消息结构完全匹配的目标接收表，定义好各字段类型、主键约束
  • 给Kafka Connect使用的数据库账号授予目标表的INSERT、基础UPDATE权限，遵循最小权限原则
  • 提前完成连通性测试：从Kafka Connect所在服务器测试到SQL Server的网络连通性，排除防火墙、权限配置的拦截问题

内容的提问来源于stack exchange，提问作者Leandro Leal