如何将PHP API的日志以Avro/Protobuf等二进制结构化格式写入Kafka

该方案是业内PHP业务线对接Kafka日志传输的标准实践，完全解耦业务逻辑与日志传输链路，不会影响接口响应性能，可靠性和扩展性最优。

• 日志写入规则：PHP侧优先遵循Avro单对象编码/Protobuf自描述二进制规范写入本地文件，每条日志独立编码自带标识，无需额外添加分隔符。如果担心二进制粘包排查难度高，也可以将序列化后的二进制内容做Base64编码后，和Schema ID、时间戳等元数据拼成单行JSON写入，每行对应一条日志，兼容普通文本日志的排查、采集逻辑。
• Schema管理：单独部署Schema Registry服务统一管理Avro/Protobuf契约，PHP序列化时指定对应Schema ID，日志内容仅需携带ID无需传输完整Schema，大幅降低消息体积。
• Filebeat配置：Filebeat原生支持二进制文件采集，若使用独立编码的二进制日志，配置filebeat.inputs中type: filestream即可自动按日志标识分割内容；若使用Base64编码的单行JSON日志，可直接提取二进制字段作为消息体。输出到Kafka时直接透传二进制内容，同时支持将Schema ID写入Kafka消息头，下游消费时可直接从Registry拉取Schema完成解析。
• 方案优势：日志写入本地磁盘为毫秒级操作，不会占用接口请求生命周期内的资源，Filebeat异步采集无耦合，后续新增日志类型仅需更新Schema和PHP序列化逻辑，采集侧无需调整配置，扩展性极强。

针对频繁新建连接的性能隐患，可通过扩展特性优化到可用状态，但可靠性低于文件落地方案。

• 连接复用优化：安装PHP的ext-rdkafka扩展，开启持久化连接配置rdkafka.persistent = On，连接会在Apache进程生命周期内复用，不会每次接口请求都新建Kafka连接。
• 非阻塞优化：使用register_shutdown_function注册Kafka消息生产回调，采用异步生产模式无需等待Kafka ACK返回，不会阻塞接口响应。
• 方案劣势：会占用Apache/PHP进程资源，大流量场景下容易出现生产超时、队列堆积进而影响业务接口，PHP进程重启时存在消息丢失风险，不适合核心业务使用。

• 核心业务、QPS>100、对日志可靠性要求高的场景，直接选择文件落地+采集器同步方案。
• 低流量内部服务、不想额外维护采集器配置的场景，可选择优化后的直连Kafka方案。

内容的提问来源于stack exchange，提问作者user3507918