Eclipse Ditto目标连接无法发送全部Thing事件求助

问题背景 #

我们正在将Eclipse Ditto集成到数字孪生平台，测试中遇到两类核心问题：

• 初始采用2.3版本时，MQTT可接收全部消息，但处理速度极慢（6次仿真耗时20分钟）
• 升级至3.2版本后，处理速度显著提升，Kafka消息能被完整消费映射，Thing状态正常更新，但目标连接（MQTT/Kafka）无法发送全部更新事件（3558条消息仅发送不足1000条），日志明确显示消息因背压策略被丢弃

已尝试操作 #

• 调整Helm values.yaml中的环境变量，单轮仿真可正常运行，但多轮并发时问题复现
• 更换硬件配置，未改善问题

优化建议 #

1. 调整Ditto核心服务的背压与线程池配置 #

针对Ditto的连接服务（connectivity service）与事物服务（things service），修改Helm values中的环境变量：

• 增大线程池容量：设置DITTO_CONNECTIVITY_ACTOR_SYSTEM_DISPATCHER_THREAD_POOL_SIZE和DITTO_THINGS_ACTOR_SYSTEM_DISPATCHER_THREAD_POOL_SIZE为匹配CPU核心数的数值（如16或32，建议为核心数的2倍）
• 扩容消息缓冲队列：调整DITTO_CONNECTIVITY_MESSAGES_BUFFER_SIZE参数，增大事件队列的缓冲上限，减少因队列满触发的背压丢弃

2. 优化目标连接（Kafka/MQTT）的吞吐量配置 #

Kafka连接优化

• 调整生产者参数：增大batch.size（如设置为16384）与linger.ms（如设置为5），允许批量发送消息提升吞吐量
• 提高并发请求数：设置max.in.flight.requests.per.connection为5（需开启生产者幂等性enable.idempotence=true，避免消息乱序）

MQTT连接优化

• 启用批量发布：若使用MQTT 5.0，开启批量发布特性减少网络交互次数
• 调整QoS级别：若业务允许，可临时降低QoS至0测试吞吐量，后续再根据可靠性需求调整回对应级别
• 增大发送缓冲区：调整MQTT客户端的发送缓冲区大小，避免因缓冲区溢出触发背压

3. 优化Ditto事件分发规则 #

• 检查是否配置了事件过滤或速率限制规则，若存在则调整规则范围，确保必要的更新事件能正常流转
• 调整event-throttling参数，设置合理的事件发送速率上限，匹配目标连接的处理能力

4. 监控验证 #

• 利用Ditto内置指标（如ditto_connectivity_messages_dropped_total、ditto_connectivity_messages_processed_total）跟踪消息丢弃与处理量
• 监控Kafka/MQTT的生产者指标（如Kafka的record-send-rate、buffer-available-bytes），精准定位瓶颈环节

内容的提问来源于stack exchange，提问作者Julia Robles