单分片Kinesis流超容时KPL行为及丢事件监控问题

我来结合KPL的实际工作机制，给你拆解这个问题：

一、实际行为：默认配置下会丢弃事件，而非耗尽内存 #

KPL本身就做了防内存溢出的设计，默认不会无限制缓冲待重试的请求：

• 它有个默认的maxBufferSize参数（值为50MB），当缓冲的待发送数据总字节数达到这个阈值时，新进来的生产请求会直接被丢弃，不会继续占用内存。
• 另外，KPL对每个失败的请求会重试retryLimit次（默认10次），如果重试到上限还是发不出去，这条记录也会被丢弃。

只有当你手动把maxBufferSize设得极大（远超应用可用内存），同时取消了其他限制，才有可能出现内存耗尽的情况，但这绝对不是默认的行为。

二、丢事件的监控方法 #

你在CloudWatch里没找到对应指标，大概率是没找对指标命名空间或者权限/配置有问题，这里给你两种靠谱的监控方式：

1. CloudWatch内置指标 #

KPL会自动向CloudWatch上报自定义指标，你得去KinesisProducerLibrary这个命名空间下找：

• UserRecord.Dropped：这个就是被KPL丢弃的记录总数，不管是缓冲满导致的还是重试耗尽导致的，都统计在这里。
• UserRecord.Throttled：被Kinesis流限流的记录数，这类记录会先进入重试队列，最终大概率会被丢弃，可以提前预警。
• BufferUsage：缓冲已用字节数占maxBufferSize的比例，能帮你提前发现缓冲即将满的情况，避免丢事件。

如果看不到这些指标，先排查两个点：

• 生产者的IAM角色有没有cloudwatch:PutMetricData权限，没有的话KPL没法上报指标。
• 检查KPL配置里的metricsLevel，默认是SUMMARY（会上报关键指标），如果被改成NONE就看不到了。

2. 自定义回调监控 #

你还可以在代码里给KPL加回调函数，直接捕获记录发送失败的事件，自己打日志或者上报到内部监控系统：

// Java示例，其他语言逻辑类似
producer.addUserRecord(streamName, partitionKey, data, new RecordCallback() {
    @Override
    public void onRecordResult(RecordResult result) {
        if (!result.isSuccessful()) {
            // 这里可以记录失败的具体原因，比如是不是缓冲满被丢弃
            System.err.printf("记录发送失败：错误码=%s，错误信息=%s%n", 
                result.getErrorCode(), result.getErrorMessage());
            // 也可以把这个失败事件上报到你们自己的监控平台
        }
    }
});

内容的提问来源于stack exchange，提问作者dy10