Kinesis Data Stream性能测试：配置partition key实现shard均匀分发

Kinesis分发记录到shard的逻辑是固定的：对传入的Partition Key做MD5哈希，得到一个0~2^128-1区间的哈希值，每个shard预先分配了这个区间里的一段连续范围，哈希值落在哪个shard的范围段，记录就进哪个shard。要实现均匀分发，核心就是让所有测试记录的Partition Key哈希值均匀覆盖整个哈希区间，不能出现集中扎堆。

配置避坑 #

• 别用低基数字段当Partition Key：比如枚举值（省份、事件类型、设备类型这类只有几个到几十个固定取值的字段），这类Key的哈希落点非常集中，直接导致部分shard完全无流量，部分shard被打满。
• 别用规律极强的连续序列当Partition Key：比如log-00001、log-00002这类顺序递增的字符串，MD5哈希后分布并不均匀，高写入压力下很容易出现热点shard。
• Partition Key的取值基数至少要达到stream总shard数的10倍以上，基数越高，哈希分布越均匀。

KDG中可直接复用的配置方案 #

方案1：纯随机高离散度Key（性能测试首选） #

KDG模板内置了Faker随机函数，直接在数据模板顶层定义partitionKey字段为随机UUID即可，KDG发送时会自动读取这个顶层字段作为Kinesis记录的分区键，不需要额外配置。模板示例：

{
  "partitionKey": "{{random.uuid}}",
  "eventTime": "{{date.recent}}",
  "payload": "{{random.alphaNumeric(256)}}"
}

UUID的哈希离散度极高，只要测试发送的总记录数过万，会完全均匀分布到所有shard上，完全满足性能测试的流量均匀要求，不需要额外调优。

方案2：模拟业务Key场景 #

如果测试需要贴合真实业务逻辑，不想用纯随机UUID，给业务字段拼接一个高基数随机前缀打散即可，避免热点：

{
  "userId": "{{random.number(1000000)}}",
  "partitionKey": "{{random.number(1000000)}}-{{userId}}",
  "eventType": "{{random.arrayElement(['click','pay','browse','exit'])}}",
  "payload": "{{random.alphaNumeric(200)}}"
}

这种配置既保留了业务字段逻辑，又通过随机前缀保证了哈希离散度，不会出现流量倾斜。

效果校验 #

配置完成后发送1~2分钟测试流量，直接去Kinesis控制台查看每个shard的写入指标：

• 如果所有shard的PutRecord.Records、PutRecord.Bytes指标差值在10%以内，说明配置符合均匀分发要求
• 如果个别shard的写入指标远高于其他shard，甚至触发WriteProvisionedThroughputExceeded报错，说明Partition Key离散度不足，直接替换为UUID方案即可。

内容的提问来源于stack exchange，提问作者zimmerdimmer