如何通过Shell控制台实时监控AWS Kinesis流的数据接收情况？

当然可以实现类似Redis那种Shell实时输出的效果！AWS CLI本身没有直接的"monitor"命令，但我们可以通过组合几个Kinesis相关命令，配合Shell循环来达到实时验证数据是否被接收的目的。

具体步骤如下： #

1. 获取分片迭代器（Shard Iterator）
   首先需要针对目标数据流的分片获取一个迭代器，用来后续拉取记录。这里以TRIM_HORIZON模式为例（会从分片的最早记录开始拉取，如果想只看最新的，可以用LATEST）：

   # 替换成你的数据流名称和分片ID
   STREAM_NAME="your-kinesis-stream-name"
   SHARD_ID="shardId-000000000000"
   
   SHARD_ITERATOR=$(aws kinesis get-shard-iterator \
       --stream-name $STREAM_NAME \
       --shard-id $SHARD_ID \
       --shard-iterator-type TRIM_HORIZON \
       --query 'ShardIterator' \
       --output text)
   

2. 循环拉取并实时输出记录
   用Shell的while循环不断调用get-records命令，同时解析并打印出解码后的数据（Kinesis存储的数据是Base64编码的）：

   # 需要提前安装jq工具来解析JSON输出
   while true; do
       # 拉取记录
       RESPONSE=$(aws kinesis get-records --shard-iterator $SHARD_ITERATOR)
       # 解码并打印每条记录的原始数据
       echo "$RESPONSE" | jq -r '.Records[] | .Data | @base64d'
       # 更新分片迭代器为下一次拉取用的
       SHARD_ITERATOR=$(echo "$RESPONSE" | jq -r '.NextShardIterator')
       # 控制拉取间隔，避免请求过于频繁（可根据需求调整）
       sleep 1
   done
   

额外说明： #

• 如果你的数据流有多个分片，需要为每个分片单独执行上述循环，或者编写脚本批量处理。
• jq是非常实用的JSON解析工具，如果没有安装，可以用系统包管理器安装（比如apt install jq或brew install jq）。
• 若想只监控新产生的记录，把第一步的--shard-iterator-type改成LATEST即可。

这样就能在Shell控制台里实时看到Kinesis接收到的数据，和你想要的Redis实时输出效果类似啦！

内容的提问来源于stack exchange，提问作者Julian