AWS Kinesis Agent无法解析记录问题求助

我之前碰到过完全类似的情况，给你几个实用的排查方向和解决办法：

1. 路径权限的深层验证 #

虽然你把文件权限改成了755，但Kinesis Agent默认以aws-kinesis-agent用户运行，要确保这个用户能完整遍历到目标目录。比如可以执行以下命令测试：

sudo -u aws-kinesis-agent ls /home/ec2-user/workspace/connect_s3/documents/

如果命令报错，说明父目录（比如/home/ec2-user）的权限限制了Agent的访问，需要给父目录添加其他用户的执行权限：

chmod o+x /home/ec2-user

另外注意：Agent默认只监控启动后新创建/追加内容的文件，如果目标文件是在Agent启动前就存在的，它不会主动读取。可以试试启动Agent后，新建一个.log文件并写入内容，再观察日志变化。

2. 配置文件的细节检查 #

• 确认filePattern是否匹配实际文件名：Linux系统大小写敏感，比如test.Log不会被*.log匹配；如果文件没有.log后缀也会被忽略。
• 你配置里硬编码了AWS密钥，但既然已经给EC2附加了IAM策略，建议移除配置中的awsAccessKeyId和awsSecretAccessKey字段——硬编码密钥可能和IAM角色权限冲突，或者密钥本身存在问题。确保IAM角色包含kinesis:PutRecord和kinesis:PutRecords权限，然后重启Agent。

3. 重置Agent的文件追踪状态 #

Kinesis Agent会把已处理文件的状态存在/var/lib/aws-kinesis-agent/目录下，如果之前的文件被标记为已处理，即使重新添加也不会被读取。可以按以下步骤重置：

sudo service aws-kinesis-agent stop
sudo rm -rf /var/lib/aws-kinesis-agent/*
sudo service aws-kinesis-agent start

之后再创建新的日志文件测试。

4. 深挖日志细节 #

你看到的是汇总日志，建议查看更详细的日志条目，搜索是否有隐藏的错误：

grep -A 10 -B 10 "Tailer" /var/log/aws-kinesis-agent/aws-kinesis-agent.log

比如可能会发现“Permission denied”“File not found”这类被汇总日志掩盖的具体问题。另外，控制台流显示的活动可能只是Agent的心跳请求，并不代表实际记录被发送，还是要以Agent的日志和实际的Kinesis记录为准。

内容的提问来源于stack exchange，提问作者PickleRick