如何通过AWS控制台查询经AWS Data Pipeline载入AWS Redshift表的记录数
能不能通过AWS控制台查询Data Pipeline载入到Redshift表的总记录数
完全可以,常用的查询路径有两个,按需选择即可:
路径1:直接查询Redshift表的总记录数
- 登录AWS控制台后进入Redshift服务页,打开左侧导航栏的「查询编辑器v2」
- 绑定你要查询的目标Redshift集群/无服务器工作组,完成数据库身份验证
- 选择对应的库和Schema后,执行语句
SELECT COUNT(*) FROM 你的目标表名;即可得到当前表的全部记录总数。
如果需要查询某一次Data Pipeline任务单独载入的记录数,需要你提前在Pipeline配置中给写入的数据加了批次ID、入数时间戳这类标识字段,在COUNT查询时加上对应过滤条件即可。
路径2:通过Data Pipeline运行日志查询单次载入数量
- 进入AWS Data Pipeline控制台,找到对应数据同步的Pipeline任务
- 进入你要查询的历史运行实例的「执行详情」页面,定位到写入Redshift的活动步骤
- 打开该步骤的运行日志,成功执行的写入任务会在日志中明确打印本次插入的有效记录数、丢弃/失败的记录数等统计信息。
补充说明:如果你的Data Pipeline配置的是全量覆盖写入模式,那么Redshift表当前的总记录数就是最近一次Pipeline载入的数量;如果配置的是追加写入模式,只能通过带过滤条件的SQL或者运行日志拿到单次任务的载入数量。
内容的提问来源于stack exchange,提问作者Keerthika Koka
相关产品推荐
相关产品推荐

