Airflow执行PostgreSQL样本数据采集作业时遇系统指标不支持报错
解决建议
首先明确:你看到的{system.py:65} INFO - System metrics not support for postgresql. Skipping processing.是INFO级别的日志提示,并非错误,它仅说明当前Profiler工具不支持采集PostgreSQL的系统指标,因此跳过该环节,不会直接影响样本数据的获取流程。
针对你的场景,可按以下步骤处理:
- 先确认核心目标是否达成:检查Airflow任务的最终状态,以及你指定的样本数据输出位置(如本地路径、存储桶或目标数据表)是否已生成预期的样本数据。如果数据正常生成,该提示完全可以忽略。
- 若样本数据未生成,重点排查以下问题:
- 验证PostgreSQL连接配置:检查Airflow中PostgreSQL连接的主机、端口、用户名、密码、数据库名是否正确,确保Airflow Worker节点能正常访问PostgreSQL实例。
- 核对Profiler作业配置:确认是否正确指定了需要采样的数据库、表列表,以及样本数据的输出格式、存储路径等参数。
- 查看完整任务日志:除了这条INFO信息,重点关注日志中ERROR或WARNING级别的内容,这些才是导致任务失败或数据未生成的核心原因。
- 若希望消除该提示:可调整Profiler工具的配置,关闭系统指标采集功能(具体操作取决于你使用的Profiler组件,比如Airflow自带的Profiler或第三方插件,找到对应配置项禁用系统指标采集即可)。
内容的提问来源于stack exchange,提问作者Raju
相关产品推荐
相关产品推荐

