如何在Google Cloud Data Fusion中用SendGrid插件发送管道结束时间告警邮件

直接使用内置运行时元数据变量 #

Data Fusion内置了运行时元数据变量，${runtimeInfo.endTime}可以直接获取管道运行的结束时间戳。使用时需要注意：

• 把Email by SendGrid插件放在管道的最后执行环节（比如BigQuery数据写入步骤之后），确保管道完成所有数据处理后才触发邮件发送。
• 在SendGrid插件的邮件主题或正文中直接插入${runtimeInfo.endTime}，发送时会自动替换为实际的运行结束时间。

自定义格式化结束时间（可选） #

如果需要对结束时间做时区转换、格式调整等处理，可以通过Wrangler步骤生成格式化后的时间并存储为管道属性：

1. 在管道最后添加一个Wrangler处理器，执行以下脚本：

   // 获取当前时间作为结束时间，可按需添加时区转换逻辑
   let formattedEndTime = formatTimestamp(currentTimestamp(), "yyyy-MM-dd HH:mm:ss", "Asia/Shanghai");
   // 将格式化后的时间存入管道自定义属性
   setPipelineProperty('formattedEndTime', formattedEndTime);
   

2. 在SendGrid插件中使用${formattedEndTime}引用这个自定义属性值即可。

关键注意点 #

• 配置SendGrid插件时，可设置触发条件为仅当管道成功运行时发送，避免失败时误发通知。
• 自定义属性的Wrangler步骤必须在SendGrid插件之前执行，确保属性被正确赋值后再调用。

内容的提问来源于stack exchange，提问作者anshuulllll