如何在BigQuery中实现数据属性值超阈值时自动触发邮件通知

以下是针对产品Quantity指标超过1000时自动发邮件通知需求的可落地实现方案，无需额外第三方工具，基于谷歌云原生服务即可完成配置：

1. 前置准备：编写阈值校验SQL #

首先编写用于判断指标是否超限的BigQuery查询语句，示例如下：

SELECT
  product_id,
  product_name,
  Quantity,
  CURRENT_TIMESTAMP() AS exceed_time
FROM `你的项目ID.你的数据集名.你的产品数据表名`
WHERE Quantity > 1000
-- 若只需校验最近同步的增量数据，可额外增加时间过滤条件，例如：
-- AND update_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)

查询如果返回非空结果，即代表存在指标超限的产品数据

2. 两种可选实现路径 #

路径一：无代码轻量方案（BigQuery预定查询+日志告警） #

适合需求简单、不需要自定义告警内容的场景：

• 进入BigQuery控制台，新建预定查询，粘贴上述校验SQL，设置任务执行频率（可根据需求配置为每15分钟/每1小时/每天等粒度）
• 配置预定查询的输出规则：当查询有结果返回时，将结果写入专属告警表，或者直接将查询执行结果输出到Cloud Logging
• 进入Cloud Logging控制台新建告警规则，触发条件设置为：匹配到「BigQuery预定查询返回非空结果」的日志时触发
• 告警通知渠道选择「邮件」，添加所有需要接收通知的目标用户邮箱即可

路径二：高自定义方案（Cloud Scheduler + Cloud Function） #

适合需要自定义告警内容、后续需要扩展其他通知渠道（如企业微信、Slack）的场景：

• 新建Cloud Function函数，核心逻辑为调用BigQuery执行上述校验SQL，判断是否存在超限数据，若存在则拼接告警内容发送邮件，Python核心代码示例如下：

from google.cloud import bigquery
import smtplib
from email.mime.text import MIMEText

def check_quantity_alert(event, context):
    # 初始化BigQuery客户端
    bq_client = bigquery.Client()
    # 执行阈值校验SQL
    query_job = bq_client.query("""
        SELECT product_id, product_name, Quantity FROM `你的项目ID.你的数据集名.你的产品数据表名`
        WHERE Quantity > 1000 AND update_time >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 HOUR)
    """)
    exceed_rows = list(query_job.result())

    if len(exceed_rows) > 0:
        # 拼接告警邮件内容
        mail_content = "【告警】以下产品Quantity指标超出阈值1000：\n"
        for row in exceed_rows:
            mail_content += f"产品ID：{row.product_id} | 产品名称：{row.product_name} | 当前Quantity值：{row.Quantity}\n"
        
        # 配置邮件参数
        msg = MIMEText(mail_content)
        msg["Subject"] = "BigQuery Quantity指标超限告警"
        msg["From"] = "你的发件邮箱地址"
        msg["To"] = "收件人邮箱1,收件人邮箱2,收件人邮箱3"

        # 发送邮件（以SMTP服务为例）
        with smtplib.SMTP_SSL("smtp.你的邮箱服务商域名", 465) as smtp_server:
            smtp_server.login("你的发件邮箱地址", "你的邮箱授权码")
            smtp_server.send_message(msg)

• 进入Cloud Scheduler控制台新建定时任务，设置执行频率，触发目标选择上述Cloud Function即可

3. 生效验证 #

• 在测试环境的产品表中插入一条Quantity为1001的测试数据，手动触发一次任务执行
• 确认目标邮箱能正常收到包含超限数据明细的告警邮件后，即可切换到生产环境正式运行

内容的提问来源于stack exchange，提问作者D.jain