InfluxDB 1.x如何批量对多表多列应用CQ与RP实现多层降采样？

内置功能说明 #

InfluxDB 1.x没有原生支持批量对多表多列自动生成RP和CQ的功能。它的RP和CQ均需针对单个measurement（表）或明确指定的字段定义，不存在内置的批量遍历所有表/字段的机制。

优化替代方案 #

虽然bash脚本是可行方向，但可以通过以下方式让实现更简洁合理：

1. 利用元数据自动生成配置 #

通过查询InfluxDB的元数据获取所有表和字段信息，动态生成对应的RP和CQ语句：

• 查询目标数据库的所有表：

SHOW MEASUREMENTS ON <你的数据库名>

• 查询指定表的所有字段：

SHOW FIELD KEYS ON <你的数据库名> FROM <表名>

• 基于上述结果批量生成配置：
  • 无需为每个表单独创建RP，可统一创建全局RP复用：

    # 日级RP（保留1天，默认写入）
    CREATE RETENTION POLICY daily_rp ON <你的数据库名> DURATION 1d REPLICATION 1 DEFAULT
    # 周级RP（保留4周）
    CREATE RETENTION POLICY weekly_rp ON <你的数据库名> DURATION 4w REPLICATION 1
    # 月级RP（保留12个月）
    CREATE RETENTION POLICY monthly_rp ON <你的数据库名> DURATION 12mo REPLICATION 1
    # 年级RP（保留10年）
    CREATE RETENTION POLICY yearly_rp ON <你的数据库名> DURATION 10y REPLICATION 1
    

  • 针对每个表生成三层降采样CQ（以均值聚合为例，可根据需求替换为max/sum等）：

    # 日转周CQ
    CREATE CONTINUOUS QUERY cq_<表名>_daily_to_weekly ON <你的数据库名>
    BEGIN
      SELECT mean(*) INTO <你的数据库名>.weekly_rp.<表名>_weekly
      FROM <你的数据库名>.daily_rp.<表名>
      GROUP BY time(1w), *
    END
    
    # 周转月CQ
    CREATE CONTINUOUS QUERY cq_<表名>_weekly_to_monthly ON <你的数据库名>
    BEGIN
      SELECT mean(*) INTO <你的数据库名>.monthly_rp.<表名>_monthly
      FROM <你的数据库名>.weekly_rp.<表名>_weekly
      GROUP BY time(1mo), *
    END
    
    # 月转年CQ
    CREATE CONTINUOUS QUERY cq_<表名>_monthly_to_yearly ON <你的数据库名>
    BEGIN
      SELECT mean(*) INTO <你的数据库名>.yearly_rp.<表名>_yearly
      FROM <你的数据库名>.monthly_rp.<表名>_monthly
      GROUP BY time(1y), *
    END
    

2. 简化CQ逻辑 #

InfluxQL支持对表内所有字段一次性应用聚合函数（如mean(*)），这样单个CQ就能处理该表的所有字段，将CQ数量从数千条直接降到与表数量一致，大幅减少配置量。

3. 优雅的bash脚本实现 #

将上述逻辑封装成带基础参数配置的bash脚本，自动完成全量配置：

#!/bin/bash
# 配置参数
DB_NAME="librenms"
INFLUX_HOST="localhost"
INFLUX_PORT="8086"
# 若开启认证，取消下方注释并填写信息
# INFLUX_USER="your_username"
# INFLUX_PASS="your_password"

# 创建全局保留策略
influx -host $INFLUX_HOST -port $INFLUX_PORT \
  -execute "CREATE RETENTION POLICY daily_rp ON $DB_NAME DURATION 1d REPLICATION 1 DEFAULT"
influx -host $INFLUX_HOST -port $INFLUX_PORT \
  -execute "CREATE RETENTION POLICY weekly_rp ON $DB_NAME DURATION 4w REPLICATION 1"
influx -host $INFLUX_HOST -port $INFLUX_PORT \
  -execute "CREATE RETENTION POLICY monthly_rp ON $DB_NAME DURATION 12mo REPLICATION 1"
influx -host $INFLUX_HOST -port $INFLUX_PORT \
  -execute "CREATE RETENTION POLICY yearly_rp ON $DB_NAME DURATION 10y REPLICATION 1"

# 获取所有表名（过滤掉表头和分隔线）
MEASUREMENTS=$(influx -host $INFLUX_HOST -port $INFLUX_PORT \
  -execute "SHOW MEASUREMENTS ON $DB_NAME" | grep -v "name" | grep -v "----")

# 遍历表生成CQ
for MEASUREMENT in $MEASUREMENTS; do
  # 日转周
  influx -host $INFLUX_HOST -port $INFLUX_PORT \
    -execute "CREATE CONTINUOUS QUERY cq_${MEASUREMENT}_daily_to_weekly ON $DB_NAME BEGIN SELECT mean(*) INTO $DB_NAME.weekly_rp.${MEASUREMENT}_weekly FROM $DB_NAME.daily_rp.$MEASUREMENT GROUP BY time(1w), * END"
  # 周转月
  influx -host $INFLUX_HOST -port $INFLUX_PORT \
    -execute "CREATE CONTINUOUS QUERY cq_${MEASUREMENT}_weekly_to_monthly ON $DB_NAME BEGIN SELECT mean(*) INTO $DB_NAME.monthly_rp.${MEASUREMENT}_monthly FROM $DB_NAME.weekly_rp.${MEASUREMENT}_weekly GROUP BY time(1mo), * END"
  # 月转年
  influx -host $INFLUX_HOST -port $INFLUX_PORT \
    -execute "CREATE CONTINUOUS QUERY cq_${MEASUREMENT}_monthly_to_yearly ON $DB_NAME BEGIN SELECT mean(*) INTO $DB_NAME.yearly_rp.${MEASUREMENT}_yearly FROM $DB_NAME.monthly_rp.${MEASUREMENT}_monthly GROUP BY time(1y), * END"
done

注意事项 #

• 先在测试环境验证脚本，确认聚合逻辑和RP保留时长符合需求后再部署到生产。
• 若部分表需要特殊降采样规则（如某些字段用最大值而非均值），可在循环中加入条件判断单独处理。
• 确保InfluxDB客户端能正常连接目标实例，必要时添加认证参数。

内容的提问来源于stack exchange，提问作者PietiePoo