如何在Logstash JDBC输入中自动替换表名为当日日期

针对你需要自动将SQL查询中的表名替换为当日日期格式的需求，以下是几种可行的实现方案：

方案1：直接使用Logstash日期格式化占位符 #

Logstash的JDBC插件支持在statement中使用sprintf风格的日期占位符，直接生成当日日期格式来替换表名中的日期部分，这是最简单的实现方式。

修改后的配置：

input {
  jdbc {
        jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/sqljdbc42.jar"
        jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
        jdbc_connection_string => "..."
        jdbc_user => "..."
        jdbc_password => "..."
        # 用%{+yyyy_MM_dd}生成当日的年_月_日格式，匹配表名的日期后缀
        statement => "SELECT ... FROM dbtest_2022.dbo.tbshop2_%{+yyyy_MM_dd}"
        schedule => "*/14 * * * *"
        add_field => { "tag" => "mssql-test" }
        type => "mssql"
    }
}

%{+yyyy_MM_dd}会自动解析为当日的年_月_日格式，完全匹配你表名的日期后缀规则。

方案2：SQL Server动态SQL拼接表名 #

如果需要更灵活的日期逻辑（比如取前一天的表、特殊日期偏移等），可以利用SQL Server的动态SQL功能，在SQL内部拼接出当日的表名并执行查询。

修改后的statement内容：

DECLARE @tableName NVARCHAR(100) = N'dbtest_2022.dbo.tbshop2_' + CONVERT(NVARCHAR(10), GETDATE(), 111);
-- 将日期格式中的斜杠替换为下划线，匹配表名格式
SET @tableName = REPLACE(@tableName, '/', '_');
DECLARE @sql NVARCHAR(MAX) = N'SELECT ... FROM ' + @tableName;
EXEC sp_executesql @sql;

• GETDATE()获取当前服务器日期
• CONVERT(..., 111)将日期转为yyyy/mm/dd格式
• REPLACE把斜杠替换为下划线，拼接成符合要求的表名
• sp_executesql执行动态生成的查询语句

方案3：Logstash Ruby预处理器生成表名 #

如果需要更复杂的自定义逻辑（比如根据业务规则调整日期、多环境适配等），可以用Logstash的Ruby预处理器提前生成表名字段，再在SQL中引用。

修改后的配置：

input {
  jdbc {
        jdbc_driver_library => "/usr/share/logstash/logstash-core/lib/jars/sqljdbc42.jar"
        jdbc_driver_class => "com.microsoft.sqlserver.jdbc.SQLServerDriver"
        jdbc_connection_string => "..."
        jdbc_user => "..."
        jdbc_password => "..."
        # 引用预先生成的table_name字段
        statement => "SELECT ... FROM %{table_name}"
        schedule => "*/14 * * * *"
        add_field => { "tag" => "mssql-test" }
        type => "mssql"
        # 用Ruby脚本生成当日表名
        pre_process => {
          ruby => "
            require 'date'
            today = Date.today.strftime('%Y_%m_%d')
            event.set('table_name', 'dbtest_2022.dbo.tbshop2_' + today)
          "
        }
    }
}

Ruby脚本会在JDBC查询执行前生成符合格式的表名字段，SQL语句直接引用该字段即可。

关于你之前思路的说明 #

你提到的两次查询获取表ID再查询的方式不可行，因为Logstash JDBC插件无法直接将第一个查询的结果作为第二个查询的表名使用，上述方案的实现效率和可行性都更高。

内容的提问来源于stack exchange，提问作者user19820408