基于RStudio的DW查询响应时间结构化日志及存储配置需求

核心思路 #

通过封装查询函数与日志工具的组合，自动完成查询时间、时长的记录，同时配置日志滚动策略（按文件大小、保留天数限制），无需每次手动编写时间记录代码。

推荐工具与配置 #

1. 选用logger包替代log4r #

logger支持结构化JSON日志输出，内置滚动文件配置，可同时限制单日志文件大小和保留天数，比log4r更适配结构化日志需求。

2. 封装带日志的查询函数 #

将原有的GetQueryResult查询逻辑与日志记录整合，调用时只需传入SQL和输入ID，自动处理时间统计与日志输出。

完整代码实现 #

# 安装并加载依赖包
if (!require("logger")) install.packages("logger")
if (!require("jsonlite")) install.packages("jsonlite")
library(logger)
library(jsonlite)
library(RODBC)

# 配置滚动日志：单文件最大100MB，保留最近7天的日志
log_appender(
  appender_file(
    "query_logs.json",
    max_size = 100 * 1024^2,  # 100MB
    max_files = 7,            # 保留7天日志
    rotate_on_size = TRUE
  )
)

# 设置日志格式为结构化JSON
log_layout(layout_json())

# 封装带自动日志的查询函数
GetQueryWithLog <- function(sql_query, input_id) {
  start_time <- Sys.time()
  
  # 执行查询（保留原GetQueryResult的ODBC逻辑）
  conn <- odbcConnect("your_db_dsn")  # 替换为你的数据库DSN或连接参数
  query_result <- tryCatch(
    sqlQuery(conn, sql_query),
    error = function(e) {
      # 记录错误日志
      log_error(
        sprintf("查询失败，ID: %s", input_id),
        start_time = format(start_time, "%Y-%m-%d %H:%M:%S"),
        end_time = format(Sys.time(), "%Y-%m-%d %H:%M:%S"),
        duration_secs = round(difftime(Sys.time(), start_time, units = "secs"), 2),
        error_msg = e$message,
        sql_query = sql_query
      )
      odbcClose(conn)
      stop(e)
    }
  )
  odbcClose(conn)
  
  # 记录成功日志
  end_time <- Sys.time()
  duration <- round(difftime(end_time, start_time, units = "secs"), 2)
  
  log_info(
    sprintf("查询成功，ID: %s", input_id),
    start_time = format(start_time, "%Y-%m-%d %H:%M:%S"),
    end_time = format(end_time, "%Y-%m-%d %H:%M:%S"),
    duration_secs = duration,
    sql_query = sql_query
  )
  
  return(query_result)
}

# 使用示例
sql <- paste0("select C1, C2 from DB WHERE ID = ", input$ID)
query_result <- GetQueryWithLog(sql, input$ID)

方案优势 #

• 自动时间记录：无需手动定义start_time/end_time，函数内部自动完成时间统计
• 结构化日志：JSON格式日志便于后续批量分析（如统计平均查询时长、失败率）
• 日志容量控制：通过max_size和max_files自动限制日志大小和保留周期，避免文件膨胀
• 错误排查支持：自动捕获查询错误并记录详细信息，快速定位问题

日志文件说明 #

• 日志文件名为query_logs.json，单文件超过100MB时自动生成新文件
• 自动保留最近7天的日志，旧日志文件会被自动清理
• 每条日志包含：日志级别、记录时间、查询开始/结束时间、时长、输入ID、SQL语句（成功时）或错误信息（失败时）

内容的提问来源于stack exchange，提问作者PikaPika