MariaDB 10.3.39日志时间戳格式异常，如何标准化适配ELK解析？

问题背景 #

在RHEL系统中运行MariaDB 10.3.39，my.cnf.d/mariadb-server.cnf配置如下：

[mariadb]
log_error=/var/log/mariadb/mariadb.log

查看错误日志时发现，当时间戳的小时数小于10时，系统会用空格替代前导0，导致日志发送至ELK时出现解析异常。日志示例：

2024-09-26 4:10:08 0 [Note] Server socket created on IP: '0.0.0.0'.
2024-09-26 4:10:08 0 [Note] Reading of all Master_info entries succeeded
2024-09-26 4:10:08 0 [Note] Added new Master_info '' to hash table

当前日期格式变量设置：

MariaDB [(none)]> show variables like '%date%';
+-----------------------------------------+-------------------+
| Variable_name                           | Value             |
+-----------------------------------------+-------------------+
| binlog_direct_non_transactional_updates | OFF               |
| date_format                             | %Y-%m-%d          |
| datetime_format                         | %Y-%m-%d %H:%i:%s |
| log_slave_updates                       | OFF               |
| low_priority_updates                    | OFF               |
| query_cache_wlock_invalidate            | OFF               |
| sql_safe_updates                        | OFF               |
+-----------------------------------------+-------------------+
7 rows in set (0.001 sec)

解答 #

1. 是否为已知问题 #

这是MariaDB 10.3版本错误日志时间戳的已知行为——小时数小于10时用空格填充前导位，而非前导0。该问题在MariaDB 10.4及以上版本已被修复，新版本默认输出带前导0的标准时间戳格式。

2. 时间戳标准化方法 #

针对10.3.39版本，可通过以下方式解决：

• 升级MariaDB版本
  直接升级到10.4或更高版本，新版本默认输出2024-09-26 04:10:08这类带前导0的标准时间戳，无需额外配置。
• 在ELK采集层修正格式
  在Logstash或Filebeat中添加过滤规则，将时间戳中的空格替换为0。例如Logstash的filter配置：

  filter {
    mutate {
      gsub => ["message", "^(\d{4}-\d{2}-\d{2})  (\d):", "\1 0\2:"]
    }
    date {
      match => ["message", "yyyy-MM-dd HH:mm:ss"]
      target => "@timestamp"
    }
  }
  

• 尝试配置MariaDB参数（需验证兼容性）
  在[mariadb]或[mysqld]配置段添加：

  log_timestamps = SYSTEM
  

  注：部分10.3子版本可能对该参数支持有限，需测试确认效果。若无效，不推荐使用日志轮转脚本修正格式（复杂度高，易引发其他问题）。

内容的提问来源于stack exchange，提问作者John Williams