如何将自定义日志存储到database:多气象站测温日志不可变存储冗余问题咨询
多气象站测温日志的不可变存储实现方案
核心目标拆解
需要同时满足两个核心要求:
- 存储的测温日志绝对不可变,后续气象站的名称、属性变更不能篡改历史日志的语义
- 避免将气象站关联的大体积属性(如全年参考温度)全量复制到每条日志中,造成无意义的存储冗余
具体落地设计
1. 拆分两类数据的存储边界
不要将动态主数据和日志混同存储,通过建表做逻辑隔离:
- 建气象站动态主数据表
station_master:存储气象站的当前最新属性,核心字段包括全局唯一主键station_id、当前站点名称、位置坐标、全年参考温度、运维联系人信息。这类表可以正常执行更新、修改操作,无不可变要求,作为气象站所有属性的权威数据源。 - 建不可变测温日志表
temperature_measure_log:严格遵循“只插入、不修改、不删除”的存储规则,从数据库权限层限制应用账号仅对该表拥有INSERT权限,禁用所有UPDATE、DELETE操作权限,从底层兜底日志的不可变性。每条日志仅存储生成时刻的必要字段:- 日志主键、测温时间戳、实际测温值、采集设备精度
- 关联主数据的
station_id - 仅固化会直接影响日志语义的最小快照字段:也就是日志生成那一刻的站点名称——这是唯一需要从主数据复制到日志里的短字符串,单条占用的存储空间不到100字节,完全不会形成存储冗余。
注意:不需要将全年参考温度这类大体积的配置属性复制到日志行中,这类字段本身不属于测温日志的瞬时语义范畴,没必要为了快照要求做全量拷贝。
2. 慢变维度表解决历史属性追溯问题
如果后续需要追溯某条历史日志对应的气象站当时的完整属性(比如测温时刻站点采用的参考温度数值),不需要依靠日志行的冗余存储实现,给气象站主数据配套一张Type 2型慢变维度表station_attribute_history即可:
- 表核心字段包括:自增主键、
station_id、属性生效起始时间valid_from、属性生效截止时间valid_to、对应时期的站点名称、全年参考温度、位置信息 - 每当气象站的任何属性发生变更(比如修改站点名称、调整参考温度值),就在这张表里新增一条记录,同时将上一条关联时间区间的
valid_to设置为本次变更的时间点,完整记录每个时间区间对应的气象站属性快照 - 查询历史日志的关联属性时,只需用日志的测温时间戳匹配对应的时间区间(匹配规则:
log.measure_time >= history.valid_from AND log.measure_time < history.valid_to),就能精准拿到日志发生时刻的完整气象站属性,全程不需要在日志行里冗余存储大体积字段。
3. 不可变性的兜底校验
除了数据库权限限制,还可以配套两层校验强化合规性:
- 对每一批写入日志表的数据生成哈希校验值,存在独立的审计表中,一旦后续有人绕过权限修改日志数据,通过校验值比对就能立刻发现篡改行为
- 日志表优先采用数据库原生支持不可变存储的表结构(比如带防修改约束的分区表、列存引擎原生不支持单条记录随意修改的表类型),从存储引擎层面杜绝随意修改日志的可能
内容的提问来源于stack exchange,提问作者Jakub Znamenáček
相关产品推荐
相关产品推荐

