为何LogDNA仅将部分数据备份至Amazon S3？

同步配置类问题 #

• 采样规则生效：若LogDNA的S3导出任务开启了采样配置，平台会按设定比例只导出部分日志，不会全量同步，该配置默认不会在LogDNA的日志查询页做特殊提示，需单独核查导出规则的采样参数。
• 过滤规则误配置：S3导出规则若设置了日志级别、来源服务、关键词等过滤条件，不符合规则的日志会被直接拦截，不会同步到S3存储桶。
• 时间戳匹配偏差：LogDNA的日志时间分为日志生成时间、平台接收时间两类，若导出规则按接收时间划分同步窗口，部分传输延迟的日志会晚于你查询的整点窗口到达平台，被划分到下一个同步周期，不会出现在对应时段的S3文件中。

传输与写入故障类问题 #

• 限流与重试超限丢弃：当LogDNA导出速率超过S3桶的写入限流阈值，或导出过程中出现临时网络波动，超出最大重试次数的日志块会被直接丢弃，平台默认不会自动补推这部分数据。
• 分块写入未完成：LogDNA导出到S3是按固定时间/大小分块生成文件，若你查询时对应时段的最后一个分块还在写入、或写入失败生成了损坏对象，就会缺失这部分日志。可检查对应S3前缀下是否存在.tmp后缀的临时文件，或大小明显低于同周期其他文件的异常对象。

日志处理与存储规则类问题 #

• 敏感数据拦截丢弃：若LogDNA侧配置了敏感数据识别处理规则，命中策略的日志如果设置了「匹配即丢弃」的处理逻辑，会直接不进入S3同步链路。
• 冷归档存储不可读：若S3对应存储桶配置了自动归档规则，部分新写入的日志如果直接触发归档到Glacier等冷存储类别，常规S3查询操作无法直接读取冷归档对象，需先执行恢复操作才能查看。

内容的提问来源于stack exchange，提问作者János