如何分析分布式系统日志？有哪些类似shiviz的侵入式可视化工具？

分布式系统（如Raft节点集群）出现异常行为时，常规排障手段只能靠逐行梳理日志还原请求、数据流的跨节点逻辑走向，受分布式架构本身跨节点部署、时序乱序、多状态副本等特性影响，这类分析的人力成本和出错率都很高。你提到的shiviz可基于日志实现请求、数据流可视化，但使用时需要修改源代码预埋符合规则的日志标记才能正常生成交互视图，属于典型的侵入式观测工具，同类型的侵入式工具主要有以下几类：

• 手动埋点模式的分布式追踪套件（以Jaeger、Zipkin的手动埋点版本为代表）：需要在业务代码里手动注入TraceID、SpanID追踪上下文，跨节点通信时要把追踪标识塞进请求头、RPC元数据中完成链路透传，追踪数据上报后可以直接生成跨节点的请求调用瀑布图、节点交互时序图。这类工具对Raft这类共识协议的日志追加、投票、选举流程追踪适配性很好，如果需要关联自定义业务日志，只需要在埋点时把日志内容绑定到对应Span即可，不需要额外做复杂的日志正则匹配。
• 原生Dapper框架：是最早规模化落地的侵入式分布式流可视化方案，要求应用代码在请求入口、跨节点调用点、关键状态变更点手动插入追踪埋点，自动聚合关联同一条请求链路的所有节点事件，天生适配多副本分布式系统的流走向分析，可以直接定位到某条Raft日志复制请求在哪个节点出现了丢包、高延迟、状态校验失败等问题。
• 团队自研自定义日志可视化工具：多数有大规模分布式系统运维需求的团队都会内部落地这类工具，统一要求代码输出的跨节点请求、状态变更日志必须携带request_id、node_id、event_type三个固定字段，日志统一收集后不需要做复杂正则解析，直接按字段聚合就能生成和shiviz效果一致的节点交互时序图。这类工具的埋点规则可以完全贴合自身系统的业务逻辑，比如针对Raft节点可以单独标记投票请求、日志追加响应、领导者切换这类特殊事件，在可视化视图中做高亮区分，排障效率更高。
• X-Trace：面向分布式网络服务设计的侵入式追踪工具，需要修改应用代码在关键事件点插入标注，不仅能还原请求的跨节点流向，还能把节点内部的函数调用、状态变更和跨节点事件做关联，分析Raft异常时可以直接看到某条请求到达节点后，内部状态机处理、日志落盘、响应返回的全流程卡点位置。

注：这类侵入式工具的核心优势是可视化准确率高、自定义程度强，缺点就是首次接入时需要逐处修改代码加埋点，后续如果系统逻辑迭代也要同步更新埋点规则，维护成本比无侵入工具高。

内容的提问来源于stack exchange，提问作者Alliswell