Google Cloud集中式监控方案相关技术问题咨询

背景
我们拥有单个组织,在Google Cloud下设有不同文件夹,每个文件夹包含一个项目。我们希望在GCP中搭建集中式监控方案,且已部署图中所示架构。
术语说明
- "蓝色"监控代表我们的集中式项目,即Scoping project
- "黄色"其他所有模块均为Monitoring projects
咨询问题及解答
1. 在"Scoping project"中,能否在单个仪表板或界面中查看并查询日志(已知可独立查看该项目下各项目或资源的日志)?
可以。通过GCP的日志资源管理器,你可以在Scoping project中创建跨项目的日志查询,将所有Monitoring projects的日志聚合到同一个界面查看。同时,也可以基于这些跨项目查询创建自定义仪表板,实现单个界面集中展示和查询所有关联项目的日志。
2. 能否从"Scoping project"将日志流转至Datadog等第三方集成服务?
可以。GCP日志路由器支持将日志导出到第三方服务,你可以在Scoping project中配置对应的日志接收器(Sink),将集中后的日志流转到Datadog这类支持GCP日志集成的第三方平台。
3. 此类第三方集成能否在Datadog等外部工具中实现日志实时流转?
可以实现近实时流转。GCP日志导出的延迟通常在数秒到数分钟范围内,结合Datadog针对GCP日志的集成配置,能够在外部工具中近乎实时地接收并展示来自Scoping project的日志。
4. 由于日志已集中至"Scoping project",是否需在该项目下创建"Log Router Sink"和"Log Router Storage"以实现向第三方集成工具流转日志?
是的。需要在Scoping project中创建日志路由器接收器(Log Router Sink),指定目标为Datadog等第三方服务对应的端点或集成方式。如果需要先暂存日志再导出,也可以配置对应的存储(如Cloud Storage、BigQuery)作为中转,但直接导出到第三方时,部分集成无需额外配置Log Router Storage,具体取决于第三方平台的集成要求。
5. 若新增项目,是否需在新增的"Monitoring project"中创建"Log Router Sink"和"Log Router Storage",以将日志流转至"Scoping project"?
是的。为了让新增的Monitoring project日志能集中到Scoping project,需要在该新项目中配置日志路由器接收器,将日志导出到Scoping project的日志存储或直接关联到Scoping project的日志聚合机制中。无需额外创建Log Router Storage,除非你需要在本地暂存日志后再导出,通常直接配置Sink指向Scoping project的日志目标即可。
内容的提问来源于stack exchange,提问作者Jagdish0886

