主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。作者:刘卯银|火山引擎日志系统架构师谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,就需要一套统一的日志系统,对日志进行采集、...
> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日...
作者:刘卯银|火山引擎日志系统架构师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,...
之后进入到腾讯云公网负载均衡,负载均衡后管理到TKE集群的NodePort实现流量接入;出口通过NAT网关实现流量分发。其他服务:其他支撑服务,如堡垒机,日志、监控等其他应用web通过堡垒机配合弹性公网IP/NAT网关实现流量接入与分发;### 3.2 东西流量在容器集群内,服务通过Kubernetes API-Server获取后端一组Service Pod真实IP,业务POD通过Calico网络进行POD与POD直接流量通讯。## 四 安全管控### 4.1 SmartOps安全全景![](h...
本文档介绍使用 STS 临时安全令牌访问日志服务的配置步骤。 典型场景安全令牌服务(STS)提供的临时安全令牌主要用于授权第三方临时访问日志服务,例如通过日志服务 SDK 直接上传日志数据到日志服务的场景中,出于安全考虑,不建议将火山引擎账号或 IAM 用户的访问密钥保存在客户端代码中。此时可以由应用的服务端通过火山引擎 STS 服务获取临时安全令牌,将临时安全令牌下发给客户端,为第三方自建应用或 IAM 用户颁发一个自定义时效和...
> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。**作者:刘卯银|火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日...
作者:刘卯银|火山引擎日志系统架构师> 本文整理自火山引擎开发者社区 Meetup 第八期演讲,主要介绍了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,...
会顺带发起一个 Get 请求到服务端,这个时候就会把参数传给服务端。日志服务通过 Web Tracking 功能提供轻量级的日志采集方案,通过 HTTP Get 请求将数据上传到日志服务的服务端,支持浏览器、JS、Image 等标签埋点,适用于各种无需任何验证的静态网页、广告投放、宣传资料和移动端数据采集。通过 WebTracking 接口写入日志数据时,日志服务默认在原始日志中增加以下预留字段: 预留字段 说明 clientAddr 通过 Webtracking 方式写入...
Go Producer 用于海量数据场景下快速发送日志数据。本文档通过示例代码演示如何通过 Go Producer 采集日志数据。 前提条件已安装日志服务 Go SDK。更多信息,请参见安装 Go SDK。 已执行以下命令安装 proto 依赖包... func main() { // 初始化客户端,推荐通过环境变量动态获取火山引擎密钥等身份认证信息,以免 AccessKey 硬编码引发数据安全风险。详细说明请参考https://www.volcengine.com/docs/6470/1166455 // 使用 STS 时...
Java Producer 用于海量数据场景下快速发送日志数据。本文档通过示例代码演示如何通过 Java Producer 采集日志数据。 前提条件已安装日志服务 Java SDK。更多信息,请参见安装 Java SDK。 已添加 VOLCENGINE_ACCESS... 写入日志 场景说明本文档通过示例代码演示如何通过 SDK 写入日志数据到日志服务。Java SDK 支持通过以下方式写入日志: 写入方式 说明 PutLogs 不推荐。日志服务支持通过 PutLogs 接口同步请求的方式上传日志...
客户端浏览器信息。 默认 main 格式的日志样例如下: Nginx 192.168.1.1 - - [34/Sep/2022:12:23:12 +0800] "POST /abc.com.testfile HTTP/1.0" 0.000 129 200 43912736 "-" "Wget/1.11.4 Red Hat modified" 预留字段在 NGINX 配置模式下,日志服务会在 LogCollector 采集到的日志数据中增加以下元数据字段,并默认为其创建索引。 预留字段 说明 __path__ 原始日志文件目录及文件名。 __source__ 原始日志文件所在服务器的 IP...
端服务器,部分地域支持主备可用区容灾。 负载均衡同地域主备可用区容灾配置 调度算法 监听器提供加权轮询(WRR)、加权最小连接数(WLC)和源地址哈希(SH)三种调度算法。 调度算法原理 健康检查 监听器的健康检查功能会检查后端服务器的运行状况。当探测到后端服务器运行状况不佳时,会停止向其发送流量,并将流量转发给其他正常运行的后端服务器。 健康检查概述 访问控制 CLB实例支持添加黑名单和白名单机制,灵活控制来自客户端的访问...
操作场景您可以通过访问日志功能获取七层负载均衡(HTTP和HTTPS监听器)详细的访问日志记录,包括客户端IP地址、服务器响应等,便于您分析客户端用户行为、了解客户端用户的地域分布、进行问题排查等。 说明 华东1(南通... 重新单击“配置访问日志”按钮。 在“配置访问日志”页面,开启访问日志,选择已创建的存储桶或者新建存储桶,如下图所示。 单击“确定”,完成访问日志配置。开启访问日志功能后,日志文件将定期上传至您指定的存储桶...