火山引擎日志系统架构师**谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包... API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需求...
主要分享了火山引擎 TLS 日志服务的架构实现、设计优化以及实践案例。作者:刘卯银|火山引擎日志系统架构师谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业务使用的云产品产生的日志。要管理诸多类型的日志,就需要一套统一的日志系统,对日志进行采集、...
谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业... API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需...
服务器配置(物理机or虚拟机or云主机)还可选择更高配些! Ok,now,有了这些前提条件,接下来开始**安装部署**我们**译点笔记应用**-所需要的**服务组件**: ## 系统环境准备**系统环境**首先,在云后台-防火墙配置好需要外网访问的端口(IP+PORT解析-公网IP或域名外网访问)。![image.png](https://p6-juejin.byteimg.com/tos-cn-i-k3u1fbpfcp/4f23854caf6443fb9fcb5312ceeb478f~tplv-k3u1fbpfcp-5.jpeg?)![image.pn...
调用 DescribeLiveLogData 接口,查询指定时间范围内指定日志类型的离线日志文件及下载信息。 注意事项使用限制:支持查询指定域名(包含已删除域名)下产生的日志文件信息。 支持查询最近 31 天内产生的日志数据。 支... 错误码下表仅列出本接口特有的错误码。更多信息请参见公共错误码获取详细信息。 状态码 错误码 错误信息 说明 200 CommonErr - 未分类错误。建议重试,如果仍返回该错误码,请联系技术支持。 400 InvalidParam - 输入...
本接口支持通过指定服务 ID 、域名和地域等获取查询离线日志下载链接。您可通过下载链接获取离线日志,日志字段说明请参考日志字段说明与示例。 使用限制每秒最多可提交 10 个 API 请求。 系统仅保留最近 30 天的访... 请求参数以下请求参数列表仅列出了该接口的部分公共参数,完整公共参数列表见公共参数。 Query参数 类型 是否必选 描述 Action String 是 接口名称。 Version String 是 接口版本。veImageX 当前 API 的版本为 20...
阅读本文,您可以获取 Java SDK 日志管理的接口调用示例,实现快速开发。 说明 本文的调用示例包含接口的全部参数。由于参数间可能存在互斥关系,在调用时,请您参考注释,进行调整。 调用说明本文提供的接口调用示例均... 类型为拉流转推日志(Type=relay)时,该参数无效。 List DescribeLiveLogDataBodyDomainList = new ArrayList<>(); DescribeLiveLogDataBodyDomainList.add("example.com"); DescribeLiveLogDataBodyDomai...
阅读本文,您可以获取 Go SDK 日志管理的接口调用示例,实现快速开发。 说明 本文的调用示例包含接口的全部参数。由于参数间可能存在互斥关系,在调用时,请您参考注释,进行调整。 调用说明本文提供的接口调用示例均通... 类型为拉流转推日志(Type=relay)时,该参数无效。 bodyDomainList := []*string{} var bodyDomainList0 *string var bodyDomainList0Value string = "example.com" bodyDomainList0 = &bodyDomainList0Value...
阅读本文,您可以获取 PHP SDK 日志管理的接口调用示例,实现快速开发。 说明 本文的调用示例包含接口的全部参数。由于参数间可能存在互斥关系,在调用时,请您参考注释,进行调整。 调用说明本文提供的接口调用示例均... 类型为拉流转推日志(Type=relay)时,该参数无效。 $DescribeLiveLogDataBodyDomainList = []; array_push($DescribeLiveLogDataBodyDomainList,"example.com"); array_push($DescribeLiveLogDataBodyDomainList,...
如需获取其他日志文件,请使用DescribeLiveDomainLog接口。 生成的日志下载链接的有效时间为 7 天。 注意事项请求频率:单用户请求频率限制为 100 次/秒。 数据延迟:数据延迟为 1 小时。 请求说明请求方式:POST 请求地址:https://live.volcengineapi.com?Action=DescribeLivePullToPushLog&Version=2020-08-01 请求参数下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。 Query参数 类型 是否必选 示例值 描述...
阅读本文,您可以获取 Python SDK 日志管理的接口调用示例,实现快速开发。 说明 本文的调用示例包含接口的全部参数。由于参数间可能存在互斥关系,在调用时,请您参考注释,进行调整。 调用说明本文提供的接口调用示例... note: 日志类型为拉流转推日志(Type=relay)时,该参数无效。 describe_live_log_data_body_domain_list = [] describe_live_log_data_body_domain_list_item = [] describe_live...
调用 AddTagsToResource 接口为指定日志项目或者日志主题批量绑定标签。 使用说明设置标签时,标签键(Key)和标签值(Key)需满足一定的规则。详细信息,请参见绑定标签。 同一实例下多个标签的标签键不可重复,且每个标... .ivolces.com/AddTagsToResource 请求参数下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。 Body参数 类型 是否必选 示例值 描述 ResourceType String 是 project 资源类型,支持设置为:...
建议根据实际业务需求合理规划日志分区的数量。 数据采集基本概念 说明 LogCollector LogCollector 是火山引擎日志服务团队基于开源工具 Filebeat 二次开发的日志采集工具,用于接收采集配置,并向服务端实时上... 指定了日志文件位置、采集方式等信息。 机器组 机器组是日志服务中的虚拟配置单元,一个机器组中包含多台服务器,日志服务以机器组维度下发 LogCollector 采集配置,批量采集机器组中多台服务器的日志。 数据检索...