服务器项目日志文件
社区干货
云原生环境下的日志采集、存储、分析实践
而是文件输出。Streaming Sidecar 的方式可以把这些文件输出通过 Sidecar 容器转换成容器的标准输出,然后采集。* Sidecar Logging Agent:业务 Pod 内单独部署 Agent 的 Sidecar 容器。这种方式的资源隔离性强。* API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需求,...
云原生环境下的日志采集、存储、分析实践
而是文件输出。Streaming Sidecar 的方式可以把这些文件输出通过 Sidecar 容器转换成容器的标准输出,然后采集。- Sidecar Logging Agent:业务 Pod 内单独部署 Agent 的 Sidecar 容器。这种方式的资源隔离性强。- API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需求,标...
干货 | 提速 10 倍!源自字节跳动的新型云原生 Spark History Server正式发布
> 近期火山引擎正式发布 UIMeta,一款致力于监控、分析和优化的新型云原生 Spark History Server,相比于传统的事件日志文件,**它在缩小了近乎 10 倍体积的基础上,居然还实现了提速 10 倍!**> > 目前,UIMeta Servi... 事件日志包含太多冗余信息,长时间运行的应用程序可能会带来巨大的事件日志,这可能需要大量维护并且需要很长时间才能重构 UI 数据从而提供服务。在大规模生产中,作业的数量可能很大,会给历史服务器带来沉重的负担。...
云原生环境下的日志采集、存储、分析实践
谈到日志系统,首先要从日志说起,日志在 IT 系统里无处不在,也是 IT系统大数据的关键来源。日志的种类和样式非常多,以在线教育系统为例,日志包括客户端日志、服务端日志。服务端日志又包括业务的运行/运维日志以及业... API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需...
特惠活动
服务器项目日志文件-优选内容
服务器项目日志文件-相关内容
修改 LogCollector 资源配置
为避免 LogCollector 过度消耗服务器的资源,从而影响其他服务的正常运行,日志服务对 LogCollector 采集性能做了限制。当您需要提高 LogCollector 采集性能时,可调整允许 LogCollector 使用的 CPU 阈值和内存阈值。本文档介绍修改 LogCollector 资源配置的方法。 设置场景遇到以下场景时,可修改 LogCollector 的资源配置。 需要采集的日志文件数目大(例如同时采集的文件数超过 100 个),占用大量内存。 日志数据流量大,导致 LogCol...
查询日志文件信息
调用 DescribeLiveLogData 接口,查询指定时间范围内指定日志类型的离线日志文件及下载信息。 注意事项使用限制:支持查询指定域名(包含已删除域名)下产生的日志文件信息。 支持查询最近 31 天内产生的日志数据。 支... 服务端 SDK视频直播提供了配套的开发工具集 SDK,支持多种编程语言,帮助您更方便的调用 API。 SDK Link for Java SDK Link for Golang SDK Link for Python SDK Link for PHP
获取日志文件下载地址
视频点播支持查询和下载指定域名的 CDN 原始访问日志,此接口用于获取日志文件下载地址。 使用说明具体日志字段说明请参见日志管理。 注意事项日志包延迟时间:一般情况下延迟在 3 小时之内,业务高峰期也有可能超过 12 小时。 请求说明请求地址:https://vod.volcengineapi.com?Action=ListCdnAccessLog&Version=2022-01-01 调试API Explorer您可以通过API Explorer在线发起调用,无需关注签名生成过程,快速获取调用结果。去调试请求...
云原生环境下的日志采集、存储、分析实践
而是文件输出。Streaming Sidecar 的方式可以把这些文件输出通过 Sidecar 容器转换成容器的标准输出,然后采集。- Sidecar Logging Agent:业务 Pod 内单独部署 Agent 的 Sidecar 容器。这种方式的资源隔离性强。- API/SDK:直接在容器内使用 API 或 SDK 接口将日志采集到后端。以上前三种采集方案都只支持采集容器的标准输出,第四种方案需要改造业务代码,这几种方式对采集容器文件都不友好。但用户对于日志文件有分类的需求,标...
干货 | 提速 10 倍!源自字节跳动的新型云原生 Spark History Server正式发布
> 近期火山引擎正式发布 UIMeta,一款致力于监控、分析和优化的新型云原生 Spark History Server,相比于传统的事件日志文件,**它在缩小了近乎 10 倍体积的基础上,居然还实现了提速 10 倍!**> > 目前,UIMeta Servi... 事件日志包含太多冗余信息,长时间运行的应用程序可能会带来巨大的事件日志,这可能需要大量维护并且需要很长时间才能重构 UI 数据从而提供服务。在大规模生产中,作业的数量可能很大,会给历史服务器带来沉重的负担。...
下载日志
对采集到服务端的日志进行查询分析时,您可以将原始日志数据或检索分析结果下载到本地,进行数据查看或进一步分析。 费用说明下载日志功能正在公测中,公测期间暂不计费。 使用限制下载日志时,下载任务的数据量存在以... 导出格式 导出的文件格式,支持 CSV 文件格式或 JSON 格式。 日志排序 仅检索不分析时,日志的排序方式,支持升序或倒序。 压缩类型 导出文件的压缩类型,目前仅支持 gzip 格式压缩。 步骤二 下载日志文件选...
下载日志
对采集到服务端的日志进行查询分析时,您可以将原始日志数据或检索分析结果下载到本地,进行数据查看或进一步分析。 费用说明下载日志功能正在公测中,公测期间暂不计费。 使用限制下载日志时,下载任务的数据量存在以... 导出格式 导出的文件格式,支持 CSV 文件格式或 JSON 格式。 日志排序 仅检索不分析时,日志的排序方式,支持升序或倒序。 压缩类型 导出文件的压缩类型,目前仅支持 gzip 格式压缩。 步骤二 下载日志文件选...
安装 LogCollector(宿主机)
LogCollector 是日志服务基于开源日志采集工具 Filebeat 二次开发的日志采集客户端,用于快速上报日志数据。在服务器中安装 LogCollector 之后,通过控制台或配置文件即可下发采集规则、快速接入日志服务。本文档介绍... 将其部署到服务器之后,可以采集服务器文本日志到 ElasticSearch、Kafka、Logstash 等进行二次处理。火山引擎日志服务基于开源的 Filebeat 工具进行二次开发,适配了日志服务的服务端功能、增加多种日志解析模式,改造...
查询日志文件信息
本接口指定单个或多个域名,查询相关日志文件信息(不含拉流转推)。 说明 您可以通过 DescribeLivePullToPushLog 接口查询拉流转推日志文件。 生成的日志下载链接的有效时间为 7 天。 日志文件字段说明可参见日志字段含义 注意事项请求频率:单用户请求频率限制为 10QPS。 请求说明请求方式:GET 请求地址:https://live.volcengineapi.com?Action=DescribeLiveDomainLog&Version=2020-08-01 请求参数下表仅列出该接口特有的请求参数...
