关联外部数据源检索日志--日志服务-火山引擎

文档中心

简体

文档备案控制台

登录立即注册

日志服务

日志服务

日志服务

文档指南

请输入

产品动态

新功能发布记录

产品公告

TOS 日志管理免费额度取消公告

日志服务架构升级通知

日志服务计费通知

产品简介

什么是日志服务

产品计费

计费项

按功能计费的计费项

按写入数据量计费的计费项

计费案例

按功能计费的计费案例

按写入数据量计费的计费案例

快速入门

采集日志数据

检索分析日志

TLS Demo 中心

用户指南

智能助手 Copilot

资源管理

机器组

机器组概述

创建机器组（IP 地址）

创建机器组（机器标识）

查看机器组

修改机器组

删除机器组

标签管理

根据标签筛选资源

编辑和解绑标签

申请资源配额

控制台概览

数据采集

LogCollector 采集

LogCollector 简介

LogCollector 限制说明

LogCollector 版本说明

安装与升级

安装 LogCollector（宿主机）

升级 LogCollector（宿主机）

安装 LogCollector（DaemonSet 方式）

安装 LogCollector（Sidecar 方式）

安装 LogCollector CRD

升级 LogCollector（Kubernetes 集群）

采集宿主机日志

单行全文模式

多行全文模式

分隔符模式

单行完整正则模式

多行完整正则模式

NGINX 配置模式

采集容器日志

容器采集概述

LogCollector CRD 采集原理

采集容器文本日志（DaemonSet-控制台方式）

采集容器标准输出（DaemonSet-控制台方式）

采集容器日志（DaemonSet-Pod 环境变量方式）

采集容器日志（DaemonSet-CRD方式）

采集容器日志（Sidecar-控制台方式）

采集容器日志（Sidecar-CRD方式）

采集指标主题数据

LogCollector 插件

使用 LogCollector 插件处理日志

插件执行条件

字段提取插件

JSON 解析插件

添加字段插件

数据脱敏插件

字符串替换插件

时间解析插件

重命名插件

过滤日志插件

转换 IP 地址插件

JSON 提取插件

字段切割重组插件

URL 解析插件

保留字段插件

管理 LogCollector

设置LogCollector启动参数

LogCollector 采集配置管理

创建匿名标识实现免 AKSK 采集日志

通用参考

容器日志路径占位符

获取容器的 Label 和环境变量

多行全文日志的聚合规则

为宿主机或容器设置 IP 地址

文件日志或标准输出同时被采集多份

容器标准输出与日志级别的关系

数据导入

从 SLS 导入日志

从 TOS 导入日志

从 Kafka 导入数据

从 Elasticsearch 导入数据

云产品日志采集

云产品日志采集

TOS 日志采集

TOS 日志采集概述

开启 TOS 日志分析功能

TOS 日志字段

CDN 日志采集

CDN 日志采集概述

开通 CDN 日志采集功能

CDN 日志字段

使用 Kafka 协议上传日志

使用 WebTracking 采集日志

使用 Logback Appender 上传日志

使用 Log4j2 Appender 上传日志

导入 SLS 采集配置

数据存储

数据防篡改

检索分析

检索分析流程

配置日志索引

索引数据类型

检索日志

单主题检索日志

多主题检索日志

短语查询检索日志

检索指定日志的上下文

关联外部数据源检索日志

关联 MySQL 数据源

MySQL 联合查询分析

使用 kibana 检索日志

日志服务兼容 Elasticsearch 接口

配置 Kibana 检索日志

分析日志

异步检索分析日志

快速分析指定日志字段

检索分析指标主题

使用点选模式快速设置检索分析语句

使用 LiveTail 实时滚动日志

使用日志聚类分析数据

SQL 函数

日期和时间函数

字符串函数

正则式函数

同比与环比函数

数学计算函数

数学统计函数

Map 映射函数

二进制函数

位运算函数

电话号码函数

单位换算函数

窗口漏斗函数

类型转换函数

HyperLogLog 函数

Lambda 表达式

算数运算语法

比较运算符

逻辑运算符

条件表达式

SQL 语法

GROUP BY 语法

ORDER BY 语法

DISTINCT 子句

嵌套子查询

机器学习函数

机器学习函数概览

预测与异常检测函数

时序聚类函数

异常对比函数

阈值推荐函数

差异模式统计函数

可视化

检索分析图表

检索分析图表概述

配置数据分析图表

配置数据分类图表

配置数据聚合图表

检索分析图表汇总

创建仪表盘

创建空白仪表盘

使用预置模版快速创建仪表盘

导入仪表盘

使用仪表盘

仪表盘常见操作

设置仪表盘图表交互事件

订阅仪表盘消息

免密分享仪表盘

仪表盘 JSON Model 说明

预置模板仪表盘日志字段说明

添加图表到仪表盘

添加仪表盘过滤器和变量

仪表盘过滤器和变量介绍

添加仪表盘过滤器

添加仪表盘自定义变量

添加仪表盘数据源变量

使用系统预置变量

创建变量级联关系

添加时序过滤器

使用其他系统分析日志

使用外部自建系统嵌入 TLS 控制台

TLS 控制台内嵌参数详情

使用 Grafana 可视化分析日志

数据处理

数据加工

数据加工概述

配置跨账号加工权限

创建数据加工任务

管理数据加工任务

查看数据加工进度与状态

语法与函数

数据加工语法

全局操作函数

流程控制函数

事件处理函数

事件检查函数

字段处理函数

字段检查函数

键值提取函数

富化映射函数

表达式函数

日期值处理函数

字符串处理函数

类型转换函数

逻辑表达式函数

算术表达式函数

正则表达式函数

编码解码函数

IP 解析函数

结构化处理函数

数据加工性能指南

数据加工最佳实践

通用参考

查询字符串语法

正则表达式

定时 SQL 分析

定时 SQL 分析概述

创建定时 SQL 分析数据存储至日志主题

创建定时 SQL 分析数据存储至托管 Prometheus

管理定时 SQL 分析任务

SQL 时间窗口语法

数据回流

数据回流概述

创建数据回流任务

创建火山方舟高代码应用数据回流任务

管理数据回流任务

消费与投递

消费与投递概述

通过 ConsumeLogs 消费日志

通过消费组消费数据

通过 Kafka 协议消费日志

通过函数服务消费日志数据

投递日志到 TOS

配置跨账号投递权限

以 JSON 格式投递

以 CSV 格式投递

管理投递配置

解压 Snappy 压缩文件

投递日志到 Kafka

配置跨账号投递权限

投递日志到消息队列 Kafka版

管理 Kafka 投递配置

投递日志到 Splunk

告警

快速设置日志告警

告警策略

创建告警策略

管理告警策略

监控告警策略

多语句集合操作

触发条件表达式

告警监控任务时效性

告警策略测试

查看告警情况

查看告警执行结果

查看告警历史

告警通知内容模板

通知内容概述

创建内容模板

管理内容模板

免登录访问告警详情页面

告警通知组

创建通知组

管理通知组

创建 Webhook 集成配置

Trace 存储

Trace 功能概述

Trace 数据格式

创建通用 Trace 实例

创建火山方舟高代码应用 Trace 实例

管理 Trace 实例

通过 OpenTelemetry SDK 写入数据

通过 OpenTelemetry Collector 转发数据

通过 OpenTelemetry Collector 转发数据-容器部署

使用 Grafana 查看 Trace 数据

监控日志服务

查看云监控数据

服务日志

服务日志概述

开启或关闭 LogCollector 服务日志

服务日志字段

服务日志仪表盘

权限管理

可授权的操作

可授权的资源

自定义的权限策略示例

跨服务访问授权

API 参考

使用前必读

API 发布历史

调用方式

附录

公共错误码

数据编码方式

日志项目管理

DescribeProject

DescribeProjects

日志主题管理

分区管理

ManualShardSplit

索引管理

日志管理

DescribeLogContext

DescribeHistogramV1

DescribeHistogram（弃用）

CreateDownloadTask

DescribeDownloadTasks

DescribeDownloadUrl

CancelDownloadTask

机器组管理

CreateHostGroup

DeleteHostGroup

ModifyHostGroup

DescribeHostGroup

DescribeHostGroupV2

DescribeHostGroups

DescribeHostGroupsV2

DescribeHostGroupRules

ModifyHostGroupsAutoUpdate

DeleteAbnormalHosts

采集配置管理

ApplyRuleToHostGroups

DescribeBoundHostGroups

DeleteRuleFromHostGroups

数据导入

CreateImportTask

DeleteImportTask

ModifyImportTask

DescribeImportTask

DescribeImportTasks

数据加工

DescribeETLTask

DescribeETLTasks

ModifyETLTaskStatus

数据投递

DescribeShipper

DescribeShippers

定时 SQL 分析

CreateScheduleSqlTask

ModifyScheduleSqlTask

DeleteScheduleSqlTask

DescribeScheduleSqlTask

DescribeScheduleSqlTasks

告警管理

CreateAlarmNotifyGroup

DeleteAlarmNotifyGroup

ModifyAlarmNotifyGroup

DescribeAlarmNotifyGroups

CreateAlarmContentTemplate

DeleteAlarmContentTemplate

ModifyAlarmContentTemplate

DescribeAlarmContentTemplates

CreateAlarmWebhookIntegration

DeleteAlarmWebhookIntegration

DescribeAlarmWebhookIntegrations

ModifyAlarmWebhookIntegration

消费组管理

CreateConsumerGroup

DeleteConsumerGroup

DescribeConsumerGroups

ModifyConsumerGroup

ConsumerHeartbeat

DescribeCheckPoint

ModifyCheckpoint

ResetCheckpoint

Kafka 协议消费

OpenKafkaConsumer

CloseKafkaConsumer

DescribeKafkaConsumer

标签管理

AddTagsToResource

RemoveTagsFromResource

ListTagsForResources

Trace 存储

CreateTraceInstance

ModifyTraceInstance

DeleteTraceInstance

DescribeTraceInstances

DescribeTraceInstance

账号管理

ActiveTlsAccount

GetAccountStatus

SDK 参考

配置身份认证信息

Go SDK

通过 Go SDK 创建基础资源

通过 Go SDK 写入日志

通过 Go SDK 消费日志数据

通过 Go SDK 检索分析日志

通过 Go SDK 消费组消费日志

通过 Go SDK 导入 TOS 数据

通过 Go SDK 导入 Kafka 数据

通过 Go SDK 投递日志到 TOS

通过 Go SDK 投递日志到 Kafka

Java SDK

Java SDK 概述

安装 Java SDK

通过 Java SDK 创建基础资源

通过 Java SDK 写入日志

通过 Java SDK 消费日志数据

通过 Java SDK 检索分析日志

通过 Java SDK 消费组消费日志

Python SDK

Python SDK 概述

安装 Python SDK

通过 Python SDK 消费组消费日志

Android SDK

Android SDK 概述

安装 Android SDK

iOS SDK

获取 SDK 响应

配置超时与重试策略

C++ SDK

获取 SDK 响应

配置超时与重试策略

Node.js SDK

Node.js SDK 概述

安装 Node.js SDK

浏览器 JavaScript SDK

.NET SDK

.NET SDK 概述

安装 .NET SDK

快速开始 .NET SDK

最佳实践

数据采集

基于 Flume 上传日志

使用 Logstash 上传日志

启用 LogCollector 高精度时间

通过 Flink 传输数据

监控 LogCollector 采集

配置跨 Region 采集日志网络连接

检索分析

检索分析运维日志

检索分析 JSON 日志

检索分析 Nginx 访问日志

权限管理

通过 STS 访问日志服务

通过 IAM 设置日志服务访问权限

基于 IAM 角色实现跨账号访问日志服务

消费与投递

通过 ByteHouse 消费日志

通过 Spark Streaming 消费日志

通过 Flink 消费日志

实时同步日志服务数据到 EMR Hive

Kafka 协议消费指标可视化

跨账号数据加工最佳实践

可视化

添加双 Y 轴折线图

告警

基于日志关键字触发告警

控制告警通知发送时段的常见方法

基于日志的 JuiceFS 可观测最佳实践

智能体开发框架 VeADK 可观测最佳实践

常见问题

检索分析

检索分析常见错误

检索分析语句中引号的使用场景是什么？

如何精准查询短语？

如何模糊检索日志？

为什么日志时间和其生成时间不一致？

检索分析 JSON 日志常见问题

如何提高检索分析速度？

提示“查询结果不精确”，如何解决？

数据采集

LogCollector 基本问题

LogCollector 运维操作失败排查

如何排查宿主机日志采集异常

如何排查容器日志采集异常

机器组心跳问题排查（宿主机）

机器组心跳问题排查（容器）

容器 LogCollector 运行状态问题排查

如果 K8S API Server 因大量 ListWatch 请求导致负载较高，应如何处理？

告警

告警策略常见问题

告警通知渠道常见问题

告警服务日志常见问题

告警通知内容常见问题

如何设置飞书、钉钉和企业微信告警通知

基础资源

如何查看日志存储时长？

如何删除日志项目和日志主题？

为什么无法删除日志主题？

IP 地址白名单

日志服务和 Datasail 有什么区别？

产品计费常见问题

定时 SQL 分析常见问题

API 和 SDK 常见问题

Trace 存储常见问题

相关协议

存储产品和服务专用条款

服务等级协议SLA（日志服务）

TLS Copilot服务免责声明和服务使用规则

TLS 第三方软件声明

TLS SDK 隐私政策

下线文档

检索分析（1.0 架构）

文档首页

日志服务

用户指南

检索分析

检索日志

关联外部数据源检索日志

检索日志

关联外部数据源检索日志

关联 MySQL 数据源
MySQL 联合查询分析