You need to enable JavaScript to run this app.
导航
日志服务
  • 文档首页
    • /
  • 日志服务

对接 Grafana

最近更新时间：2024.04.19 13:54:14

首次发布时间：2023.07.20 21:12:55

我的收藏

日志服务提供数据源插件以供日志数据快速对接 Grafana，便于您在 Grafana 中可视化展示与分析日志服务中的日志数据。本文档演示通过日志服务数据源插件将日志数据接入 Grafana 的操作步骤。

背景信息

作为开源的可视化监控平台，Grafana 提供数据指标监控、可视化分析等功能，通常用于网络架构、应用性能分析等多种场景下的大规模指标数据和时序数据的可视化展示。日志数据被采集到日志服务中之后，您可以通过日志服务提供的数据源插件将日志数据与 Grafana 对接，并在 Grafana 中创建可视化的仪表盘与图表，实现日志数据在 Grafana 中的可视化分析。

前提条件

  • 已采集日志数据。操作步骤请参考快速入门。
  • 已安装 Grafana。操作步骤请参考 Grafana 官方文档。
    日志服务支持对接 Grafana 6.0~10.x 版本。本文档以 Grafana 9.5.8 版本为例演示相关的操作步骤。

操作步骤

1 下载并安装数据源插件

  1. 下载数据源插件包。详细信息请参考 Github 仓库。

    • Grafana 9.0 及以上版本

      wget https://codeload.github.com/volcengine/tls-grafana-datasource/zip/refs/heads/main

    • Grafana 6.x~8.x 版本

      wget https://codeload.github.com/volcengine/tls-grafana-datasource/zip/refs/tags/v1.2

  2. 将数据源插件包解压到 Grafana 插件目录下。
    根据不同的安装方式选择对应的 Grafana 插件目录，并执行对应命令。

    Grafana 安装方式

    插件目录

    解压缩命令示例

    使用 RPM 或者 YUM 安装

    /usr/lib/grafana/plugins

    unzip tls-grafana-datasource-main.zip \n-d /var/lib/grafana/plugins

    使用.tar、.gz 文件安装

    {PATH_TO}/grafana-6.6.0/data/plugins：

    unzip tls-grafana-datasource-main.zip \n-d {PATH_TO}/grafana-6.6.0/data/plugins

  3. 修改 Grafana 配置文件中的权限配置。
    在 Grafana 配置文件中增加数据源插件相关的权限配置参数，以允许 Grafana 加载此插件。

    说明

    Grafana 6.x 版本默认允许加载未签名的插件，无需添加此配置。

    Grafana 安装方式

    插件目录

    插件配置

    使用 RPM 或者 YUM 安装

    :/etc/grafana/grafana.ini

    allow_loading_unsigned_plugins = tls-grafana-datasource

    使用.tar、.gz 文件安装

    :{PATH_TO}/grafana-6.6.0/conf/defaults.ini

    allow_loading_unsigned_plugins = tls-grafana-datasource

  4. 重启 Grafana。
    执行以下命令重启 Grafana，使插件配置生效。

    1. 执行 kill 命令终止 Grafana 进程。

    2. 重新启动 Grafana。
      根据安装方式选择对应的命令，重启 Grafana。

      Grafana 安装方式

      重启命令

      使用 RPM 或者 YUM 安装

      systemctl restart grafana-server

      使用.tar、.gz 文件安装

      ./bin/grafana-server

2 添加数据源

在 Grafana 中添加日志服务数据源。

  1. 以管理员身份登录 Grafana。

  2. 在左侧菜单栏中选择 Administration > Data sources。

  3. 在 Data sources 页签中，单击 Add new data source。

  4. 在 Add data source 页面中，找到并单击找到 Tls-Grafana-Datasource。

  5. 填写数据源配置。

    配置

    说明

    Name

    数据源名称。

    Endpoint

    日志服务的服务地址，例如 https://tls-cn-beijing.ivolces.com。请根据地域和网络类型选择正确的服务入口，详细信息请参见服务地址。

    说明

    • 服务地址必须以 https://开头。
    • 如果使用私网服务地址，应确认 Grafana 项目所在环境可通过火山引擎私网访问日志服务。

    Region

    日志服务的地域 ID，必须与 Endpoint 的地域一致。详细信息请参见服务地址。

    Topic

    日志数据所在的日志服务日志主题 ID。

    AccessKeyId

    火山引擎账户密钥 Access Key ID。
    您可以在火山引擎控制台密钥管理页面，根据页面提示查看并复制 Access Key ID。

    说明

    建议使用 IAM 用户的密钥，且 IAM 用户应具备 Action SearchLogs 的权限。详细信息请参考可授权的操作。

    AccessKeySecret

    火山引擎账户密钥 Secret Access Key。
    您可以在火山引擎控制台密钥管理页面，根据页面提示查看并复制 Secret Access Key。

    图片

  6. 单击 Save & test。

3 添加仪表盘和图表

添加数据源之后，您还需要在 Grafana 中创建仪表盘，并为其添加图表。

  1. 在左侧导航栏中，单击 Dashboards。
  2. 在页面右上角，单击 New > New Dashboard。
  3. 在 New dashboard 页面中，单击 Add visualization。
  4. 在页面左下角的 Data source 中，选择您在2 添加数据源中添加的数据源。
  5. 填写检索分析相关的配置。
    通常情况下需要填写 Query、xcol 和 ycol 等参数配置。常见的图表配置示例请参考图表配置示例。
    图片
  6. 在页面右侧，选择图表类型以及配置 Panel options。
  7. 在页面右上角单击 Save。
  8. 在 Save dashboard 面板中，设置仪表盘名称，然后单击 Save。
    如果您要继续添加可视化图表，可在仪表盘的右上角单击 Add > Visualization。
    图片

图表配置示例

日志服务提供常见场景下的图表配置示例供您参考。

柱状图（Bar chart）

柱状图常用于展示分类数据，每个分类为一个柱状图形，其高度为每一分类的数值大小。

  • 参数配置
    您可以参考操作步骤添加仪表盘和图表，其中柱状图的配置示例如下。

    配置参数

    说明

    示例

    Query

    检索分析语句。 检索分析语句应符合火山引擎日志服务检索分析语法。详细说明请参考检索概述。

    *|select method,count(1) as PV,count(distinct account_id) as UV group by method

    xcol

    X 轴的展示字段。

    bar

    ycol

    Y 轴的展示字段。

    method,PV,UV

  • 可视化图表
    图片

表格（Table）

表格可用于展示或对比统一类型字段的值，例如在访问日志中查询用户的操作时间等场景。

  • 参数配置
    您可以参考操作步骤添加仪表盘和图表，其中表格的配置示例如下。

    配置参数

    说明

    示例

    Query

    检索分析语句。 检索分析语句应符合火山引擎日志服务检索分析语法。详细说明请参考检索概述。

    * | select (__time__ - (__time__ % 60000)) as time,count(1) as PV, count(distinct account_id) as UV group by time

    xcol

    X 轴的展示字段。

    table

    ycol

    Y 轴的展示字段。

    /

  • 可视化图表
    图片

时序图（Time series）

时序图可用于展示不同时间节点的数据变化趋势，例如查看一段时间内的访问量趋势等场景。

  • 参数配置
    您可以参考操作步骤添加仪表盘和图表，其中时序图的配置示例如下。

    配置参数

    说明

    示例

    Query

    检索分析语句。 检索分析语句应符合火山引擎日志服务检索分析语法。详细说明请参考检索概述。

    * | select (__time__ - (__time__ % 60000)) as time,count(1) as PV, count(distinct account_id) as UV group by time

    xcol

    X 轴的展示字段。

    time

    ycol

    Y 轴的展示字段。

    PV,UV

  • 可视化图表
    图片

单值图（Gauge）

单值图以矩形框形式突出展示检索分析结果，适用于数据信息突出展示的场景，例如某一时刻或时间段的某个关键信息。

  • 参数配置
    您可以参考操作步骤添加仪表盘和图表，其中单值图的配置示例如下。

    配置参数

    说明

    示例

    Query

    检索分析语句。 检索分析语句应符合火山引擎日志服务检索分析语法。详细说明请参考检索概述。

    * | select count(1) as PV, count(distinct account_id) as UV

    xcol

    X 轴的展示字段。

    stat

    ycol

    Y 轴的展示字段。

    PV,UV

  • 可视化图表
    图片

饼图（Pie chart）

饼图用于表示不同分类的占比，通过弧度来对比分类之间的占比差异、每个分类相较于总和的数值差异。

  • 参数配置
    您可以参考操作步骤添加仪表盘和图表，其中饼图的配置示例如下。

    配置参数

    说明

    示例

    Query

    检索分析语句。 检索分析语句应符合火山引擎日志服务检索分析语法。详细说明请参考检索概述。

    status>200 | select status,count(*) cnt group by status

    xcol

    X 轴的展示字段。

    pie

    ycol

    Y 轴的展示字段。

    status,cnt

  • 可视化图表
    图片