You need to enable JavaScript to run this app.
日志服务

日志服务

复制全文
消费与投递
跨账号数据加工最佳实践
复制全文
跨账号数据加工最佳实践

日志服务提供灵活便捷的数据加工功能,支持对采集到的日志数据进行清洗过滤、内容脱敏、数据分裂和数据分发。
本文档介绍跨账号数据加工最佳实践,在同一个地域中,创建跨账号数据加工任务,将源端日志主题的数据,加工后写入目标端日志主题中。

前提条件

  • 创建数据加工任务之前,请阅读数据加工概述,了解功能相关的说明与限制。
  • 已创建源端和目标端的日志项目和日志主题。具体操作,请参考创建资源
  • 源端和目标端的日志项目和日志主题为同一地域。
  • 源端已采集到日志数据。

费用说明

数据加工服务涉及到日志服务的数据加工费用,详细的定价及计费方式请参考日志服务计费项

注意事项

  • 请根据源日志主题分区数量合理设置目标日志主题的日志分区数量。
  • 建议为目标端日志主题开启索引,便于检索分析处理后的数据,请参考配置索引
  • 指定多个目标日志主题时,默认将数据加工结果写入到第 1 个日志主题。
    支持在加工规则中使用 e_output 函数将数据分发至不同的日志主题,请参考 e_output 函数

操作步骤

1 配置跨账号加工权限

配置跨账号加工权限,并获取目标端账号的 IAM 角色标识(TRN),可参考配置跨账号加工权限

2 获取目标端日志主题 ID

  1. 登录目标端账号的日志服务控制台。
  2. 在顶部导航栏中,选择与源端日志服务相同的地域。
  3. 在左侧导航栏中,选择资源管理 > 日志项目
  4. 单击指定的项目名称,在日志主题区域,复制指定日志主题 ID。

3 创建并启动跨账号加工任务

  1. 登录源端账号的日志服务控制台。

  2. 在顶部导航栏中,选择日志服务所在的地域。

  3. 在左侧导航栏中,选择数据处理 > 数据加工

  4. 数据加工-任务列表页面,单击创建数据加工任务

  5. 在创建数据加工任务页面,填写基础配置,然后单击下一步:加工规则配置

    参数

    示例

    说明

    任务名称

    task_1

    数据加工任务的名称。

    描述

    跨账号数据加工任务

    数据加工任务的简单描述。

    源日志项目

    project_a

    待进行数据加工的日志所在的日志项目。

    源日志主题

    topic_a

    待进行数据加工的日志所在的日志主题。

    目标日志主题

    输出目标的相关信息,即加工后的日志数据存储的日志主题。

    加工时间范围

    所有日志

    待加工数据的时间范围。

  6. 编写加工规则。
    根据页面提示在输入框内填写数据加工规则。支持的语法函数列表请参考函数列表

  7. 单击执行预览,测试加工规则。

  8. 确认数据加工结果无误,单击完成任务创建

  9. 在弹出的任务创建后立即开启对话框中,单击立即开启

4 查看任务进度

  1. 查看数据加工任务列表。
    数据加工-任务列表页面展示了当前地域下的加工任务列表,包含任务名称/ID、状态、源端和目标端日志项目、源日志主题等信息。
  2. 查看数据加工任务详情。
  3. 数据加工-任务列表页面,单击上一步创建的数据加工任务名称。
  4. 查看加工任务的基本信息、加工规则以及任务监控等。
最近更新时间:2025.12.23 17:35:13
这个页面对您有帮助吗?
有用
有用
无用
无用