You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
Doris分析型数据库引擎
Doris SQL 任务
复制全文
Doris SQL 任务

Doris是一个现代化的MPP分析型数据库产品,仅需亚秒级响应时间即可获得查询结果,满足多种数据分析需求,例如固定历史报表,交互式数据分析和探索式数据分析等。
Doris使用MPP分布式计算架构进行任务计算,能够支持聚合,排序,连接等计算任务的高效执行,支持复杂Join,支持多层嵌套子查询。

使用前提

新建DataLeap项目时,已在引擎服务绑定设置中,勾选Doris分析型数据库引擎。操作详见“新建项目”。

新建任务

  1. 登录DataLeap控制台。
  2. 选择数据开发 > 任务开发,进入任务开发页面。
  3. 单击新建任务 > 数据开发 > Doris引擎类型按钮。
  4. 选择离线数据Doris SQL任务。
  5. 填写任务基本信息:
    1. 任务名称:输入任务的名称,只允许字符.、字母、数字、下划线、连字符、[]、【】、()、()以及中文字符,且需要在127个字符以内。
    2. 保存至: 选择任务存放的目标文件夹目录。
      Image
  6. 单击确定按钮,完成任务创建。

任务配置

任务创建完成后,您便可进入Doris SQL任务编辑界面,在配置界面中您可按需编写Doris支持的SQL语法。

  1. 编辑任务
    在代码编辑器界面,输入对应 Doris SQL语句,示例如下:

    说明

    在一个 Doris SQL节点中,当节点中存在多个Query时,仅执行最后一个Query并返回相应结果。

    --创建 Doris 数据库;
    CREATE DATABASE IF NOT EXISTS doris_test;
    --创建数据表
    CREATE TABLE IF NOT EXISTS doris_test.doris_test_table
    (
        id int not null,
        date_info date not null,
        name string not null,
        address string not null,
        create_time bigint not null,
        event_time bigint not null,
        price double not null
    )
    DUPLICATE KEY(id, date_info)
    PARTITION BY RANGE(date_info)
    (
        PARTITION p1 VALUES LESS THAN ("2020-02-01"),
        PARTITION p2 VALUES LESS THAN ("2020-03-01"),
        PARTITION p3 VALUES LESS THAN ("2020-04-01")
    )
    DISTRIBUTED BY HASH(id) BUCKETS 32
    PROPERTIES (
        "replication_num" = "1"
    );
    --清空表中历史数据
    TRUNCATE TABLE doris_test.doris_test_table;
    --插入新数据
    insert into doris_test.doris_test_table VALUES (125038, '2020-02-11', '张三', '天津市丽县', 1669862281, 1668155516, '-36010.5893188364');
    --查询 Doris 表中数据
    SELECT * FROM doris_test.doris_test_table;
    
  2. 格式化Doris SQL语句
    代码编辑区编写完对应 SQL 语句后,您可单击上方导航栏功能区中的格式化按钮,依据在“个性化设置”中的 SQL 格式化风格的设置,格式化编辑完成的代码,使其语法结构看起来简洁明了。
    Image

  3. 调度设置
    任务配置完成后,在右侧导航栏中,单击调度配置按钮,配置调度设置相关参数,便可进行Doris SQL任务周期性调度。调度设置说明详见“调度设置”。

查询控制台

  1. 调试任务
    任务代码逻辑和参数配置完成后,您可在编辑器上方,单击操作栏中的保存调试按钮,进行任务调试。

    说明

    调试操作,直接使用线上数据进行调试,需谨慎操作。

  2. 调试记录
    调试任务开始运行后,可在下方查看调试记录,您也可以查看任务的历史运行记录,包括状态、业务日期、开始时间、结束时间、耗时、提交人等。
    单击调试记录,可以查看以下详情内容:
    • 结果:展示代码执行后的查询结果。

      说明

      因结果页预览数据以及项目安全设置均存在限制,查询结果显示数据可能小于实际数据量。建议按如下处理方式:

      • 前往项目控制台,调整项目数据安全设置上限。
      • 项目控制台 > 配置信息 > 数据安全设置 > 查询结果勾选允许下载,您便可在查询结果区域单击下载按钮,下载完整数据至本地查看。

      详见“新建项目”。

    • 概览:查看运行结果的代码。
    • 日志:查看运行详情,可下载日志。

提交任务

调试结果无误后,单击提交上线按钮,在提交上线对话框中,选择回溯数据、监控设置、提交设置等参数,最后单击确认按钮,完成作业提交。 提交上线说明详见:提交上线

注意

  • 调试操作,直接使用线上数据进行调试,需谨慎操作。
  • 如果租户项目管理员在项目控制台>流水线管理中启用了流水线流程校验,则您需要确保提交的任务符合流水线扩展程序的校验规则,才能成功提交。详见4 流水线管理

后续任务运维操作详见:离线任务运维

最近更新时间:2025.07.02 17:59:02
这个页面对您有帮助吗?
有用
有用
无用
无用