数据运维包含任务管理、数据连接、队列配置、存储管理与同步配置五个模块，本文为您介绍数据运维配置具体功能模块操作。

您可以单击右上角“系统管理”按钮进入系统管理页面，在系统管理页面中提供了数据运维配置模块。管理员可对任务管理、数据连接、队列配置、存储管理、同步配置等多个环节进行系统化操作管理：

• 任务管理：在任务管理中，管理员可通过建立HTTP API的方式实现对三方平台任务执行状态的依赖关系，保障适时地产出有效业务数据。
• 数据连接：在数据连接中，管理员可对不同项目的数据连接的类型做差异化的配置。比如，在不同项目中，用户可选择的数据连接类型可以是不同的；管理员与非管理员可选择的数据类型也可以是不同的。
• 队列配置：对定时任务和数据回溯任务配置不同队列执行，减少数据回溯对例行任务的影响。
• 存储管理：查看资源概览信息，配置存储策略，包含开启资源管控的开关，项目资源限制配置，资源超出限制配置。
• 同步配置：设置生命周期和回溯时间的上限。

• 企业希望采用三方 API 配置依赖关系，通过节点的依赖关系有序调度任务运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行。
• 在部分项目中，支持项目管理员使用全部数据连接类型，其他用户不开放部分数据连接类型。
• 公司内的管理者经常要看长周期数据，或者策划/运营人员经常查看不同阶段的对比数据，需要比较高频的做数据集回溯。
• 希望通过改变生命周期和回溯时间的上限避免运行资源的阻塞和不必要的开销。

任务管理 #

本产品为用户提供灵活的任务调度依赖配置功能。调度依赖通常是指数据同步、数据开发过程中周期调度节点间的上下游依赖关系。通过节点的依赖关系有序调度任务运行上下游节点，即当上游节点运行成功后，下游节点才会启动运行，保障适时的产出有效业务数据。本产品的依赖配置提供了自动检测上游数据有无产出和自定义配置依赖两大类方式。
如果企业内已经存在相关的数据开发或数据处理任务的调度平台，且能够满足按照本产品的 API 规范进行配置，那么可以与本产品实现对接与联动，完成构建该调度平台的任务状态依赖关系。如果企业选择采用三方 API 配置依赖关系，那么用户需要先在系统管理的任务管理模块， 进行 API 配置（即本章节为您介绍的内容），然后在可视化建模和数据集的依赖配置模块完成任务调度的依赖配置。

具体操作流程如下：

1. 完成API配置
   点击新建 API 任务依赖，进入 API 配置表单。根据数据源的不同接口，可以配置多个 API 依赖。
   1. 前置操作
      请您完成以下必填信息：
      
      • 数据源类型：控制 API 依赖生效的数据源，即使用所选数据源时可以调用该依赖接口。
      • 依赖名称：用于理解系统集成的依赖名称。
      • 生效范围：控制 API 依赖的项目空间，可下拉选择全部项目或单个项目。
      • 依赖描述：用于理解或填写依赖配置的描述性信息。
   2. API配置
      
      配置一：URL
      Params 中的 Key 和 Value 会自动拼接到自定义 URL 中。说明栏中包含样例 URL。
      配置二：Params

      • 请求参数说明:
        Params 中的 Key 和 Value 会自动拼接到自定义 URL 中，其中 Key 的名称可以自定义，Value 参数格式不变。系统可以根据参数内容自动传入特定任务参数，您可根据需求选择使用。

      • 系统参数Params：

        参数	备注
        ${dataSourceType}	数据源类型，如Hive-jdbc、Maxcompute
        ${dbName}	任务中数据源的库名称
        ${tableName}	任务中数据源的表名称
        ${taskTime}	业务日期，即具体任务执行的日期，通常情况业务日期与分区日期保持一致。
        ${partition}	任务中数据源的分区值
        ${batchNum}	任务批次号，根据业务日期tasktime及执行频率共同定义，天粒度更新批次号绝对等于1，如小时粒度执行，则根据执行顺序依次产生1-24个批次号。

      • 自定义参数
        注：如新增自定义参数，请您配置依赖时输入该参数。
        如果用户的数据调度平台无法根据本产品提供的系统字段定位到具体实例，可以选择新增自定义参数字段，如定义任务ID。请您配置依赖时填写具体的任务ID 或名称，以便依赖接口可定位到目标参数字段。

   3. 接口成功返回结构
      API 接口调用成功时，请定义成功返回的结构：JSON结构返回{"status":"success"}或{'status":0}。
2. 测试与保存
   
   测试按钮
   注： 点击测试，测试联通后方可保存 API 依赖。该测试按钮只是测试接口调用，不会对内容检测，可输入任意内容进行测试。
   • 点击先判断配置项是否配置完整，若不完整，则高亮表单提示配置完整。
   • 测试按钮高亮时可用，点击测试弹窗进行测试。
   • 根据依赖方式显示不同的测试弹窗和输入方式，测试日期的传参格式固定。
   • 测试通过后显示成功 Icon，如果变更信息需要重新点击测试。
     保存按钮
   • 未点击测试或测试不通过，保存按钮不可用。
   • 通过测试：保存按钮生效，保存后页面变回显页面。
     取消按钮
     点击取消，二次弹窗确认：取消后，配置或更改信息将不被保存，确认取消。
3. 后续操作
   当您完成了自有调度系统的API 配置，那么就可以在可视化建模、数据集等模块的依赖配置中选择已配置好的依赖接口了。具体操作如下：

   • 在可视化建模进行数据输出时，可以进行依赖配置。 详情参考
     操作入口：数据准备—可视化建模—编辑—输出—依赖配置

     

   • 在数据集的同步设置里面，可以进行依赖配置。详情参考
     操作入口：数据准备—数据集—编辑—同步设置—依赖配置

     

数据连接 #

类型配置 #

为了提升企业数据安全保障，实现严谨灵活的数据管理，产品支持对数据连接的类型做差异化的配置。比如：支持项目管理员使用全部数据连接类型，其他用户都不开放部分数据连接类型。
操作步骤：

1. 左侧操作栏选择数据连接，点击编辑。
   
2. 选择生效范围为所有项目、区分项目。若为区分项目，可新建自定义规则，选择具体的项目。
3. 勾选“差异化规则”为“是”，选择规则类型，点击编辑图标。
   
4. 勾选需要展示的数据连接类型，点击确定，完成配置。
   

系统配置-Meego数据连接配置 #

Meego 数据连接需要统一配置插件凭证，验证通过后当前环境才支持Meego数据连接类型。在进行Meego数据源连接前，请先在系统设置中进行配置。

操作步骤：
打开数据连接-系统配置，点击编辑，输入插件ID与插件密码，点击测试连接。测试成功后，点击保存，即可连接Meego数据源。

如何获取插件ID与密码：
用户需要在 DataAgent 中开启飞书办公平台后，在Meego中创建插件并发布，在插件信息页获取ID与密码。

1. 开启飞书办公平台

   • 进入 系统配置 页面，开启飞书办公平台。

     

     配置相关参数：

     

• 操作用户需要绑定飞书账号。

  

• 添加发件渠道

  

  配置相关参数：

  

2. 创建Meego插件

   • 进入 Meego，点击空间配置 -> 插件管理 -> 添加插件，进入页面后再点击右上角 创建插件。

     

   • 点击页面中的 添加插件，输入插件名称，点击确定。

     

   • 创建完成后进入插件配置页面，先填写基础配置信息。

     

   • 进入权限管理，获取如下列表的权限。

3. 发布插件

   • 插件使用范围选择企业内使用，可安装空间范围选择全部空间。

     

   • 回到「空间配置」-「 插件管理」，添加刚刚创建的插件。

     

   • 发布成功后，回到插件基本信息页，复制 Plugin ID 和 Plugin Secret，即可获得插件 ID 与密码。
     

系统配置-三方数据连接 #

三方数据连接需要统一通过开关开启，启用后当前环境支持微信公众号、巨量千川、日历等三方数据连接类型。若系统设置中未开启三方数据连接开关，用户在任何项目的新建数据连接页面都无法感知到系统支持三方数据连接。
操作步骤：打开数据连接-系统配置-三方数据连接，点击「启用」并保存。

智能体管理 #

智能体管理模块为您提供智能体后台 token 使用情况的全面可视化分析，包含消耗概览和消耗分析两个模块。您可以在消耗概览模块查看账户 token 总量及剩余量、按时间维度的 token 消耗趋势、各智能体及用户的消耗排行，同时可以在消耗分析通过高级筛选深入分析 token消耗构成。

注意事项 #

• 页面中所有 token 消耗数据均为实时统计，仅作参考，最终扣费请以实际账单为准。
• 日期范围选择器支持跨月选择，但不可选择未来日期。
• 高级筛选多选时，各筛选条件之间为“与”关系，即同时满足所有条件的记录才会被展示。
• 下载的明细数据为当前筛选条件下的全量数据，不受表格分页限制。

查看消耗概览 #

侧边导航单击智能体管理，可查看 token 消耗概览（支持按照时间范围进行筛选）。您可在消耗概览中查看以下内容：

• 当前账户的 token 总量及消耗趋势，支持按时间维度查看以及按时间范围筛选。
• 查看按智能体汇总（Top10）和按用户汇总（Top10）的排名数据，您也可查看对应各智能体与用户的消耗情况。

按智能体排名的列表项说明如下：

按智能体排名的列表项说明如下

查看 token 消耗分析 #

token 消耗分析位于 token 消耗概览下方，您可滚动页面查看。token 消耗分析支持查看消耗分析功能和查看消耗明细功能，同时在趋势图右边可以进行高级筛选。

• 查看消耗趋势：根据当前筛选条件，显示 token 消耗量 Top10的维度项（如智能体/用户/功能）的折线，每条折线代表一个维度项在时间轴上的消耗变化。您可将鼠标悬停在折线某点，可查看该时间点、维度项名称及对应消耗值。

• 查看消耗明细：消耗明细以列表形式展示，根据当前筛选条件，表格第一行是汇总行，最后一列为汇总列（各维度项在所选时间范围内的总消耗）。您可在消耗明细中查看不同时间范围的消耗明细，可单击列表上方下载按钮，导出明细。
  
  维度说明：

  维度	说明
  分类维度	下拉选择智能体/用户/功能。
  时间粒度	可选“天”或“月”，决定下方折线图和明细表的时间刻度。
  日期选择	根据所选时间粒度显示对应的日期范围选择器，支持自定义起止日期。

  高级筛选及操作说明：

  筛选项/操作	说明
  智能体	下拉选择已发布和已下线的智能体（含名称和ID），支持搜索和手动多选。
  用户	下拉选择用户名，支持搜索和手动多选。
  功能	下拉选择智能问数/深度研究/洞察报告，支持多选。
  操作	全部清除：一键清除所有已选筛选条件。 展开/收起：单击高级筛选按钮，可选择展开或收起高级筛选。

队列配置 #

在系统管理中，点击系统配置按钮，在左侧边栏中选择队列配置模块，可进行队列管理。完整介绍请您查看队列配置。

存储管理 #

系统管理员在新建项目时，可以按照设定给每个项目分配指定的存储资源。在存储管理界面，可以查看资源概览信息，配置存储策略，包含开启资源管控的开关，项目资源限制配置，资源超出限制配置。此外还可以查看并搜索使用明细等。存储资源总量在部署或升级时产生或变化，如需调整请联系系统运维。

管理员可设置项目资源默认上限。管理员可在储存策略-开启资源管控中对所有项目进行统一项目资源限制，也可以在使用明细中对某一项目进行设置。当项目资源超出限制后，将禁止新建抽取任务。

同步配置 #

系统管理员可在同步配置中设置数据生命周期和回溯时间的上限，提前约束用户行为，减少人为导致的资源浪费，避免运行资源的阻塞和不必要的开销。