You need to enable JavaScript to run this app.
文档中心
大数据研发治理套件(私有化)

大数据研发治理套件(私有化)

复制全文
加密解密
管理数据加密任务
复制全文
管理数据加密任务

通过数据加解密、数据脱敏等方式,可以实现对敏感数据的保护。其中,数据加密支持采用可视化静态加密和SQL函数加密两种操作方法,来实现对敏感数据的保护,您可按需选择。

  • 可视化加密:通过加密任务来实现,支持任务创建、运维管理等操作。
  • SQL函数加密:通过SQL函数实现数据加密。

前提条件

已创建支持类型的安全模式的集群,且该集群已完成元数据采集。创建集群相关操作说明可参见集群管理,元数据采集的相关说明请参见元数据采集

新建加密任务

  1. 登录DataLeap控制台。

  2. 选择概览 > 数据安全 > 数据保护 > 加密解密,直接进入数据加密页面。
    Image

  3. 单击新建加密任务按钮,进入新建加密任务页面。

  4. 根据页面提示,设置相关信息并依次单击下一步按钮,设置完成后,单击提交按钮完成加密任务创建。
    新建加密任务相关参数说明如下表所示。其中名称前带 * 的参数为必填参数,名称前未带 * 的参数为可选参数。

    参数

    说明

    基础信息

    *任务名称

    加密任务的名称,自行设定。
    任务名称不可仅由数字、符号组成,且首字符不能是符号。

    *负责人

    任务的负责人,自动填充为当前用户,不可编辑。
    该参数可在编辑任务时进行修改。

    描述

    任务的描述信息,长度不超过200个字符。

    *数据源

    支持的数据源类型,已支持LAS、Apache Hive、EMR StarRocks。

    说明

    • 该功能支持 LAS3,但暂不支持 LAS3 集群下的 hudi 表。LAS3 以 Apache Hive(CDH-3.2.2 版本) 方式接。
    • EMR StarRocks 仅 3.x 版本支持该功能。

    *集群

    创建任务的数据库所在的集群名称,下拉可选已创建的集群。

    说明

    仅可选择安全模式且已创建对应采集器的集群。若已绑定集群从快捷模式切换为安全模式,则数据安全侧第二天才能看到该元数据。

    *数据库

    创建任务的数据表所在库,下拉可选已创建的数据库。
    选择自己有权限的数据表所在库。

    *数据表

    创建任务的数据表,下拉可选自己有读写或只读权限的数据表。

    加密策略

    *字段名称

    要加密字段的名称。可通过以下两种方式添加字段设置项:

    • 添加单个字段
      1. 通过添加字段按钮,添加单个字段设置项。
      2. 字段名称下拉框中选择已有表字段,不可重复选择。选择字段名称后,该字段的类型、描述、保密级别、安全标签、是否敏感列等其他信息会自动填充显示。
    • 批量添加字段
      1. 通过清空并添加全部字段按钮, 清空原有输入的字段,并添加整张表的全部字段。
      2. 每个字段的加密算法均自动填充为原始值,不加密,可手动对需要加密的字段做调整。

    说明

    • 若字段类型为复杂字段(如array、map、struct),则该字段置灰不可选择加密。
    • 分区字段不支持加密操作。
    • Apache Hive 类型的数据支持清空并添加全部字段。

    *加密算法

    采用的加密算法。加密算法一旦设定不可编辑。
    不同数据源支持的算法有所不同,具体情况如下:

    • 当选择 Apache HiveEMR StarRocks 数据源时,支持 AES原始值,不加密两个选项。其中,原始值,不加密即指该列数据选择不加密。

      说明

      Apache Hive 选择了批量添加字段,则每个字段的加密算法均会自动填充为原始值,不加密,可手动对需要加密的字段做调整。

    • 当选择 LAS 数据源时,支持 AES_GCMSM4 选项,下拉可选。
      其中,SM4算法支持以下高级配置
      • 工作模式:支持选项ECB、CBC、CFB、OFB和CTR,默认为ECB。
      • 填充:支持选项NoPadding、PKCS5Padding和PKCS7Padding,默认为PKCS5Padding。
      • 初始向量:输入base64格式的字符串,长度必须为16个字节。

      说明

      • 工作模式选择ECB时,仅需设置填充参数项。
      • ECB/CBC-NoPadding 的加密数据长度必须为 16byte 的整数倍。

    *密钥

    使用的密钥。当前仅支持使用系统默认的密钥,默认选中,不可更改。

    目标数据表

    *处理方式

    采用的处理方式,支持写入新目标表方式,即选择一张目标表,在该表新增列并写入加密数据。

    *目标表类型

    目标数据表的类型,仅支持新建表并写入

    *数据库

    新建表所属的数据库,下拉可选已创建的数据库。

    说明

    仅当您具备该数据库的建表权限时,才可创建表。若无建表权限,可进行权限申请,请参见申请权限

    *数据表

    数据表的名称,自行设定。
    数据表名称仅可由数字、小写字母或下划线组成。

    说明

    数据表创建成功后,当前用户将默认成为该表的表负责人和表权限负责人。

    *保密级别

    数据表的保密级别,支持L1、L2、L3、L4四个选项,下拉可选。

    说明

    库下新增表的密级不能高于该库的密级。若表密级设置过高,系统会提示更改。

    列名

    字段配置加密策略后新增的列名,自动填充,可编辑。
    列名自动填充为“源列名_encrypted”,保密级别和安全标签默认采用对应字段的信息。

    任务调度

    *调度类型

    任务调度类型,支持手动执行周期执行两个选项。

    • 手动执行:由用户在任务列表的操作列单击执行按钮触发执行计划。
    • 周期执行:指任务可基于配置的调度参数定时自动执行。

    *分区字段

    将分区表指定字段作为日期分区。设置内容包括分区字段和分区字段值两部分:

    1. 分区字段:选项为已有的分区字段,下拉可选其中一个字段。
    2. 分区字段值:选择分区字段后,需填写分区的值。可填写固定值,或开发平台可支持的时间变量,例如 ${date}、${DATE}。

    说明

    • 调度类型选择周期执行时,需设置该参数。
    • 若此表没有分区,则不显示该参数。
    • 当存在多个分区字段时,应选择天级分区字段。

    *调度生效日期

    调度的生效时间范围。超出调度生效时间,任务会自动关闭。

    • 开始时间默认填写为“当下日期和时刻”,结束时间默认填写为“一个月后的同一日期和时刻”。
    • 开始时间:只能选“当下日期和时刻”之后的时间。
    • 结束时间:距离开始时间不超过1年,不能在开始时间之前。

    说明

    调度类型选择周期执行时,需设置该参数。

    *执行频率

    调度执行频率,支持每天、每周和每月三个选项。

    • 每天:执行日期需要设置每天的几点来执行。
    • 每周:执行日期需要设置每周几来执行,支持多选。
    • 每月:执行日期需要设置每月几号执行,支持多选。

    说明

    调度类型选择周期执行时,需设置该参数。

    *执行日期

    调度执行的日期,采用“日期”或“时刻”的配置方式。

    • 执行频率选择每天时,执行日期选项为具体的时刻。
    • 执行频率选择每周时,执行日期选项为周一 ~ 周日,可多选。
    • 执行频率选择每月时,执行日期选项为1~31,可多选。

    说明

    调度类型选择周期执行时,需设置该参数。

    *资源队列

    任务调度时使用的资源队列,下拉可选已创建的资源队列。创建资源队列的操作请参见资源管理

    说明

    数据源选择 Apache HiveLAS 时,需设置该参数。

    上游依赖

    当前任务的上游依赖,内容包括任务名称、表名、分区信息,显示为列表形式。
    系统根据任务详情会推荐显示所有任务依赖,仅勾选的任务才会作为当前任务的实际上游依赖。
    调度类型选择周期执行时,可设置该参数。

    说明

    当系统检测到源表有任务依赖时,会显示该参数并返回相关任务信息。

    • 若检测到无任务依赖,则建议选择手动执行
    • 若选择了上游依赖任务,则建议将调度时间设置为所选任务之后。

管理加密任务

创建加密任务后,在相应任务的列表展示页面,可以分别进行查询、执行、修改负责人等管理操作,步骤如下:

  1. 登录DataLeap控制台。
  2. 选择概览 > 数据安全 > 数据保护 > 加密解密,进入加密解密页面。
  3. 单击数据加密页签,进入相应页面。
  4. 可执行以下操作:
    • 设置搜索信息,查询符合条件的任务信息列表。
    • 单击某条信息源数据表目标数据表的详情图标,可以查看相应表的详情信息。
    • 单击某条信息的任务ID操作列的查看详情按钮,在任务详情页,可以查看该任务的详情信息,还可单击编辑按钮,进入编辑页面,可以修改该任务的负责人和调度设置信息。
    • 单击某条信息操作列的执行按钮,在弹出的窗口中,选择一个或多个执行分区后,单击确认按钮,二次确认后,可手动执行该任务。

      说明

      仅当任务同时满足以下条件时,才能手动执行。

      • 调度类型手动执行
      • 最近执行状态未处于正在执行
      • 任务状态开启
    • 单击某条信息操作列的修改负责人按钮,在弹出的窗口中,可以快速更改该任务的负责人。
    • 单击某条信息操作列的 … > 执行日志按钮,在弹出的侧拉窗口中,可以查看该任务的执行日志列表。
    • 单击某条信息操作列的 … > 开启按钮,二次确认后,可以开启该任务。
    • 单击某条信息操作列的 … > 关闭按钮,二次确认后,可以关闭该任务。
    • 单击某条信息操作列的 … > 删除按钮,二次确认后,可以删除该任务。
    • 单击某条信息操作列的 … > 终止按钮,二次确认后,可以终止该任务本次执行。

说明

  • 仅当任务状态开启,且最近执行状态未处于正在执行时,才可执行关闭操作。
  • 仅当任务状态关闭时,才可执行开启、删除操作。
  • 仅当任务的最近执行状态正在执行时,才可执行终止操作。

SQL函数加密

本功能通过SQL函数实现数据的加密,并支持自定义key和nonce参数。
在LAS SQL任务开发过程中,执行插入、查询操作时,可以使用上传的加密函数对相应字段进行加密操作。数据加密的具体步骤如下:

  1. 登录DataLeap控制台。
  2. 选择概览 > 数据开发 > 任务开发,进入任务开发页面。
  3. 通过以下操作,可进入相应的LAS SQL语句编辑页面。
    • 单击新建任务按钮,创建LAS SQL任务。
    • 单击临时查询页面的新建查询按钮,创建临时查询。
  4. 编写SQL语句,使用已上传的加密函数对需要加密的字段进行加密,可实现数据加密,如下图所示。
    Image
  5. 单击运行图标,运行成功后,显示相应的结果。
    • 当执行插入操作,即将字段写入另一张表时,运行成功后会提示写入成功。
    • 当执行查询操作时,运行成功后会显示相应的加密结果数据。

说明

若需要创建资源、函数、任务、临时查询等,详细操作说明请参见资源库函数库LAS SQL任务新建临时查询

后续操作

  • 执行加密任务后,您可前往数据开发页面,通过调试数据开发任务、临时查询等操作,查看数据加密效果。
  • 数据加密后,您需要申请该任务的解密权限,才可创建相应的解密任务,进行数据解密。申请解密权限的相关说明可参见管理解密权限
最近更新时间:2025.12.04 17:51:11
这个页面对您有帮助吗?
有用
有用
无用
无用