数据加密

针对数据安全问题，在常规的权限管控基础上，还需要防止恶意窃取硬件设备导致的数据泄漏。将数据加密存储成为必要的解决方案。
LAS 支持字段级的加解密能力，加密实现在文件格式层，加密计算发生在可信的 LAS 环境，敏感数据和密钥硬件存储层不可知。LAS 实现基于表和用户权限对应配置，实现用户无感加密/解密敏感数据，数据加密的同时也给授权用户提供了完整的文件级别能力，计算引擎在执行过程中会统一解析语句，并自动添加加解密配置，用户无需为加密能力改造原有 SQL。

进入数据管理-表管理页面，点击创建表。
注：当前 LAS 的加密能力在创建表后不支持修改加密范围，请在创建表时谨慎选择。

创建加密表限制：

• 外表只支持 parquet 格式的 TOS 表。

• Array 和 Map 类型字段不支持加密。

• 分区字段不支持加密。

2.1 可视化建表

选择 启用数据加密，目前加密算法支持 AES_GCM_CTR_V1，加密范围支持 部分列加密 和 整表加密 两种。

选择 整表加密，所有字段默认勾选加密选项。
选择 部分列加密，需要至少勾选一列加密列。

2.2 DDL 建表/视图

加密相关表参数：
parquet.encryption.enabled：
parquet.encryption.algorithm： = 'AES_GCM_CTR_V1',
parquet.encryption.scope column
parquet.encryption.fields

选择 DDL 建表/视图 Tab。

内表部分列加密：

CREATE TABLE IF NOT EXISTS tpcds1g.test_encryption_part_columns (m1 INT, m2 BIGINT, m3 STRING) PARTITIONED BY (dt STRING) TBLPROPERTIES (
  'parquet.encryption.enabled' = 'true',
  'parquet.encryption.algorithm' = 'AES_GCM_CTR_V1',
  'parquet.encryption.scope' = 'column',
  'parquet.encryption.fields' = 'm2,m3'
)

内表整表加密：

CREATE TABLE IF NOT EXISTS tpcds1g.test_encryption_internal_entire (m1 STRING, m2 STRING, m3 STRING) PARTITIONED BY (dt STRING) TBLPROPERTIES (
  'parquet.encryption.enabled' = 'true',
  'parquet.encryption.algorithm' = 'AES_GCM_CTR_V1',
  'parquet.encryption.scope' = 'table'
)

外表部分列加密：

CREATE EXTERNAL TABLE `tpcds1g`.`test_encryption_external_part_column`(m1 INT, m2 INT, m3 STRING) PARTITIONED BY (dt STRING) STORED AS Parquet location 'tos://aipai-test/test/AAA' TBLPROPERTIES (
  'parquet.encryption.enabled' = 'true',
  'parquet.encryption.algorithm' = 'AES_GCM_CTR_V1',
  'parquet.encryption.scope' = 'column',
  'parquet.encryption.fields' = 'm3'
)

外表整表加密：

CREATE EXTERNAL TABLE `tpcds1g`.`test_encryption_external_entire_table`(m1 BIGINT, m2 STRING, m3 STRING) PARTITIONED BY (dt STRING) STORED AS Parquet location 'tos://aipai-test/test/AAA' TBLPROPERTIES (
  'parquet.encryption.enabled' = 'true',
  'parquet.encryption.algorithm' = 'AES_GCM_CTR_V1',
  'parquet.encryption.scope' = 'table'
)

2.3 表编辑

在表编辑页面，除字段备注外，加密表不允许其他的内容变更。

进入 数据管理-表管理 页面，点击 表详情-表信息，会展示表加密信息。

LAS 加解密权限和数据权限独立，没有继承关系。 一方面，表的创建者默认获得该表的数据权限。另一方面，表的 Admin 用户需要通过自我授权，才可获得加解密权限。最终生效范围为：用户的数据权限及解密权限的交集；当且仅当用户具备表的读权限及解密权限时，才可读取到明文。
如何操作：进入 权限管理-加解密权限 页面，用户可管理自身具备表的 Admin 角色的表，为其他用户添加或移除加解密权限。

• 解密权限：

  • 对于整表加密：没有解密权限，查询加密表失败，提示无 DECRYPTION 权限。

  • 对于部分列加密：没有解密权限，查询加密列提示无 DECRYPTION 权限，查询非加密列正常。

示例 1：无加解密权限
创建部分列加密内表，并对测试用户授予表 Admin 权限，未授予测试用户解密权限。

CREATE TABLE IF NOT EXISTS testyw.test_encryption_internal (m1 INT, m2 INT, m3 INT) PARTITIONED BY (dt STRING) TBLPROPERTIES (
  'ttl_enable' = 'false',
  'parquet.encryption.enabled' = 'true',
  'parquet.encryption.algorithm' = 'AES_GCM_CTR_V1',
  'parquet.encryption.scope' = 'column',
  'parquet.encryption.fields' = 'm3'
)

用户查询加密表，提示没有解密权限。

select * from testyw.test_encryption_internal where dt = '2023'

用户查询加密表的非加密字段，提示查询成功。

示例 2：有解密权限
为用户授予表解密权限后，再次测试加密表写入，结果是用户可以正常执行。

insert into testyw.test_encryption_internal(dt,m1,m2,m3) values (20230301,1,2,3);

• 写加密表

  • 目前仅支持 Spark SQL 写，不支持 Jar 任务写。

• 功能限制

  • 生态连接 JDBC 暂不支持加密表。

  • Presto 暂不支持读取加密外表。