火山引擎 EMR Serverless 中,支持通过 Doris 实例直接访问 LAS Catalog,本文为您示例操作要点和注意事项。
点击Doris实例卡片-用户管理,新建用户用于连接Doris引擎。
点击Doris实例卡片-网络连接,获取连接信息(可选开启公网IP)。
以下为您示例通过 Doris 实例创建 LAS Catalog、查询 LAS Catalog 中的库表的代码示例。
说明
非 LAS Catalog的访问请参见Hive 基础操作。
创建Hive Catalog
CREATE CATALOG ${自定义catalog名称} PROPERTIES ( 'type' = 'hms', 'hive.metastore.type' = 'las', 'hive.metastore.uris' = 'thrift://lakeformation.las.${region}.ivolces.com:48869', 'hive.metastore.catalog.default' = '${las catalog名称}', 'warehouse' = '${las catalog存储TOS路径}', -- LAS 鉴权 'las.hive.metastore.service' = 'catalog_service', 'las.hive.metastore.region' = '${region}', 'las.hive.metastore.access.key'= '${AK}', 'las.hive.metastore.secret.key'= '${SK}', 'las.tos.endpoint' = 'tos-${region}.ivolces.com', -- S3/TOS 访问配置 'aws.s3.enable_ssl' = 'false', 'aws.s3.region' = '${region}', 'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com', 'aws.s3.access_key' = '${AK}', 'aws.s3.secret_key' = '${SK}' );
其中:
las.tos.endpoint :为 proton 访问 tos 的 endpoint。aws.s3.endpoint:为后端访问 s3 的 endpoint。hive.metastore.catalog.default:用于切换 LAS 的多个 Catalog,指定原本属于 LAS 的 Catalog。切换Catalog,并查看数据库
switch ${已创建catalog名称}; show databases; use ${数据库名};
查询已有Hive表
show tables; select * from ${表名称};
说明
非 LAS Catalog的访问请参见Doris 实例访问 Iceberg Catalog。
创建Iceberg Catalog
CREATE CATALOG ${自定义catalog名称} PROPERTIES ( 'type' = 'iceberg', 'iceberg.catalog.type' = 'las', 'iceberg.catalog.warehouse' = '${las catalog存储TOS路径}', 'hive.metastore.uris' = 'thrift://lakeformation.las.${region}.ivolces.com:48869', 'hive.metastore.catalog.default' = '<las_catalog_name>', -- LAS 鉴权 'las.hive.metastore.service' = 'catalog_service', 'las.hive.metastore.region' = '${region}', 'las.hive.metastore.access.key'= '${AK}', 'las.hive.metastore.secret.key'= '${SK}', 'las.tos.endpoint' = 'tos-${region}.ivolces.com', -- S3/TOS 访问配置 'aws.s3.enable_ssl' = 'false', 'aws.s3.region' = '${region}', 'aws.s3.use_instance_profile' = 'false', 'aws.s3.use_aws_sdk_default_behavior' = 'false', 'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com', 'aws.s3.access_key' = '${AK}', 'aws.s3.secret_key' = '${SK}' );
其中:
las.tos.endpoint :为 proton 访问 tos 的 endpoint。aws.s3.endpoint:为后端访问 s3 的 endpoint。hive.metastore.catalog.default:用于切换 LAS 的多个 Catalog,指定原本属于 LAS 的 Catalog。切换Catalog,并查看数据库
switch ${已创建catalog名称}; show databases; use ${数据库名};
查询已有Iceberg表
show tables; select * from ${表名称};
说明
非 LAS Catalog的访问请参见基础使用。
创建Paimon Catalog
CREATE CATALOG doris_308_paimon_hns PROPERTIES ( 'type' = 'paimon', 'paimon.catalog.type' = 'las', 'hive.metastore.uris' = 'thrift://lakeformation.las.cn-beijing.ivolces.com:48869', 'hive.metastore.catalog.default' = '${las catalog名称}', 'warehouse' = '${las catalog存储TOS路径}', -- LAS 鉴权 'las.hive.metastore.service' = 'catalog_service', 'las.hive.metastore.region' = '${region}', 'las.hive.metastore.access.key'= '${AK}', 'las.hive.metastore.secret.key'= '${SK}', 'las.tos.endpoint' = 'tos-${region}.ivolces.com', -- S3/TOS 访问配置 'aws.s3.enable_ssl' = 'false', 'aws.s3.region' = '${region}', 'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com', 'aws.s3.access_key' = '${AK}', 'aws.s3.secret_key' = '${SK}' );
其中:
las.tos.endpoint :为 proton 访问 tos 的 endpoint。aws.s3.endpoint:为后端访问 s3 的 endpoint。hive.metastore.catalog.default:用于切换 LAS 的多个 Catalog,指定原本属于 LAS 的 Catalog。切换Catalog,并查看数据库
switch ${已创建catalog名称}; show databases; use ${数据库名};
查询已有Iceberg表
show tables; select * from ${表名称};