You need to enable JavaScript to run this app.
文档中心
E-MapReduce

E-MapReduce

复制全文
下载 pdf
访问数据湖
Doris 访问 LAS Catalog
复制全文
下载 pdf
Doris 访问 LAS Catalog

火山引擎 EMR Serverless 中,支持通过 Doris 实例直接访问 LAS Catalog,本文为您示例操作要点和注意事项。

支持的版本
  • 2.x 版本:2.1.11及以上版本的Doris开始支持访问 LAS Catalog。
  • 3.x 版本:3.0.8及以上版本的Doris开始支持访问 LAS Catalog。

准备工作

获取 LAS Catalog 信息

  1. 使用有访问 LAS Catalog 权限的账号登录火山引擎控制台,获取可访问LAS Catalog的用户AK/SK。
    Image
    Image

获取Doris的数据库信息

  1. 点击Doris实例卡片-用户管理,新建用户用于连接Doris引擎。

  2. 点击Doris实例卡片-网络连接,获取连接信息(可选开启公网IP)。
    Image

Doris 实例访问 LAS Catalog

以下为您示例通过 Doris 实例创建 LAS Catalog、查询 LAS Catalog 中的库表的代码示例。

Hive

说明

非 LAS Catalog的访问请参见Hive 基础操作

  1. 创建Hive Catalog

    CREATE CATALOG ${自定义catalog名称} PROPERTIES (
      'type' = 'hms',
      'hive.metastore.type' = 'las',
      'hive.metastore.uris' = 'thrift://lakeformation.las.${region}.ivolces.com:48869',
      'hive.metastore.catalog.default' = '${las catalog名称}', 
      'warehouse' = '${las catalog存储TOS路径}',
      -- LAS 鉴权
      'las.hive.metastore.service'   = 'catalog_service',
      'las.hive.metastore.region'    = '${region}',
      'las.hive.metastore.access.key'= '${AK}',
      'las.hive.metastore.secret.key'= '${SK}',
      'las.tos.endpoint' = 'tos-${region}.ivolces.com',
      -- S3/TOS 访问配置
      'aws.s3.enable_ssl' = 'false',
      'aws.s3.region' = '${region}',
      'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com',
      'aws.s3.access_key' = '${AK}',
      'aws.s3.secret_key' = '${SK}'
    ); 
    

    其中:

    • las.tos.endpoint :为 proton 访问 tos 的 endpoint。
    • aws.s3.endpoint:为后端访问 s3 的 endpoint。
    • hive.metastore.catalog.default:用于切换 LAS 的多个 Catalog,指定原本属于 LAS 的 Catalog。
  2. 切换Catalog,并查看数据库

    switch ${已创建catalog名称};
    show databases;
    use ${数据库名};
    
  3. 查询已有Hive表

    show tables;
    select * from ${表名称};
    

Iceberg

说明

非 LAS Catalog的访问请参见Doris 实例访问 Iceberg Catalog

  1. 创建Iceberg Catalog

    CREATE CATALOG ${自定义catalog名称} PROPERTIES (
      'type' = 'iceberg',
      'iceberg.catalog.type' = 'las',
      'iceberg.catalog.warehouse' = '${las catalog存储TOS路径}',
      'hive.metastore.uris' = 'thrift://lakeformation.las.${region}.ivolces.com:48869',
      'hive.metastore.catalog.default' = '<las_catalog_name>', 
      -- LAS 鉴权
      'las.hive.metastore.service'   = 'catalog_service',
      'las.hive.metastore.region'    = '${region}',
      'las.hive.metastore.access.key'= '${AK}',
      'las.hive.metastore.secret.key'= '${SK}',
      'las.tos.endpoint' = 'tos-${region}.ivolces.com',
      -- S3/TOS 访问配置
      'aws.s3.enable_ssl' = 'false',
      'aws.s3.region' = '${region}',
      'aws.s3.use_instance_profile' = 'false',
      'aws.s3.use_aws_sdk_default_behavior' = 'false',
      'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com',
      'aws.s3.access_key' = '${AK}',
      'aws.s3.secret_key' = '${SK}'
     ); 
    

    其中:

    • las.tos.endpoint :为 proton 访问 tos 的 endpoint。
    • aws.s3.endpoint:为后端访问 s3 的 endpoint。
    • hive.metastore.catalog.default:用于切换 LAS 的多个 Catalog,指定原本属于 LAS 的 Catalog。
  2. 切换Catalog,并查看数据库

    switch ${已创建catalog名称};
    show databases;
    use ${数据库名};
    
  3. 查询已有Iceberg表

    show tables;
    select * from ${表名称};
    

Paimon

说明

非 LAS Catalog的访问请参见基础使用

  1. 创建Paimon Catalog

    CREATE CATALOG doris_308_paimon_hns PROPERTIES (
      'type' = 'paimon',
      'paimon.catalog.type' = 'las',
      'hive.metastore.uris' = 'thrift://lakeformation.las.cn-beijing.ivolces.com:48869',
      'hive.metastore.catalog.default' = '${las catalog名称}', 
      'warehouse' = '${las catalog存储TOS路径}',
      -- LAS 鉴权
      'las.hive.metastore.service'   = 'catalog_service',
      'las.hive.metastore.region'    = '${region}',
      'las.hive.metastore.access.key'= '${AK}',
      'las.hive.metastore.secret.key'= '${SK}',
      'las.tos.endpoint' = 'tos-${region}.ivolces.com',
      -- S3/TOS 访问配置
      'aws.s3.enable_ssl' = 'false',
      'aws.s3.region' = '${region}',
      'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com',
      'aws.s3.access_key' = '${AK}',
      'aws.s3.secret_key' = '${SK}'
      ); 
    

    其中:

    • las.tos.endpoint :为 proton 访问 tos 的 endpoint。
    • aws.s3.endpoint:为后端访问 s3 的 endpoint。
    • hive.metastore.catalog.default:用于切换 LAS 的多个 Catalog,指定原本属于 LAS 的 Catalog。
  2. 切换Catalog,并查看数据库

    switch ${已创建catalog名称};
    show databases;
    use ${数据库名};
    
  3. 查询已有Iceberg表

    show tables;
    select * from ${表名称};
    
最近更新时间:2026.03.31 20:34:13
这个页面对您有帮助吗?
有用
有用
无用
无用