You need to enable JavaScript to run this app.
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduce最佳实践EMR Serverless 实例最佳实践Doris访问数据湖 Doris 访问 LAS Catalog
复制全文
我的收藏
访问数据湖
Doris 访问 LAS Catalog
复制全文
我的收藏
Doris 访问 LAS Catalog

自1.11版本开始，火山引擎EMR Serverless中，支持通过Doris实例直接访问 LAS Catalog，本文为您示例操作要点和注意事项。

支持的版本
  • 2.x 版本：2.1.11及以上版本的Doris开始支持访问 LAS Catalog。
  • 3.x 版本：3.0.8及以上版本的Doris开始支持访问 LAS Catalog。

准备工作

获取 LAS Catalog 信息

  1. 是有有访问 LAS Catalog 权限的账号登录火山引擎控制台，获取可访问LAS Catalog的用户AK/SK。
    Image
    Image

获取Doris的数据库信息

  1. 点击Doris实例卡片-用户管理，新建用户用于连接Doris引擎。

  2. 点击Doris实例卡片-网络连接，获取连接信息（可选开启公网IP）。
    Image

Doris 实例访问 LAS Catalog

以下为您示例通过 Doris 实例创建 LAS Catalog、查询 LAS Catalog 中的库表的代码示例。

Hive

  1. 创建Hive Catalog

    CREATE CATALOG ${自定义catalog名称} PROPERTIES (
  'type' = 'hms',
  'hive.metastore.type' = 'las',
  'hive.metastore.uris' = 'thrift://lakeformation.las.${region}.ivolces.com:48869',
  'hive.metastore.catalog.default' = '${las catalog名称}', 
  'warehouse' = '${las catalog存储TOS路径}',
  -- LAS 鉴权
  'las.hive.metastore.service'   = 'catalog_service',
  'las.hive.metastore.region'    = '${region}',
  'las.hive.metastore.access.key'= '${AK}',
  'las.hive.metastore.secret.key'= '${SK}',
  'las.tos.endpoint' = 'tos-${region}.ivolces.com',
  -- S3/TOS 访问配置
  'aws.s3.enable_ssl' = 'false',
  'aws.s3.region' = '${region}',
  'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com',
  'aws.s3.access_key' = '${AK}',
  'aws.s3.secret_key' = '${SK}'
);

  2. 切换Catalog，并查看数据库

    switch ${已创建catalog名称};
show databases;
use ${数据库名};

  3. 查询已有Hive表

    show tables;
select * from ${表名称};

Iceberg

  1. 创建Iceberg Catalog

    CREATE CATALOG ${自定义catalog名称} PROPERTIES (
  'type' = 'iceberg',
  'iceberg.catalog.type' = 'las',
  'iceberg.catalog.warehouse' = '${las catalog存储TOS路径}',
  'hive.metastore.uris' = 'thrift://lakeformation.las.${region}.ivolces.com:48869',
  -- LAS 鉴权
  'hive.metastore.catalog.default' = '${las catalog名称}',
  'las.hive.metastore.service'   = 'catalog_service',
  'las.hive.metastore.region'    = '${region}',
  'las.hive.metastore.access.key'= '${AK}',
  'las.hive.metastore.secret.key'= '${SK}',
  'las.tos.endpoint' = 'tos-${region}.ivolces.com',
  -- S3/TOS 访问配置
  'aws.s3.enable_ssl' = 'false',
  'aws.s3.region' = '${region}',
  'aws.s3.use_instance_profile' = 'false',
  'aws.s3.use_aws_sdk_default_behavior' = 'false',
  'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com',
  'aws.s3.access_key' = '${AK}',
  'aws.s3.secret_key' = '${SK}'
 );

  2. 切换Catalog，并查看数据库

    switch ${已创建catalog名称};
show databases;
use ${数据库名};

  3. 查询已有Iceberg表

    show tables;
select * from ${表名称};

Paimon

  1. 创建Paimon Catalog

    CREATE CATALOG doris_308_paimon_hns PROPERTIES (
  'type' = 'paimon',
  'paimon.catalog.type' = 'las',
  'hive.metastore.uris' = 'thrift://lakeformation.las.cn-beijing.ivolces.com:48869',
  'hive.metastore.catalog.default' = '${las catalog名称}', 
  'warehouse' = '${las catalog存储TOS路径}',
  -- LAS 鉴权
  'las.hive.metastore.service'   = 'catalog_service',
  'las.hive.metastore.region'    = '${region}',
  'las.hive.metastore.access.key'= '${AK}',
  'las.hive.metastore.secret.key'= '${SK}',
  'las.tos.endpoint' = 'tos-${region}.ivolces.com',
  -- S3/TOS 访问配置
  'aws.s3.enable_ssl' = 'false',
  'aws.s3.region' = '${region}',
  'aws.s3.endpoint' = 'tos-s3-${region}.ivolces.com',
  'aws.s3.access_key' = '${AK}',
  'aws.s3.secret_key' = '${SK}'
  );

  2. 切换Catalog，并查看数据库

    switch ${已创建catalog名称};
show databases;
use ${数据库名};

  3. 查询已有Iceberg表

    show tables;
select * from ${表名称};
最近更新时间：2026.02.02 11:48:50
这个页面对您有帮助吗？
有用
有用
无用
无用