CnchHive 为 Bytehouse 团队提供的一种表引擎，支持使用外表的方式进行联邦查询，用户无需通过数据导入，可以直接查询 Hive 外表中的数据，提升数据处理的灵活性和方便性。本文将介绍如何创建、查询和写入外表。

外表的功能旨在提供除 ByteHouse 内部表以外的其他数据的处理能力。通过一条简单的 DDL 语句，即可在 ByteHouse 上创建一张外表，建立 ByteHouse 表与外部数据源的关联。

• 外表在 ByteHouse 侧只会产生计算费用，遵循 ByteHouse 计算资源计费规则，详情请参见计算资源。
• 使用外表功能时，外表的数据不会复制一份存储在 ByteHouse 上并产生存储费用。存储费用请关注外部数据源存储侧计费规则。
• 使用 ByteHouse 外表访问外部数据源时，外部数据源可能会产生计算、访问、数据传输等费用，具体以外部数据源计费方式为准，请关注相应产品的说明。

• 当前仅支持 Parquet/Orc/CSV/Text 格式的数据。
• 当前仅支持对 Hive 外表的 select、insert 操作，暂不支持 alert；且当前仅支持 Hive 表，不支持视图 View。
• 当外部数据源的 Hive 表 schema 变更时，当前不支持自动同步至 ByteHouse 外表，您需要在 ByteHouse 中重新创建 Hive 外表。

在开始操作前，请确保您已经具备以下必要的权限和信息：

通过创建 ByteHouse 外表，把 Hive 外表数据的描述引入到 ByteHouse，即可实现对 Hive 数据的处理。
创建 Hive 外表时，您需指定关联的 Hive 外表的库表信息，当前支持通过以下两种方式设置：

• （推荐）创建外部 Catalog 及外表
• 在通用建表 DDL 中直接指定 Hive 外表

方式一：（推荐）创建外部 Catalog 及外表

此方式引入了外部 Catalog，需要先创建一个外部 Catalog 并保存好对应连接参数，创建外表时只需指定引擎及计算组信息，后续访问外表时，可直接通过三段式 catalog.db.table 访问。
本章节创建的外部 Catalog 及外表使用火山引擎 AI 数据湖服务 LAS（Lake AI Service）为例，存储服务使用火山引擎对象存储 TOS（ Torch Object Storage）为例。您可根据实际使用的存储介质和 Hive 外表信息替换示例中的参数。

创建 External Catalog。系统将自动映射其中的表。

CREATE EXTERNAL CATALOG `las_catalog` PROPERTIES　
    aws.s3.endpoint='tos-s3-{REGION}.ivolces.com',　
    aws.s3.access_key='AKLTMjNkMDRlMXXXXXXXXXXWUzZ******',　
    aws.s3.secret_key='WVXXXXXXXXXXXXXXXXXX******',　
    lf_metastore_ak_id='AKLTMjNkMDRlMXXXXXXXXXXWUzZ******',
    lf_metastore_ak_secret='WVXXXXXXXXXXXXXXXXXX******',　
    lf_metastore_catalog='benchmark',　
    lf_metastore_region='{REGION}',　
    lf_metastore_url = 'thrift://lakeformation.las.{REGION}.ivolces.com:48869',
    type='lf';

方式二：在通用建表 DDL 中直接指定 Hive 外表

本章节的示例使用 TOS 为存储介质，在通用建表 DDL 中直接指定 LAS 作为 Hive 外表，您可根据实际使用的存储服务和 Hive 外表信息替换示例中的参数。

CREATE DATABASE IF NOT EXISTS ext

CREATE TABLE ext.las
ENGINE = CnchHive('thrift://lakeformation.las.{REGION}.ivolces.com:48869', 'ssb100parquet', 'lineorder_flat')
SETTINGS 
    meta_type = 'lf',
    lf_metastore_catalog = 'benchmark', 
    lf_metastore_region = '{REGION}', 
    lf_metastore_ak_id = 'AKLTMjNkMDRlMXXXXXXXXXXWUzZ******',
    lf_metastore_ak_secret='WVXXXXXXXXXXXXXXXXXX******', 
    lf_metastore_url = 'thrift://lakeformation.las.{REGION}.ivolces.com:48869',
    endpoint = 'tos-s3-{REGION}.ivolces.com', 
    ak_id = 'AKLTMjNkMDRlMXXXXXXXXXXWUz******', 
    ak_secret='WVXXXXXXXXXXXXXXXXXX******';

Hive 外表的查询和普通表的查询操作基本一致。例如：

• Catalog 方式

  select * from  las_catalog.db.table where xxx;
  

• 通用方式

  select * from  t where xxx;
  

查询加速：开启 Disk Cache

1. 申请开启 Disk Cache 功能。
   ByteHouse 为您提供硬盘缓存能力，可将部分数据缓存在您的本地硬盘中，以提高查询效率。此功能默认关闭，如果您希望使用此功能，可联系技术支持人员开启功能。
2. 功能开启后，在查询外表数据时，默认会使用硬盘缓存功能。

   说明

   如果您希望某次查询时关闭硬盘缓存，可在创建外表时设置 SETTINGS 参数，disk_cache_mode = 'SKIP_DISK_CACHE' 。

开启 BSP 模式

BSP 模式可以进行任务级别的容错和更细粒度的调度，当 query 运行中遇到错误时，可以自动重试当前的任务，而不是从头进行重试，减少重试成本。同时，当 query 需要的内存巨大，甚至大于单机的内存时，可以通过增加并行度来减少单位时间内内存的占用。
您可以在查询时指定 settings 参数启用 BSP 模式，settings 参数说明如下：

示例：

select * from  t SETTINGS bsp_mode = 1, distributed_max_parallel_size = 4;

Hive 外表的写入和普通表的写入操作基本一致。以创建 LAS Catalog 后，向 LAS 外表写入数据为例：

• Catalog 方式

  insert into/overwrite las_catalog.db.table values (xxx);
  insert into/overwrite las_catalog.db.table select * from xxx settings enable_optimizer =1;
  

• 通用方式

  insert into/overwrite db.t values (xxx);
  

向外表写入数据时，ByteHouse 也支持开启 BSP 模式，操作详情请参见开启 BSP 模式。