You need to enable JavaScript to run this app.
E-MapReduce

E-MapReduce

请输入
  • 文档首页
    • E-MapReduce组件操作指南Proton快速上手Proton 缓存模式（TOS加速器）
复制全文
我的收藏
快速上手
Proton 缓存模式（TOS加速器）
复制全文
我的收藏
Proton 缓存模式（TOS加速器）

本文为您介绍火山引擎 E-MapReduce（EMR）集群 使用 Proton + TOS加速器 实现存算分离缓存模式。

TOS 侧配置

配置 TOS 加速器

配置接入点

在“接入点”——“单区域接入点”中，点击“创建单区域接入点”。
Image
接入点名称建议采取{bucket}-accelerator的形式，存储桶列表中选择接入点绑定的桶名字，这个桶就是未来被加速器加速的桶
Image

配置加速器

  1. 选择“TOS加速器”，点击“创建TOS加速器”。
    Image
  2. 创建TOS加速器。区域要选择与刚才创建的接入点相同的region，可用区推荐选择与EMR集群相同的可用区。加速范围选择单区域接入点，加速域名选择刚才创建的接入点。如果要加速多个桶，可以在下面继续添加行。
    Image
  3. 选择好加速域名后，会弹出新的输入框用于配置加速策略和加速路径，这里按需选择即可。
    Image

配置 TOS 认证

Proton访问TOS加速器需经过TOS认证，支持3种认证方式：Assume Role、静态AKSK、环境变量AKSK。详细内容参考Hadoop 使用 Proton--E-MapReduce-火山引擎。

Proton 侧配置

使用 hadoop shell 命令访问 TOS 加速器

TOS加速器需要使用接入点域名访问，在存算分离架构下，接入点域名被映射为特殊的集群名。例如原始的文件路径为tos://{bucket_name}/datawarehouse/database/table，加速器接入点的路径为tos://{access_point_name}/datawarehouse/database/table。

  1. 进入TOS加速器页面，查看TOS加速器的加速域名。
    Image
    例如：
    • 原始路径：bucket-accelerator-0197ca6c5e44759faf****-tosalias.tos-cn-beijing.ivolces.com。
    • 加速域名的形式为{accelerator_name}.tos-{region}.ivolces.com。
    • 上述加速域名的加速器名字为bucket-accelerator-0197ca6c5e44759faf****-tosalias。
  2. 通过hadoop shell命令，访问TOS加速器域名，命令如下。
    hadoop fs -ls tos://bucket-accelerator-0197ca6c5e44759faf****-tosalias/

使用 TOS 加速器加速 hive 表

修改 hive warehouse

修改hms的warehouse路径，使得新建database的默认location指向加速器。如下配置项需要在EMR管控页面进行配置修改，修改完成后重启Hive MetaStore和Hive Server2。

  • {bucket}：原始桶名字。
  • {bucket-accelerator}：加速器名字，加速器名字可以从加速域名中获取。获取方式见“使用hadoop shell命令访问TOS加速器”。
// 旧
hive.metastore.warehouse.dir=tos://{bucket}/warehouse/managed
hive.metastore.warehouse.external.dir=tos://{bucket}/warehouse/external

// 新
hive.metastore.warehouse.dir=tos://{bucket-accelerator}/warehouse/managed
hive.metastore.warehouse.external.dir=tos://{bucket-accelerator}/warehouse/external

修改 spark warehouse

修改spark的warehoue路径，从而使用spark建库时，新建库的location默认指向加速器。如下配置项需要在EMR管控页面进行配置修改。

// 旧
spark.sql.warehouse.dir=tos://{bucket}/warehouse/managed

// 新
spark.sql.warehouse.dir=tos://{bucket-accelerator}/warehouse/managed

修改存量 database

修改存量database的location指向加速器，从而新建表默认的location会指向加速器。启动hive终端，执行如下命令。

ALTER DATABASE {YOUR_DB} SET LOCATION 'tos://{bucket-accelerator}/warehouse/managed/{your.db}/'

修改存量表

修改存量表的location指向加速器。启动hive终端，执行如下命令。

ALTER TABLE {YOUR_TBL} SET LOCATION 'tos://{bucket-accelerator}/warehouse/managed/{your.db}/{your_table}'
最近更新时间：2026.02.28 17:49:38
这个页面对您有帮助吗？
有用
有用
无用
无用