History 服务使用文档

大数据领域引擎通常会内置 History Server，以 Web UI 的形式在作业运行中、运行结束后，提供查看作业运行时信息和历史记录的能力。这些运行信息一般包括作业、阶段、任务、存储，以及环境等数据，有助于分析作业的运行状态、资源开销等，为诊断和优化作业提供支撑。

火山引擎 E-MapReduce（EMR）为优化 on ECS 集群的部署形态，实现更加轻量级的集群交付，让集群更加贴合云原生理念，基于引擎原生 History Server 构建了中心化的 History 服务。
EMR History 服务以独立于具体集群之外的形态运行，并以基础服务的形式能够同时支撑多个集群的作业运行信息的写入和查看，同时也承诺 100% 兼容引擎开源 History Server 的交互形式和使用体验。与部署在集群内的 History Server 相比，EMR History 服务能够带来以下优势：

• 节约成本，提升易用性：

  • 将作业运行日志抽离到集群之外进行存储和查看，能够同时节省集群日志存储和 History Server 运行的资源开销；

  • 节省公网 IP 开销，无需绑定公网 IP 即可一键触达访问。

• 独立于集群常驻运行：

  • History 服务独立于集群之外部署，支撑集群轻量化交付；

  • 即使集群被释放，History 服务仍然能够正常运行，并对已释放集群默认提供 30 天的作业运行日志存储和查看能力。

此外，EMR History 服务集成火山 IAM SSO 登录认证，并在数据存储和访问层面做到了租户隔离，为您的数据安全提供保障。

1 如何开启

如果您需要使用 History 服务，可以在创建集群时，选择自定义创建的方式，在其他设置 > 高级设置 > 持久化History Server 中，开启持久化History Server 按钮即可。详见创建集群。
如下图所示：

History 服务目前仅支持 EMR 3.x 的版本，推荐使用最新的 EMR 版本以获取最新的特性。说明：

• Presto / Trino History 服务要求您的 EMR 版本是 3.1.1 及更高的版本。

2 如何访问

History 服务提供了兼容组件原生 History Server 的交互体验，对于运行中或已释放的集群，您可以通过以下方式访问：

1. 登录 EMR 控制台。

2. 在左侧导航栏中，单击进入集群管理 > 集群列表界面，找到已开启持久化 History Server 能力的集群，单击具体集群名称，进入集群详情 > 访问链接界面，在访问地址中，找到对应组件的 History Server 入口，单击地址进入。2. 如下图所示：

   

   注意

   当前单击访问地址链接，IAM SSO 登录后可能出现提示： “您所访问的页面不存在，可能是由于登录态失效后重新登录重定向引起的，请重新单击相关链接进行访问。如该问题还存在, 请联系相关人员!”

   该问题由于重定向丢失子路径信息造成，我们正在进行优化，您可以重新单击跳转链接即可正常使用，使用期间如果遇到类似问题也可用同样的方式处理。

3 使用限制

目前，History 服务仅支持查看运行结束的作业，对于运行中的作业，可以到 YARN ResoureManger UI 或集群内的 History Server 查看，我们正在对特定 History 服务进行优化，以支持查看运行中的作业信息。