You need to enable JavaScript to run this app.
导航
基础使用
最近更新时间:2024.01.15 17:46:37首次发布时间:2022.08.19 18:17:18

1 通过 RM 页面查看信息

1.1 使用前提

  1. 访问链接需要 emr-master-1 节点的 ECS ID 实例绑定弹性公网IP。详见:绑定公网IP

  2. 需要在 快速配置服务端口 中,给源地址和对应端口添加白名单才可继续访问。

  3. 访问时需要的用户名和密码可以在“用户管理”中设置和查看。

1.2 访问入口

  1. 集群管理 > 集群列表 > 具体集群名称,进入集群详情界面.

  2. 导航栏中点击 访问链接,点击 YARN UI 访问链接,登陆 YARN ResourceManager WebUI 查看信息。

1.3 集群总览信息

包含不同状态的 App 数目统计,集群不同状态 Node 数目统计以及资源统计等信息。

1.4 集群节点信息

点选左上角 Nodes Tab 查看集群节点详细信息。

1.5 集群调度器&队列信息

点选左上角 Scheduler Tab 查看集群队列详细信息,以树状形式展示,以及集群的调度器事件信息。

1.6 集群作业信息

点选左上角 Applications Tab 查看作业详细信息

2 使用 YARN 命令行

通过 emr-master-1 节点的ECS ID实例,用 远程连接 方式,进入到Yarn文件目录后,您可以查看以下信息。

2.1 Yarn application

查看作业信息,支持按照作业状态和作业类型过滤结果

yarn application -list [-appStates <States>] [-appTypes <Types>]

查看指定作业状态

yarn application -status <ApplicationId>

Kill 指定作业

yarn application -kill <ApplicationId>

2.2 Yarn logs

查看应用程序日志

yarn logs -applicationId <application ID> [-appOwner <AppOwner>] [-containerId <ContainerId>] [-nodeAddress <NodeAddress>]

2.3 Yarn jar

一般用来运行测试或修改后的 jar 包

格式:yarn jar [jarName] [mainClass] args
示例:yarn jar hadoop-mapreduce-client-jobclient-3.3.4-ve-1-tests.jar  TestDFSIO -write -nrFiles 1 -size 1GB -resFile out.out