You need to enable JavaScript to run this app.
导航
常用文件路径
最近更新时间:2024.02.22 16:32:25首次发布时间:2022.05.18 15:11:29

本文为您介绍E-MapReduce中常用文件的路径。您可以登录Master节点查看常用文件的安装路径。

1 大数据组件目录

软件安装目录在/usr/lib/emr/current/xxx下,例如:

  • Hadoop:/usr/lib/emr/current/hadoop

  • Spark :/usr/lib/emr/current/spark

  • Hive:/usr/lib/emr/current/hive

  • Flink:/usr/lib/emr/current/flink

  • Flume:/usr/lib/emr/current/flume

您也可以通过登录Master节点,执行env |grep xxx命令查看软件的安装目录。 例如,执行以下命令,查看Hadoop的安装目录。

env |grep hadoop

返回如下信息,其中/usr/lib/emr/current/hadoop为Hadoop的安装目录。

HADOOP_LIBEXEC_DIR=/usr/lib/emr/current/hadoop/libexec
HADOOP_CONF_DIR=/etc/emr/hadoop/conf
HADOOP_HOME=/usr/lib/emr/current/hadoop
OLDPWD=/usr/lib/emr/current/hadoop

2 日志目录

组件日志目录在/var/log/emr/xxx下,例如:

  • Yarn ResourceManager日志:/var/log/emr/yarn/hadoop-yarn-resourcemanager-master-1-1.emr-xxx.log

  • Yarn NodeNanager日志:/var/log/emr/yarn/hadoop-yarn-nodemanager-core-1-1.emr-xxx.log

  • HDFS NameNode日志:/var/log/emr/hdfs/hadoop-hdfs-namenode-master-1-2.emr-xxx.log

  • HDFS DataNode日志:/var/log/emr/hdfs/hadoop-hdfs-datanode-core-1-2.emr-xxx.log

  • Hive Metastore日志:/var/log/emr/hive/metastore.out

3 配置文件

配置文件目录在/etc/emr/xxx/conf下,例如:

  • Hadoop:/etc/emr/hadoop/conf

  • Spark:/etc/emr/spark/conf

  • Hive:/etc/emr/hive/conf

  • Flink:/etc/emr/flink/conf

  • Flume:/etc/emr/flume/conf

如果您需要修改配置文件中的参数,请登录E-MapReduce控制台操作,通过SSH方式只能浏览配置文件中的参数。