常用文件路径

本文为您介绍E-MapReduce中常用文件的路径。您可以登录Master节点查看常用文件的安装路径。

1 大数据组件目录

软件安装目录在/usr/lib/emr/current/xxx下，例如：

• Hadoop：/usr/lib/emr/current/hadoop

• Spark ：/usr/lib/emr/current/spark

• Hive：/usr/lib/emr/current/hive

• Flink：/usr/lib/emr/current/flink

• Flume：/usr/lib/emr/current/flume

您也可以通过登录Master节点，执行env |grep xxx命令查看软件的安装目录。 例如，执行以下命令，查看Hadoop的安装目录。

env |grep hadoop

返回如下信息，其中/usr/lib/emr/current/hadoop为Hadoop的安装目录。

HADOOP_LIBEXEC_DIR=/usr/lib/emr/current/hadoop/libexec
HADOOP_CONF_DIR=/etc/emr/hadoop/conf
HADOOP_HOME=/usr/lib/emr/current/hadoop
OLDPWD=/usr/lib/emr/current/hadoop

2 日志目录

组件日志目录在/var/log/emr/xxx下，例如：

• Yarn ResourceManager日志：/var/log/emr/yarn/hadoop-yarn-resourcemanager-master-1-1.emr-xxx.log

• Yarn NodeNanager日志：/var/log/emr/yarn/hadoop-yarn-nodemanager-core-1-1.emr-xxx.log

• HDFS NameNode日志：/var/log/emr/hdfs/hadoop-hdfs-namenode-master-1-2.emr-xxx.log

• HDFS DataNode日志：/var/log/emr/hdfs/hadoop-hdfs-datanode-core-1-2.emr-xxx.log

• Hive Metastore日志：/var/log/emr/hive/metastore.out

3 配置文件

配置文件目录在/etc/emr/xxx/conf下，例如：

• Hadoop：/etc/emr/hadoop/conf

• Spark：/etc/emr/spark/conf

• Hive：/etc/emr/hive/conf

• Flink：/etc/emr/flink/conf

• Flume：/etc/emr/flume/conf

如果您需要修改配置文件中的参数，请登录E-MapReduce控制台操作，通过SSH方式只能浏览配置文件中的参数。