EMR目录

EMR目录：

E-MapReduce 是阿里云上的开源大数据平台，用户可以登录集群主节点查看相关安装路径。 登录后也可以使用 env |grep xxx 查看。

或者,在EMR Hadoop集群，切换到hadoop用户下，可以通过命令 echo $xxxx 查看集群设置的环境变量

配置文件目录:
/etc/ecm/hadoop-conf
#看gateway机器配置是否同步,直接看配置文件,如:
/etc/ecm/hadoop-conf/core-site.xml
然后输入命令hadoop classpath 打印一下classpath, 看引用的conf目录是否为/etc/ecm/hadoop-conf,以及是否包含其他目录

配置文件目录在 /etc/ecm/xxx 下，如果仅登录节点修改集群中的配置文件，配置文件不会生效。
注意 此处的配置文件只能浏览配置文件的参数，如需修改参数，请到 E-MapReduce控制台操作。
Hadoop：/etc/ecm/hadoop-conf/
Spark：/etc/ecm/spark-conf/
Hive：/etc/ecm/hive-conf/

系统已经设置好的环境:
echo $JAVA_HOME /usr/lib/jvm/java-1.8.0
echo $HADOOP_HOME /usr/lib/hadoop-current
echo $HADOOP_CONF_DIR /etc/ecm/hadoop-conf
echo $HADOOP_OG_DIR
echo $YARN_LOG_DIR /var/log/hadoop-yarn
echo $HIVE_HOME /usr/lib/hive-current
echo $HIVE_CONF_DIR /etc/ecm/hive-conf
echo $PIG_HOME /usr/lib/pig-current
echo $PIG_CONF_DIR /etc/ecm/pig-conf

大数据组件目录
软件安装目录在 /usr/lib/xxx 下，例如：
Hadoop：/usr/lib/hadoop-current
Spark ：/usr/lib/spark-current
Hive：/usr/lib/hive-current
Flink：/usr/lib/flink-current
日志目录
组件日志目录在 /mnt/disk1/log/xxx 下，例如：
Yarn ResourceManager 日志：master 节点 /mnt/disk1/log/hadoop-yarn
Yarn NodeNanager 日志：slave 节点 /mnt/disk1/log/hadoop-yarn
HDFS NameNode 日志：master 节点 /mnt/disk1/log/hadoop-hdfs
HDFS DataNode 日志：slave 节点 /mnt/disk1/log/hadoop-yarn
Hive 日志：Master 节点 /mnt/disk1/log/hive

#做的软链

配置文件目录在/etc/ecm

例如 :core-site.xml在$HADOOP_CONF_DIR

/etc/ecm/hadoop-conf/core-site.xml

而是实际地址是: /etc/ecm/hadoop-conf-2.8.5-1.4.0/core-site.xml

又如:

vi /etc/ecm/hadoop-conf/fair-scheduler.xml

#这里面的配置文件记录集群的一些配置,调用jar等信息;

/usr/local/emr/emr-bin/conf

ln -s /opt/apps/hive-current /usr/lib/hive-current
/usr/lib/hadoop-current/share/hadoop/common/hadoop-common-2.8.5.jar
/usr/lib/hadoop-current/share/hadoop/common/lib/hadoop-auth-2.8.5.jar

EMR Hadoop集群组件的安装目录和配置文件目录，用户自建Gateway集群copy文件
https://help.aliyun.com/document_detail/124298.html?spm=a2c4g.11186623.6.1045.dae071aex9wNuF