hadoop集群单点配置
=================== ===============================
----------------hadoop集群搭建 -----------------------
====================== ===========================
192.168.75.7 255.255.255.0 192.168.75.2
00:50:56:27:0C:F1
----------------------虚拟机基础配置 -------------------
1.编辑硬件设备，设共享目录
2-添加hosts头 --------------------hosts头-----------------------
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
---------------------------------------------------- ------------------------------System eth0 网络配置 ------root---------
----------------------- VM tool 安装 -----------------root-----------
1-虚拟机/安装VMware tool、双击打开VMwareTool tar包/解压到文件系统tmp
./tmp/vmware-tools-distrib/vmware-install.pl
reboot 1.网络桥接 设置物理地址
vi /etc/sysconfig/network
2.面板删连接配置，只剩System eth0
rm -rf /etc/udev/rules.d/70-persistent-net.rules
cp /mnt/hgfs/setup/hosts /etc/hosts
reboot
vi /etc/udev/rules.d/70-persistent-net.rules
vi /etc/sysconfig/network-scripts/ifcfg-eth0 物理地址大写 -------------------------ifcfg-eth0文件---------------------
DEVICE="eth0"
BOOTPROTO=none
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR=192.168.1.120
PREFIX=24
GATEWAY=192.168.1.1
DNS1=192.168.1.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
NAME="System eth0"
HWADDR=00:50:56:2A:C2:8D
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes --------------------------------------------------------
service iptables stop
chkconfig iptables off
service network restart -------------------- jdk 安装 -----------------root-------
cp /mnt/hgfs/setup/jdk-8u211-linux-x64.rpm /opt/
rpm -ivh /mnt/hgfs/setup/jdk-8u211-linux-x64.rpm
which java
ll /usr/java/jdk1.8.0_161/bin/java Java路径：/usr/java/jdk1.8.0_161
vi /etc/profile ----------------------profile 文件---------------
export JAVA_HOME=/usr/java/jdk1.8.0_161
export JRE_HOME=$JAVA/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
-----------------------------------------------
***********************卸载JDK***********************************
rpm -qa|grep jdk
---看到：jdk-1.6.0_22-fcs
rpm -e --nodeps jdk-1.6.0_22-fcs
***************************************************************
source /etc/profile
java -version =============== Hadoop 安装 ------先root后分配权限给Hadoop =========
cp /mnt/hgfs/setup/hadoop-2.7.6.tar.gz /opt/
tar -zxvf /opt/hadoop-2.7.6.tar.gz -C /opt/
vi /etc/profile ----------------------profile 文件---------------
export HADOOP_DEV_HOME=/opt/hadoop-2.7.6
export PATH=$PATH:$HADOOP_DEV_HOME/bin
export PATH=$PATH:$HADOOP_DEV_HOME/sbin
export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME}
export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME}
export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME}
export YARN_HOME=${HADOOP_DEV_HOME}
export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop
-----------------------------------------------
source /etc/profile vi /opt/hadoop-2.7.6/etc/hadoop/hadoop-env.sh
----------------------hadoop-env.sh 文件---------------
export JAVA_HOME=/usr/java/jdk1.8.0_161
------------------------------------------------------------ vi /opt/hadoop-2.7.6/etc/hadoop/core-site.xml
-------- core-site.xml 文件-------要在/opt/hadoop-2.7.6/新建目录 /data/tmp---
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://cMater:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/root/bigdata/hadoop-2.6.5/data/tmp</value>
</property>
</configuration>
----------------------------------------------------------------------------- vi /opt/hadoop-2.7.6/etc/hadoop/hdfs-site.xml
------ hdfs-site.xml 文件----要在/opt/hadoop-2.7.6/新建目录 /data/cMater /data/namenode /data/checkpoint -------
<configuration>
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop-2.7.6/data/cMater</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop-2.7.6/data/namenode</value>
</property>
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>/opt/hadoop-2.7.6/data/checkpoint</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>
------------------------------------------------------------
mkdir -p /opt/hadoop-2.7.6/data/tmp mkdir -p /opt/hadoop-2.7.6/data/cMater
mkdir -p /opt/hadoop-2.7.6/data/namenode
mkdir -p /opt/hadoop-2.7.6/data/checkpoint vi /opt/hadoop-2.7.6/etc/hadoop/yarn-site.xml
---------------------- yarn-site.xml 文件---------------
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>cMater</value>
</property>
</configuration>
------------------------------------------------------------ cp /opt/hadoop-2.7.6/etc/hadoop/mapred-site.xml.template /opt/hadoop-2.7.6/etc/hadoop/mapred-site.xml
vi /opt/hadoop-2.7.6/etc/hadoop/mapred-site.xml
---------------------- mapred-site.xml 文件---------------
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.staging.root.dir</name>
<value>/user</value>
</property>
</configuration>
------------------------------------------------------------ ========================用户 权限======================
useradd hadoop
passwd hadoop
chmod u+w /etc/sudoers
vi /etc/sudoers ------------sudoers 文件配置---root ALL=(ALL) ALL下添加一行----
hadoop ALL=(ALL) ALL
----------------------------------------------------------------------
chmod u-w /etc/sudoers
chown -R hadoop:hadoop /opt/hadoop-2.7.6 ============启动 Hadoop ========切换Hadoop用户=============
su hadoop
******格式化 HDFS****************
hdfs namenode -format *******单点重复格式化处理********
rm -rf 进行清空
/data/tmp
/data/cMater
/data/namenode
/data/checkpoint
内的缓存 ***********单点启动失败*********
检查core-site.xml、hdfs-site.xml 、yarn-site.xml、mapred-site.xml文件格式 source /etc/hosts 失败
--------------------单节点启动--------------------------------namenode----
//hadoop-daemon.sh start secondarynamenode
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
mr-jobhistory-daemon.sh start historyserver
yarn-daemon.sh start proxyserver //hadoop-daemon.sh stop secondarynamenode
hadoop-daemon.sh stop namenode
hadoop-daemon.sh stop datanode
yarn-daemon.sh stop resourcemanager
yarn-daemon.sh stop nodemanager
mr-jobhistory-daemon.sh stop historyserver
yarn-daemon.sh stop proxyserver ----------------
./opt/hadoop-2.7.6/sbin/hadoop-daemon.sh start namenode -----------datanode----Hadoop找不到类时检查nodemanager是否拼写正确--------
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager hadoop-daemon.sh stop datanode
yarn-daemon.sh stop nodemanager -------------------端口解析-----------------
HDFS 50070 http服务的端口
yarn 8088 http服务的端口
proxyserver WebAppProxyServer
history JobHistoryServer
=========================================== --------------------HDFS 权限问题---------------------
useradd 20160216048 # root操作
passwd 20160216048 #root操作
sudo usermod -a -G hadoop 20160216048 # root操作 20160216048添加到Hadoop组
hadoop fs -put /opt/hadoop-2.7.6.tar.gz /root/ #hadoop操作,root无法上传
hadoop fs -chown -R 20160216048:hadoop /root/ #hadoop操作
hadoop dfs -chmod -R 755 /abc #hadoop操作
hadoop dfsadmin -safemode leave #解除hadoop的安全模式
hadoop dfs -chmod -R 777 /abc #hadoop操作,修改权限，让组外用户进行操作
__________________________权限比重_______________________
drwxr-xr-x -rw-r--r--
d:文件夹 r:4 w:2 x:1 注意：hadoop fs -rm -r /tmp/ 与hadoop fs -rm -r /tmp没有区别！
========================== ==========================
------------------- HDFS 使用 ----------------------
===================== ========================== ------------------杀掉当前正在执行的hadoop任务---------------
列出当前hadoop正在执行的jobs: hadoop job -list
杀掉job: job_201212111628_11166：
[hadoop@192.168.10.11 bin]$ ./hadoop job -kill job_201212111628_11166 -----------------------Linux自定义命令----------------------
vi /root/.bashrc
alias 你自定的命令=系统原来的命令 如：alias hf='hadoop fs' -----------------------------HDFS文件回传----------------------
hadoop fs -get /user/root/ds_out /mnt/hgfs/setup/data/ *****************************Linux补充 免密码登录***************
方法一：主从主机间要相互做一次
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub cSlave01 方法二：
全部会话 ：
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
ssh-copy-id node11/node12/node13 ------------------------------禁用IPV6-----------------------
## 禁用IPv6
echo " " >> /etc/modprobe.d/dist.conf
echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf
echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf
## 查看是否追加成功
tail /etc/modprobe.d/dist.conf ---------------------设置文件打开数目和用户最大进程数---------------
## 设置用户最大进程数
vim /etc/security/limits.conf
## 结尾添加以下内容
* soft nofile 32768
* hard nofile 1048576
* soft nproc 65536
* hard nproc unlimited
* soft memlock unlimited
* hard memlock unlimited ---------------------------时区设置-------------------------
统一时区为东八区
我们国家的时区为东八区（+0800）： #查看当前时区
date -R;cat /etc/sysconfig/clock 不是北京时间，要设置一下时区，方法如下，执行命令：
# 设置东八区时区为当前时区
rm -rf /etc/localtime
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
# 手动同步下网络时间
ntpdate -u cn.pool.ntp.org vim /etc/sysconfig/clock ZONE="Asia/Shanghai" 在次查看
date -R;cat /etc/sysconfig/clock ----------------------------Linux操作系统系统语言采用------------------
-------------转英文---------------
# 查看操作系统系统语言
echo $LANG
# 修改操作系统系统语言
vim /etc/sysconfig/i18n
LANG="en_US.UTF-8" ----------------转中文------------
# 查看操作系统系统语言
echo $LANG
# 修改操作系统系统语言
vim /etc/sysconfig/i18n
LANG="zh_CN.UTF-8"
hadoop集群单点配置的更多相关文章
- 【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- 【Big Data】HADOOP集群的配置（二）
Hadoop集群的配置(二) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop的学习前奏（二）——Hadoop集群的配置
前言: Hadoop集群的配置即全然分布式Hadoop配置. 笔者的环境: Linux: CentOS 6.6(Final) x64 JDK: java version "1.7 ...
- Hadoop集群的配置（一）
摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问题.但是网上一些文档大多互相抄 ...
- 从VMware虚拟机安装到hadoop集群环境配置详细说明（第一期）
http://blog.csdn.net/whaoxysh/article/details/17755555 虚拟机安装 我安装的虚拟机版本是VMware Workstation 8.04,自己电脑上 ...
- hadoop 集群的配置
在经过几天折腾,终于将hadoop环境搭建成功,整个过程中遇到各种坑,反复了很多遍,光虚拟机就重新安装了4.5次,接下来就把搭建的过程详细叙述一下 0.相关工具: 1,系统环境说明: 我这边给出我的集 ...
- hadoop集群默认配置和常用配置【转】
转自http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html 获取默认配置 配置hadoop,主要是配置core-site.xm ...
- Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
摘自:http://www.powerxing.com/install-hadoop-cluster/ 本教程讲述如何配置 Hadoop 集群,默认读者已经掌握了 Hadoop 的单机伪分布式配置,否 ...
- hadoop集群默认配置和常用配置
http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html 获取默认配置 配置hadoop,主要是配置core-site.xml, ...
随机推荐
- linux的一些简单命令
简单学习了一些linux相关的知识,自己做一个简单的总结,可以在一般工作中命令行状态下装装B,哈哈 正则相关 grep grep xxx yyy.file 查找出yyy文件中存在xxx的行 通配符 * ...
- JSONP跨域的script标签请求为什么不受同源策略的限制？
在复习跨域的时候,复习到了JSONP跨域,大家都知道JSONP跨域是通过动态创建script标签,然后通过其src属性进行跨域请求的,前端需要一个数据处理的回调函数,而服务端需要配合执行回调函数,放入 ...
- 欧几里得（Euclid）与拓展的欧几里得算法
欧几里得(Euclid)与拓展的欧几里得算法 欧几里得(Euclid)与拓展的欧几里得算法 欧几里得算法 原理 实现 拓展的欧几里得算法 原理 递归求解 迭代求解 欧几里得算法 原理 欧几里得算法是一 ...
- C#开发BIMFACE系列12 服务端API之文件转换
系列目录 [已更新最新开发文章,点击查看详细] 在代表模型的源文件上传到BIMFACE后,一般会进行三种API调用操作: 发起模型转换 查询转换状态 如转换成功,获取模型转换后的BIM数据 在 ...
- Android自动化测试探索（五）代码覆盖率统计
Android 代码覆盖率统计 本周开始准备统计Android自动化用例的代码覆盖率,将最终使用的方法记录下来. 覆盖率监测的原理 覆盖率监测的原理跟iOS上的原理差不多,大致的思路参考下吧, iOS ...
- Api接口文档管理工具，你知道哪些呢？
上周看到有人在我的Github开源项目中提了个issue,说是否考虑接入swagger.那今天我就用swagger与其他接口文档工具做对比,同时说说Api接口文档工具的那点事.如今,在前后端分离开发的 ...
- 2019 Multi-University Training Contest 4
A. AND Minimum Spanning Tree solved by rdc 21min -1 数组开小了,解体了一次. 题意 给一棵树,两点之间边权为 x & y,求最小生成树. 做 ...
- POJ 3694 Network 无向图双联通+LCA
一开始题目没看清楚,以为是增加那条边后还有多少桥,所以就当做是无向图tarjan缩点后建树,然后求u,v的最近公共祖先,一直wa. 后来再看题目后才发现边放上去后不会拿下来了,即增加i条边后桥的数量. ...
- HDU 6634 网络流最小割模型 启发式合并
如果我们先手拿完所有苹果再去考虑花费的话. S -> 摄像头 -> 苹果 -> T 就相当于找到一个最小割使得S和T分开. ans = sum - flow. 然后对于这一个模型, ...
- codeforces 817 D. Imbalanced Array（单调栈+思维）
题目链接:http://codeforces.com/contest/817/problem/D 题意:给你n个数a[1..n]定义连续子段imbalance值为最大值和最小值的差,要你求这个数组的i ...