1、安装Bash on Windows

  这个参考官网步骤,很容易安装,https://msdn.microsoft.com/en-us/commandline/wsl/install_guide

  安装过程很简单,主要是从应用商店下载bash的时候,比较容易失败,可能需要多试几次。

2、配置SSHD

  自带的命令行比较简陋,操作不方便。可以开启sshd,然后用xshell等终端登录。

  

/etc/ssh/
vim sshd_config #修改以下几项
Port #windows 10会默认占用22端口,所以这里需要换成22端口外的其他端口。
ListenAddress 0.0.0.0
UsePrivilegeSeparation no
PasswordAuthentication yes #运行
sudo ssh-keygen -A #测试可以使用ssh username@localhost -p 2222进行登录了 #编辑/etc/sudoers 添加下面一行(using sudo visudo for safety): %sudo ALL=(ALL) NOPASSWD: /usr/sbin/sshd -D#便于从外部启动sshd。

3、开启windows自动运行sshd

  

新建startssh.bat

cd C:\Windows\System32
bash.exe -c "sudo /usr/sbin/sshd -D" 新建 autostartssh.vbe set ws=wscript.createobject("wscript.shell")
ws.run "startssh.bat /start",0 双击autostartssh.vbe,启动sshd
将autostartssh.vbe加入windows自启动

4、创建hadoop用户

sudo useradd -m hadoop

sudo passwd hadoop

sudo adduser hadoop sudo

5、设置免密码登录

使用hadoop账号登录

   cd ~

   ssh-keygen -t rsa

cd .ssh

cat ./id_rsa.pub >> ./authorized_keys

6、配置java环境

vim ~/.bashrc

export JAVA_HOME=/home/hadoop/programs/jdk1.8.0_131

export PATH=$PATH:$JAVA_HOME/bin

source ~/.bashrc

7、安装hadoop

tar -zxf hadoop-2.8.0.tar.gz

cd hadoop-2.8.0

./bin/hadoop version

默认单机版,运行测试例子

mkdir ./input

cp ./etc/hadoop/*.xml ./input   # 将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'

cat ./output/*

8、配置伪分布式

vim etc/hadoop/core-site.xml

#路径必须放在能设置linux权限的目录

修改为

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hadoop/programs/hadoop-2.8.0/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

修改 etc/hadoop/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/programs/hadoop-2.8.0/tmp/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/programs/hadoop-2.8.0/tmp/dfs/data</value>

</property>

</configuration>

格式化hdfs

./bin/hdfs namenode -format

vim ~/.bashrc

export HADOOP_SSH_OPTS="-p 2222" #根据实际情况编写,ssh的端口设置

vim etc/hadoop/hadoop-env.sh

注释掉export JAVA_HOME=${JAVA_HOME}, 添加新的JAVA_HOME

#export JAVA_HOME=${JAVA_HOME}

export JAVA_HOME=/home/hadoop/programs/jdk1.8.0_131

启动

./sbin/start-dfs.sh

停止

./sbin/stop-dfs.sh

使用jps来判断是否启动成功, “NameNode”、”DataNode” 和 “SecondaryNameNode”

9、运行伪分布式例子

./bin/hdfs dfs -mkdir -p /user/hadoop

./bin/hdfs dfs -mkdir input

./bin/hdfs dfs -put ./etc/hadoop/*.xml input

./bin/hdfs dfs -ls input

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

./bin/hdfs dfs -cat output/*

10、配置YARN

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

vim etc/hadoop/mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

vim etc/hadoop/yarn.site.xml

<configuration>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

#如果出现running beyond virtual memory limits,添加下面这个配置

<property>

<name>yarn.nodemanager.vmem-check-enabled</name>

<value>false</value>

</property>

</configuration>

./sbin/start-yarn.sh      # 启动YARN

./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器,才能在Web中查看任务运行情况

运行jps

多了 NodeManager 和 ResourceManager 两个后台进程

windows 10开启bash on windows,配置sshd,部署hadoop的更多相关文章

  1. Windows 10 & git & bash

    Windows 10 & git & bash If you are on Windows, we recommend downloading Git for Windows and ...

  2. 背水一战 Windows 10 (122) - 其它: 通过 Windows.System.Profile 命名空间下的类获取信息, 查找指定类或接口的所在程序集的所有子类和子接口

    [源码下载] 背水一战 Windows 10 (122) - 其它: 通过 Windows.System.Profile 命名空间下的类获取信息, 查找指定类或接口的所在程序集的所有子类和子接口 作者 ...

  3. Windows 2016 & Windows 10 中IIS安装和配置PHP的步骤

    Windows 2016 和 Windows 10 内核是相同的,我们首先需要安装 Internet Information Services (IIS),当然 Win2016 跟 Win10 安装  ...

  4. Oracle 11gR2 客户端windows 10安装后PL/SQL配置

    操作系统:windows 10 软件:Oracle 11gR2 客户端 (64 bit) PLSQL Developer 13 (64 bit) 注意:PLSQL与oracle客户端版本要一致 1. ...

  5. Windows 10开启默认网络驱动器访问

    在Windows 10的系统策略中,驱动器盘符的网络访问是默认关闭的,用管理员权限打开注册表,找到HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\Curre ...

  6. 使用Windows Azure的VM安装和配置CDH搭建Hadoop集群

    本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hado ...

  7. 【Windows 10 IoT - 3】Windows 10 RTM安装及新特性(树莓派 Pi2)

    在<[Window 10 IoT - 1]Window 10系统安装(树莓派 Pi2)>中,我们介绍了Windows 10 IoT预览版的安装,正式版Windows 10 IOT(OS版本 ...

  8. Windows 10 IoT Serials 3 - Windows 10 IoT Core Ardunio Wiring Mode

    Maker社区和智能硬件的朋友一定知道Arduino,很多3D打印机都是用它做的.为了迎合这一大块市场,微软在基于Intel Galileo的Windows 8.1 IoT中就是使用这种基于Ardui ...

  9. Windows 10 IoT Serials 2 - Windows 10 IoT RTM 升级教程

    7月29日,微软推出了Windows 10 for PC的正式版,其版本号是Build 10240.近两天官方说已经有4700万的下载安装量,同时这个数字还在不断攀升.另外,除了Windows 10 ...

随机推荐

  1. html/css/js 学习笔记 - 牛客网试卷:前端工程师能力评估

    display属性 : block : CSS1 块对象的默认值.将对象强制作为块对象呈递,为对象之后添加新行   可以定义高度和宽度 none : CSS1 隐藏对象.与 visibility 属性 ...

  2. elasticsearch 第五篇(文档操作接口)

    INDEX API 示例: 1 2 3 4 5 PUT /test/user/1 { "name": "silence", "age": 2 ...

  3. 【BZOJ4802】欧拉函数(Pollard_rho)

    [BZOJ4802]欧拉函数(Pollard_rho) 题面 BZOJ 题解 这么大的范围肯定不好杜教筛. 考虑欧拉函数的计算式,显然只需要把\(n\)分解就好了. 直接\(Pollard\_rho\ ...

  4. 【bzoj3170】[Tjoi2013]松鼠聚会

    3170: [Tjoi2013]松鼠聚会 Time Limit: 10 Sec  Memory Limit: 128 MBSubmit: 1670  Solved: 885[Submit][Statu ...

  5. [CEOI2004]锯木厂选址

    link 试题分析 做这种题就应该去先写个暴力代码 #include<iostream> #include<cstring> #include<cstdio> #i ...

  6. 网络协议之mDNS20170217

    DNS(Domain Name System,域名系统)因特网上作为域名和IP地址相互映射的一个分布式数据库,能够使用户更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串.通过主机名,最终得 ...

  7. vs下给生成的程序(exe)加入默认的申请管理员权限

    在vs下编程时,经常会用到一些特殊的权限,尤其是管理员权限,下面是在win7下笔者亲测通过的. 下面要分两种情况: 第一种情况就是在vs2003或者以下的编译器中运行 1.准备一个manifest文件 ...

  8. git 还原某个文件到特定版本

    1.先使用 git log 查看需要还原的版本号 2.git checkout <版本号> <文件相对路径> 3.git commit -m "xxx"

  9. windows如何要查看IIS连接数

    1.运行,输入,perfmon.msc 2.在系统监视器,区域点击,添加计数器. 3.在“添加计数器”窗口,“性能对象”选择Web Service,“从列表选择计数器”选中Current Connec ...

  10. CIFAR10/CIFAR100数据集介绍

    CIFAR-10/CIFAR-100数据集解析 觉得有用的话,欢迎一起讨论相互学习~Follow Me 参考文献 CIFAR-10/CIFAR-100数据集 CIFAR-10和CIFAR-100被标记 ...