分布式配置 tachyon 并执行Hadoop样例 MapReduce

----------此文章。笔者按着tachyon官网教程进行安装并记录。

(本地安装tachyon具体解释：http://blog.csdn.net/u012587561/article/details/51039977 )

笔者执行环境：

1. tachyon0.8.2
2. hadoop2.7.1(笔者之后用hadoop2.6版本号，也建议用2.6版本号）
3. ubuntu14.04（虚拟机共三台）

使用Hadoop 2.x

假设你正在使用2.x版本号的Hadoop集群，你应该不须要像上面那样在core-site.xml文件里加入属性。但是，有些情况下可能会遇到java.io.IOException:
No FileSystem for scheme: tachyon的错误。比如。当YARN(与Hadoop相对)尝试去訪问Tachyon文件时。可能发生该错误。

假设遇到该错误。在core-site.xml文件里加入这些属性，然后重新启动YARN。

<property>

    <name>fs.tachyon.impl</name>

    <value>tachyon.hadoop.TFS</value>

</property>

<property>

    <name>fs.tachyon-ft.impl</name>

    <value>tachyon.hadoop.TFSFT</value>

</property>

编译Tachyonclient

为了使Tachyon和你的Hadoop版本号相相应，你必须又一次编译Tachyon Client的Jar包。指明你的Hadoop版本号。你能够在Tachyon文件夹下执行例如以下命令：

 $ mvn install -Dhadoop.version=<YOUR_HADOOP_VERSION>

    <YOUR_HADOOP_VERSION>版本号支持非常多不同的Hadoop发行版。比如：mvn
install -Dhadoop.version=2.7.1将会编译出适合Apache Hadoop 2.7.1版本号的Tachyon。 请訪问构建Tachyon主分支页面来获取其它发行版本号的支持信息。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

编译成功后。新的TachyonclientJar包能够在例如以下文件夹中找到：

./clients/client/target/tachyon-client-0.8.2-jar-with-dependencies.jar

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

以下的内容将利用这个jar包进行展示。

配置Hadoop

为了能够使TachyonclientJar包对JobClient生效，你能够在hadoop-env.sh文件里将HADOOP_CLASSPATH改动为：

$ export HADOOP_CLASSPATH=/<PATH_TO_TACHYON>/clients/client/target/tachyon-client-0.8.2-jar-with-dependencies.jar

（当然，也能够将该jar包放在其它地方，改动成对应的路径）

该配置让代码能够使用Tachyon的URI来创建和提交作业。

分发TachyonclientJar包

为了让MapRedude作业能够在Tachyon上读写文件。TachyonclientJar包必须被分发到集群的全部节点上。

这使得TaskTracker和JobClient包括全部与Tachyon进行交互訪问所须要的可运行文件。

怎样从Cloudera上增加第三方库这篇文档介绍了分发Jar包的多种方式。

文档中建议通过使用命令行的-libjars选项。使用分布式缓存来分发TachyonclientJar包。还有一种分发clientJar包的方式就是手动将其分发到Hadoop节点上。以下就是这两种主流方法的介绍：

1.使用-libjars命令行选项 你能够在使用hadoop
jar ...的时候加入-libjars命令行选项，指定/<PATH_TO_TACHYON>/core/client/target/tachyon-client-0.8.2-jar-with-dependencies.jar为參数。

这条命令会把该Jar包放到Hadoop的DistributedCache中，使全部节点都能够訪问到。比如，以下的命令就是将Tachyon客户端Jar包加入到-libjars选项中。

$ hadoop jar hadoop-examples-1.2.1.jar wordcount -libjars /<PATH_TO_TACHYON>/core/client/target/tachyon-client-0.8.2-jar-with-dependencies.jar <INPUT FILES> <OUTPUT DIRECTORY>`

2.手动将Jar包分发到全部节点 为了在每一个节点上安装Tachyon，你必须将客户端Jar包tachyon-client-0.8.2-jar-with-dependencies.jar（位于/<PATH_TO_TACHYON>/core/client/target/文件夹）放到每一个MapReduce节点的$HADOOP_HOME/lib（由于版本号不同也可能是$HADOOP_HOME/share/hadoop/common/lib）文件夹下，然后又一次启动全部的TaskTracker。

该方法要注意的是全部Jar包必须再次安装，由于每一个Jar包都更新到了最新版本号。还有一方面，当该Jar包已经在每一个节点上的时候。就没有必要使用-libjars命令行选项了。

在本地模式的Tachyon上执行Hadoop wordcount

首先，编译对应Hadoop版本号的Tachyon：

$ mvn clean install -Dhadoop.version=<YOUR_HADOOP_VERSION>

为了方便，我们如果是伪分布式的集群，通过执行例如以下命令启动：

$ cd$HADOOP_HOME$ ./bin/stop-all.sh
$ ./bin/start-all.sh

配置Tachyon。将本地HDFS集群作为其底层存储系统。你须要改动conf/tachyon-env.sh，增加例如以下语句：

export TACHYON_UNDERFS_ADDRESS=hdfs://localhost:9000

以本地模式启动Tachyon：

$ ./bin/tachyon-stop.sh all
$ ./bin/tachyon-start.sh local

你能够在Tachyon中增加两个简单的文件来执行wordcount。在你的Tachyon文件夹中执行：

$ ./bin/tachyon tfs copyFromLocal LICENSE /wordcount/input.txt

该命令将LICENSE文件拷贝到Tachyon的文件命名空间中，并指定其路径为/wordcount/input.txt。

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

如今我们执行一个用于wordcount的MapReduce作业。

$ bin/hadoop jar hadoop-examples-1.2.1.jar wordcount -libjars /<PATH_TO_TACHYON>/core/client/target/tachyon-core-client-0.8.2-jar-with-dependencies.jar -Dtachyon.user.file.understoragetype.default=SYNC_PERSIST tachyon://localhost:19998/wordcount/input.txt tachyon://localhost:19998/wordcount/output

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount -libjars /usr/local/tachyon/clients/client/target/tachyon-client-0.8.2-jar-with-dependencies.jar -Dtachyon.user.file.understoragetype.default=SYNC_PERSIST tachyon://master1:19998/wordcount/input.txt tachyon://master1:19998/wordcount/output

watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center" alt="">

作业完毕后，wordcount的结果将存在Tachyon的/wordcount/output文件夹下。你能够通过执行例如以下命令来查看结果文件：

$ ./bin/tachyon tfs ls /wordcount/output
$ ./bin/tachyon tfs cat /wordcount/output/part-r-00000

你相同能够在底层存储系统HDFS namenode的WebUI上查看该文件。本地HDFS集群的WebUI在localhost:50070。

因为我保存在tachyon://master1:19998/wordcount/output中。故。。

例如以下

也可这样

hadoop@master1:/usr/local/hadoop$ hadoop dfs -copyFromLocal README.txt /in

然后：

在分布式模式的Tachyon上执行Hadoop wordcount

首先配置conf/tachyon-env.sh

加入

 export TACHYON_MASTER_ADDRESS=master1 

 export TACHYON_UNDERFS_ADDRESS=hdfs://hadoop@master1:9000
  

 #hdfs://ip:port。当中该參数与hadoop/etc/hadoop/core-size.xml的fs.default.name的value一致

格式化tachyon：bin/tachyon format

启动分布式tachyon：

但启动Tachyon有了很多其它的选项：

• bin/tachyon-start.sh all Mount #在启动前自己主动挂载TachyonWorker所使用的RamFS，然后启动TachyonMaster和全部TachyonWorker。因为直接使用mount命令，所以须要用户为root
• bin/tachyon-start.sh all SudoMount #在启动前自己主动挂载TachyonWorker所使用的RamFS。然后启动TachyonMaster和全部TachyonWorker。因为使用sudo mount命令，所以须要用户有sudo权限
• bin/tachyon-start.sh all NoMount #觉得RamFS已经挂载好，不运行挂载操作。仅仅启动TachyonMaster和全部TachyonWorker

因此。假设不想每次启动Tachyon都挂载一次RamFS。能够先使用命令 bin/tachyon-mount.sh Mount workers 或 bin/tachyon-mount.sh SudoMount workers 挂载好全部RamFS。然后使用 bin/tachyon-start.sh
all NoMount 命令启动Tachyon。

此处使用命令： bin/tachyon-start.sh all SudoMount

jps查看是否添加了tachyonMaster进程。

bin/hdfs  dfs  -mkdir -p /in1

bin/hdfs dfs  -put /usr/local/hadoop/input /in1 (将本地input目录映射到/in1目录中）

将处理文件放入in1中

hadoop dfs -copyFromLocal /usr/local/hadoop/etc/hadoop/*.xml /in1  

 

接下来分布式执行wordcount的MapReduce作业：

hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.7.1-sources.jar org.apache.hadoop.examples.WordCount -libjars /usr/local/tachyon/clients/client/target/tachyon-client-0.8.2-jar-with-dependencies.jar -Dtachyon.user.file.understoragetype.default=SYNC_PERSIST /in1 /tmp/wordcount

[图片]

[图片]

[图片]

[图片]

 

分布式作业正常执行，因为程序执行时间较长，建议用小文本次測试。

否则就像笔者一样，半夜等着它执行完才干睡觉 = =

（因为困得不行，故停止执行关机睡觉了。图片大家脑补。

。。

）

#############################################################################

1.  执行tachyon分布式时候出错：

tachyon/tachyon-env.sh: line 83: export: 'hdfs://master1:9000' : not a valid identifier Killed 0 processes on worker1 

此处是conf/tachyon-env.sh文件出错。应该是你的worker的路径配置错误。

如笔者原先是hdfs://master1:9000, 发生如上错误。

改动成 TACHYON_UNDERFS_ADDRESS=hdfs://hadoop@master1:9000
即成功。

（hadoop为用户组。master1是username，笔者是虚拟机中配置三台节点）

 

2.  ssh连接失败，或总须要输入password

     SSH生成id_rsa,
id_rsa.pub后，连接server却报：Agent admitted failure to sign using the key错误。

输入  ssh-add就可以

假设还未能进行无password远程登陆。那就又一次安装ssh，然后将公钥(id_rsa.pub)写入authorized_keys(无password连接列表）。

所有都写进去，然后分别拷贝到对应位置，即能够无password登录。

比方：将A节点的id_rsa.pub的内容复制，并写到B中的authorized_keys文件里，此时A能够无password连接A，而B连接A须要password。由于A的同意列表中没有B）

相互复制写进文本后，就可以相互无password连接。

至于怎样安装ssh，请移步到笔者的hadoop安装的步骤博客中，里面有具体步骤描写。

  

3.  将近睡觉前。不要启动tachyon了。等着睡觉非常痛苦。  

#############################################################################