自学hadoop（三）

1) 关于hadoop在eclipse插件。经过自己的摸爬滚打。总结一下三条。

    a) 2.0或者0.23.0吧 google比较方便。其他的可以自己编译。（这个我不敢保证。我本地环境事2.1.0。就是google上搜到的，都是可以自己编的，听说2.0源代码里面也有。但是我没有找到）

    b）2.0以后的，特别的是2.1.0的。人家独立了一个项目，叫做HDT。还在开发中。这个是项目网址

http://hdt.incubator.apache.org/

    c) 感觉上，如果mapperreduce其实可以再本机跑，纯调试用。然后接一个分布式的hdfs即可。因为我刚学吗，而且是自学。也不敢保证。

        总之是。我理论猜测为先，想想mapperreduce，其实也就是一个java程序。然后亲身试验了一下。发现居然行。估计着，mapreduce其实跑的就是本地一个单线程的程序，多线程也算不上，更别谈分布式了。有其形，而无其实。

        项目中。maven的dependency。

                        <!-- hadoop -->

                                <dependency>

                                                <groupId>org.apache.hadoop</groupId>

                                                <artifactId>hadoop-common</artifactId>

                                                <version>${hadoop.version}</version>

                                </dependency>

                    <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-hdfs</artifactId>

                                    <version>${hadoop.version}</version>

                                </dependency>

                                <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-yarn-common</artifactId>

                                    <version>${hadoop.version}</version>

                    </dependency>

                                <dependency>

                                  <groupId>org.apache.hadoop</groupId>

                                  <artifactId>hadoop-mapreduce-client-app</artifactId>

                                  <version>2.1.0-beta</version>

                                </dependency>

                                <dependency>

                                    <groupId>org.apache.hadoop</groupId>

                                    <artifactId>hadoop-auth</artifactId>

                                    <version>2.1.0-beta</version>

                                </dependency>

                <!-- hadoop -->

2）管理的web页面

http://master:18088/cluster/scheduler

http://master:23001/dfshealth.jsp

3)在把我写好的程序，放在master，用命令行调用的时候，扔了一个错误。

java.lang.OutOfMemoryError: Java heap space，google了一下，大致就是配置问题。默认的，每一个node的，运行时的内存大小大概为200m。

解决方案，就是增大内存

我用的是2.1.0的。

修改的是

hadoop-env.sh

export HADOOP_HEAPSIZE=1000

和

export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

然后网上查的资料。以前版本是

hadoop-site.xml

<property>

<name>mapred.child.java.opts</name>

<value>-Xmx1024m</value>

</property>

根据下面这篇文章的说法，要把配置复制到node上去。不能只是部署到master。为了省点事情，我就这么做了。

http://blog.csdn.net/mango_song/article/details/8314392