hadoop的安装,见http://www.powerxing.com/install-hadoop/,简略版教程见http://www.powerxing.com/install-hadoop-simplify/ 安装过程可能会出现的问题大概有: JAVA_HOME找不到,这个就只是配java环境的问题,如果在变量(用户变量.bashrc:系统变量/etc/profile.最好在.bashrc中配,方便些)中配过还不行,那就在hadoop目录下的etc下的http-env.sh下面一起配置下:

  hadoop 遇到java.net.ConnectException: to 0.0.0.0:10020 failed on connection   这个问题一般是在hadoop2.x版本里会出现,Hadoop的datanode需要访问namenode的jobhistory server,如果没有修改,则默认为0.0.0.0:10020,则可以修改mapred-site.xml文件: <property>     <name>mapreduce.jobhistory.addr

Hadoop使用Java进行文件修改删除操作 学习了:http://blog.csdn.net/menghuannvxia/article/details/44651061 学习了:http://blog.csdn.net/nodie/article/details/6411376 如果是部署在服务器上面的程序,可以不写地址: FileSystem fs = FileSystem.get(conf); String s = "/user/weblogic/mr/output/"; Pa

在Hadoop Eclipse开发环境搭建这篇文章中,第15.)中提到权限相关的异常,如下: 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/01/30 10:08:17 ERROR security.UserGroupInformation:

Hadoop2.6.0的所有Java API都在 http://hadoop.apache.org/docs/r2.6.0/api/overview-summary.html 里. 下面实现一个利用Java API创建HDFS文件的例子.参照<实践Hadoop>(刘鹏)  书中的第50页. 利用FileSystem.create(Path f)实现 第一步,先写java代码, 命名为MyCreateFile.java 注意,一定要放在hadoop的根目录下 import org.apache.

java.lang.ClassCastException: partition.KpiWritable cannot be cast to org.apache.hadoop.io.LongWritable at partition.KpiApp$MyPartition.getPartition(KpiApp.java:1) at org.apache.hadoop.mapred.MapTask$NewOutputCollector.write(MapTask.java:691) at org.

(1)首先创建java project 选择eclipse菜单上File->New->Java Project. 并命名为UploadFile. (2)加入必要的hadoop jar包 右键选择JRE System Library,选择Build Path下的Configure Build Path. 然后选择Add External Jars.到你解压的hadoop源码目录下加入jar包和lib下的全部jar包. lib目录下的全部jar包. (3)加入UploadFile类 代码例如以下:

前言 上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx hdfs dfs -put local cluster hdfs dfs -get cluster local hdfs dfs -cp /xxx/xxx /xxx/xxx hdfs dfs -chmod -R /xxx hdfs dfs -chown -R zyh:zyh /xxx 注意:

下载Hadoop安装包 wget  http://apache.fayea.com/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz   java安装 wget -c --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096

    在Hadoop Eclipse开发环境搭建这篇文章中,第15.)中提到权限相关的异常,如下: 15/01/30 10:08:17 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 15/01/30 10:08:17 ERROR security.UserGroupInformati

package com.duking.util; import java.io.IOException; import java.util.Date; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FSDataOutputStream; import org.apache.hadoop.fs.FileStatus

1.创建目录 import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class MakeDir { public static void main(String[] args) throws IOException { FileSystem fs

执行hadoop任务时报错: -- ::, INFO [main] org.apache.hadoop.mapred.MapTask: Processing --//app1@flume23_10003_4..gz:+,/flume/nginx/app2/--//app2@flume174_10003_9..gz:+ -- ::, WARN [main] org.apache.hadoop.security.UserGroupInformation: PriviledgedActionExcep

package org.apache.hadoop.book;import java.io.InputStream;import java.net.URL;import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;import org.apache.hadoop.io.IOUtils; public class URLCat {   static {    URL.setURLStreamHandlerFactory(new FsUrlStrea

第一步: 首先把虚拟机和你的主机(本地电脑)弄通这样本地机器才能访问虚拟机里面的内容 我用的虚拟机为 VMware Workstation linux 为 centeros 补充一点虚拟机设置 1   虚拟机菜单上点击编辑->虚拟网络编辑器->VMnet8 如图: 按照我的图来! 那个子网IP 可以直接按我这个来   跟你主机没什么冲突的! 但是你设置你linux和你主机的虚拟网卡的ip都要在192.168.1.(1-254 )这个区间里    你也可以改成别的都没关系 2  点击那个NAT 

错误: java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try 原因: 无法写入:我的环境中有3个datanode,备份数量设置的是3.在写操作时,它会在pipeline中写3个机器.默认replace-datanode-on-failure.policy是DEFAULT,如果系统中的dat

第一步:打开工具上传tar包 如下图 第二步:在文件路径下查看是否上传成功 第三步:解压tar包               tar -zxvf hadoop.2.6.5.tar.gz 第四步:配置环境变量                vim   /etc/profile 第五步:源码配置一下                source   /etc/profile 第六步:测试一下               hadoop export JAVA_HOME=/root/Downloads/j

原来是被变成Throwable抛出来了!而Exception是Throwable的子类,所以无法捕捉到,只有捕捉Throwable的时候,才可以将错误信息打印!

用java运行Hadoop例程报错:org.apache.hadoop.fs.LocalFileSystem cannot be cast to org.apache.所写代码如下: package com.pcitc.hadoop; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.h

如今我们来深入了解一下Hadoop的FileSystem类. 这个类是用来跟Hadoop的文件系统进行交互的.尽管我们这里主要是针对HDFS.可是我们还是应该让我们的代码仅仅使用抽象类FileSystem.这样我们的代码就能够跟不论什么一个Hadoop的文件系统交互了.在写測试代码时,我们能够用本地文件系统測试,部署时使用HDFS.仅仅需配置一下,不须要改动代码了. 在Hadoop 1.x以后的版本号中引入了一个新的文件系统接口叫FileContext,一个FileContext实例能够处理多种

1.什么是序列化和系列化DE- 神马是序列化它,序列化是内存中的对象状态信息,兑换字节序列以便于存储(持久化)和网络传输.(网络传输和硬盘持久化,你没有一定的手段来进行辨别这些字节序列是什么东西,有什么信息,这些字节序列就是垃圾). 反序列化就是将收到字节序列或者是硬盘的持久化数据.转换成内存中的对象. 2.JDK的序列化 JDK的序列化仅仅有实现了serializable接口就能实现序列化与反序列化,可是记得一定要加上序列化版本号ID serialVersionUID  这个是识别序列化的之前