产生原因重启了服务器 (1)在安装目录/root/cloud/hadoop-2.2.0/ 重新hdfs namenode -format (2) 目录/root/cloud/hadoop-2.2.0/sbin 下 执行 ./start-all.sh 编辑/data/dfs/data/current/VERSION 原来data本身就是个目录,还以为是在hadoop下的呢?…

Hadoop在处理海量数据分析方面具有独天优势.今天花了在自己的Linux上搭建了伪分布模式,期间经历很多曲折,现在将经验总结如下. 首先,了解Hadoop的三种安装模式: 1. 单机模式. 单机模式是Hadoop的默认模.当配置文件为空时,Hadoop完全运行在本地.因为不需要与其他节点交互,单机模式就不使用HDFS,也不加载任何Hadoop的守护进程.该模式主要用于开发调试MapReduce程序的应用逻辑. 2. 伪分布模式. Hadoop守护进程运行在本地机器上,模拟一个小规模的的集群.该…

    Hadoop Hive Hbase 对应版本 Hive官网下载 我们以Hadoop版本作为参考适配Hive Hbase即可, Hadoop版本是2.6.1 所以可以选择Hive1.2.1以上版本,HBase-1.2.x 至 HBase-2.0.x即可.   配置SQL 下载sql   mutex@mutex-dl:~$ sudo apt-get install mysql-server mysql-client 启动sql   mutex@mutex-dl:~$ sudo /etc/in…

Hadoop shell 命令有三种格式 hdfs + dfs (必须是dfs) Hadoop + dfs Hadoop + df 命令 说明 hadoop 版本查看 hadoop version hadoop 显示命令信息 hadoop dfs 列出 HDFS 目录 Hadoop fs -ls / 递归列出 / 下的所有目录(包括子目录) Hadoop fs -lsr / hdfs 查看文件内容 hdfs dfs -cat /output/part-00000 hdfs 查看文件内容,并进行分…

这两天有俩哥们问了我linux的事,问我在工作中需不需要用到,需不需要学会 一个是工作1年不到的,我跟他说,建议你学学,在以后肯定是要用到的,虽然用到的机会不多,但是会总比不会好 另一个是工作6年的,居然不会linux,跟我说他很排斥linux,为啥呢,因为工作中不需要用到,而且公司有运维,运维直接管linux,也是醉了 其实linux并不是有多难,对于做开发的来说会一点基本技能就可以了 推荐一下我使用的: centos6.5 + putty 以前用的centos7,但是感觉不是很好很多跟6.5…

Windows下Hadoop的安装 准备工具:64位的JDK,Hadoop安装包(我使用的是2.6.1) JDK下载地址 官网: http://www.oracle.com/technetwork/java/javase/downloads/index.html Hadoop下载地址 官网:http://hadoop.apache.org/ 1.安装JDK环境,配置系统环境变量. 选中“我的电脑”,单击邮件,选择“属性”-“高级”-“环境变量”中的系统环境变量,对JAVA_HOME.Path.C…

shell编程系列9--文本处理三剑客之sed概述及常见用法总结 sed的工作模式:对文本的行数据一行行处理,如下图 sed(stream editor),是流编辑器,依据特定的匹配模式,对文本逐行匹配,并对匹配行进行特定处理 语法格式 第一种形式:stdout | sed [option] "pattern command" 第二种形式:sed [option] "pattern command" file 命令格式:sed [option] "/pat…

pwd 显示当前目录 ls -lh 显示文件列表,h表示会显示文件的大小 mkdir zhu  创建文件夹zhu rmdir zhu 移除文件夹zhu如果abc中含有其他文件,则不能删除 rm -r zhu直接删除zhu以及该目录下的所有文件,但是每次删除文件会提示问你是否删除某一个文件 rm -rf zhu 直接删除zhu以及该目录下的所有文件 touch lee.txt 创建文件lee.txt rm lee.txt 删除文件 cp lee.txt lee2.txt 复制一个文件成另外一个文件…

前言 在hadoop的FsShell命令中,预计非常多人比較经常使用的就是hadoop fs -ls,-lsr,-cat等等这种与Linux系统中差点儿一致的文件系统相关的命令.可是细致想想,这里还是有一些些的不同的.首先,从规模的本身来看,单机版的文件系统,文件数目少,内容不多,而HDFS则是一个分布式系统,里面能容纳巨大数量的文件文件夹.因此在这个前提之下,你假设任意运行ls或lsr命令,有的时候会得到恐怖的数据条数的显示记录,有的时候我们不得不通过Ctrl+C的方式中止命令.所以对于未知文…

[故障背景] DataNode进程正常启动,但是网页上不显示,并且DataNode节点为空. /etc/hosts   的ip和hostname配置正常,各个机器之间能够ping通. [日志错误信息] 2018-06-11 17:29:08,165 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-591370997-192.168.243.12-1528711881217 (Datanode Uuid nul…