hadoop启动后jps没有namenode 一般都是由于两次或两次以上格式化NameNode造成的,有两种方法可以解决: 1.删除DataNode的所有资料 2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current/VERSION文件中)或修改NameNode的namespaceID(位于/home/hdfs/name/current/VERSION文件中), 目的是两者一致. 但是查看后,两者的ID是一样的, 于是查看/usr/local/ha

Spark 一种基于内存的快速.通用.可扩展的大数据分析引擎: 内置模块: Spark Core(封装了rdd.任务调度.内存管理.错误恢复.与存储系统交互): Spark SQL(处理结构化数据).Spark Streaming(对实时数据进行流式计算) . Spark Mlib(机器学习程序库包括分类.回归.聚合.协同过滤等).Spark GraghX(图计算):独立调度器.Yarn.Mesos 特点: 快( 基于内存(而MR是基于磁盘).多线程模型(而mapReduce是基于多进程的,每个

Spark以yarn方式运行时抛出异常: [spark@master bin]$ cd /opt/spark--bin-hadoop2./bin [spark@master bin]$ ./spark-shell --master yarn-client Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead. Set

版本:虚拟机下安装的ubuntu14.04(64位),hadoop-2.6.0 下面是hadoop2.6.0的官方英文教程: http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html#Pseudo-Distributed_Operation hadoop下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/ 选择hadoop-

搭建完<hadoop伪分布式平台>后就开始搭建hbase伪分布式平台了.有了hadoop环境,搭建hbase就变得很容易了. 一.Hbase安装 1.从官网下载最新版本Hbase安装包1.2.3,为了省去编译安装环节,我直接下载了hbase-1.2.3-bin.tar.gz,解压即可使用.(如果此链接下载速度过慢可更换官网其他下载链接) [hadoop@master -bin.tar.gz [hadoop@master /usr/local/hadoop/hbase [hadoop@maste

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba

本文旨在介绍通过两台物理节点,实现完全分布式hadoop程序的部署 writen by Bob Pan@20140609 环境介绍: 主机名 机器IP 用途 描述 Hadoop0 192.168.80.101 Namenode secondaryNamenode jobTracker CentOS6.4 jdk-6u24-linux-i586 hadoop-1.1.2 Hadoop1 192.168.80.102 Datanode taskTracker CentOS6.4 jdk-6u24-l

hbase shell命令的使用 再使用hbase 命令之前先检查一下hbase是否运行正常 hadoop@Master:/usr/hbase/bin$ jps HMaster NameNode SecondaryNameNode Jps TaskTracker DataNode HQuorumPeer JobTracker HRegionServer 如果运行不正常的话,关闭hbase后重新启动一下 stop-hbase.sh start-hbase.sh 1.  status命令 hbase

HBase的安装 本篇介绍两种HBase的安装方式:本地安装方式和伪分布式安装方式. 安装的前提条件是已经成功安装了hadoop,而且hadoop的版本要和hbase的版本相匹配. 我将要安装的hbase是hbase-0.94.11版本,需要的hadoop是hadoop-1.2.1版本. hbase下载地址:http://mirror.bit.edu.cn/apache/hbase/hbase-0.94.11/ 将下载的hbase-0.94.11解压到相应的目录,如/usr/hbase-0.94

1 安装JDK   1) 进入JDK官网 2) 下载JDK安装包 3)配置环境变量,在/etc/profile增加以下代码 JAVA_HOME=/home/hadoop/jdk1.6.0_38 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar export JAVA_HOME PATH CLASSPATH 4)

linux配置ssh无密码登录 配置ssh无密码登录,先要安装openssh,如下: yum install openssh-clients 准备两台linux服务器或虚拟机,设置两台linux的hosts为: 1 [root@hadoop1 ~]# vim /etc/hosts 2 192.168.1.110 hadoop1 3 192.168.1.111 hadoop2 再按照如下步骤: 01 [root@hadoop1 ~]# ssh-keygen -t rsa 02 Generating

在CentOS 6.7 x64上搭建Hadoop 2.6.3完全分布式环境,并在DigitalOcean上测试成功. 本文假设: 主节点(NameNode)域名(主机名):m.fredlab.org 子节点(DataNode)域名(主机名):s1.fredlab.org s2.fredlab.org s3.fredlab.org Tip:单个NameNode或DataNode内存大于1G,在512MB内存的VPS上测试不成功. 一.配置SSH互信 1.master机上生成公私钥:id_rsa和i

本教程使用Vultr的VPS搭建,主要实现HDFS和MapReduce两个功能. master.hadoop - 45.32.90.100 slave1.hadoop - 45.32.92.47 slave2.hadoop - 45.32.89.205 一.准备 使用SSH登录到三台VPS 修改主机名,修改以下两个文件 /etc/hosts /etc/sysconfig/network 并在/etc/hosts末尾,增加主机名: 45.32.90.100 master.hadoop 45.32.

问题描述 今天使用 hadoop 时,发现无法通过下面命令上传文件到 hadoop 文件系统,会报错. bin/hadoop fs -put input . 运行 jps 后,输出如下: ResourceManager NameNode NodeManager Jps SecondaryNameNode 可见 datanode 挂掉了. 用下面的命令重启 hadoop ,重启后仍然没有 datanode 的进程. sbin/stop-all.sh sbin/start-all.sh 原因思考 近

jdk安装 http://www.cnblogs.com/xiaojf/p/6568426.html scala2.11 安装 http://www.cnblogs.com/xiaojf/p/6568432.html hadoop2.7 安装 http://www.cnblogs.com/xiaojf/p/6629351.html 开始spark2.1.0安装 解压 [root@m1 jar]# -bin-hadoop2..tgz -C ../ 重命名 [root@m1 jar]# cd ..

环境:Centos6.9+jdk+hadoop1.下载hadoop的tar包,这里以hadoop2.6.5版本为例,下载地址https://archive.apache.org/dist/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz2.修改linux虚拟机的主机名HOSTNAME的值改为hadoop01.zjl.com # vi /etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop01.zjl.

不多说,直接上干货! 对于在oozie里放置Mysql驱动包的总结 根据网上的参考以及我个人经验安装的使用 (1)放一份到$OOZIE_HOME/libext下 (是 mysql-connector-java-5.1.21.jar)(这里放到bigdatamaster节点) (2)放一份到$OOZIE_HOME/lib下 (是 mysql-connector-java-5.1.21.jar)(这里放到bigdatamaster节点) (3)放一份到/usr/share/java/下(一定要重命名

不多说,直接上干货! 问题详情 [hadoop@bigdatamaster oozie--cdh5.5.4]$ bin/oozied.sh start Setting OOZIE_HOME: /home/hadoop/app/oozie--cdh5.5.4 Setting OOZIE_CONFIG: /home/hadoop/app/oozie--cdh5.5.4/conf Sourcing: /home/hadoop/app/oozie--cdh5.5.4/conf/oozie-env.sh

参考文章:https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示: 很容易发现,JobManager存在单点故障(SPOF:Single Point Of Failure),因此对Flink做HA,主要是对JobManager做HA,根据Flink集群的部署模式不同,分为Sta

1:安装好hive,准备启动的时候出现下面的错误(由于hive是基于Hadoop的,所以必须先将你的集群启动起来,我就是没有启动集群,直接启动hive导致的错误): [root@master bin]# ./hive Logging initialized -bin/lib/hive-common-.jar!/hive-log4j.properties Exception failed on connection exception: java.net.ConnectException: Con

Apache Hadoop 2.9.2 的集群管理之服役和退役 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 随着公司业务的发展,客户量越来越多,产生的日志自然也就越来越大来,可能我们现有集群的DataNode节点的容量依旧不能满足存储数据的需求,因此需要在现有的集群基础之上动态添加DataNode在生成环境中也是很有可能的. 一.添加新节点的过程(服役) 1>.查看需要加入进群的节点的IP地址 [root@node110.yinzhengjie.org.cn ~]# ifc