一.问题描述 伪分布式下Hadoop3.2版本打不开localhost:50070,可以打开localhost:8088 二.解决办法 Hadoop3.2版本namenode的默认端口配置已经更改为9870,即: localhost:9870…

伪分布式下Hadoop打不开localhost:50070,可以打开localhost:8088 1.对hdfs进行format hadoop namenode -format 在选择Y/N时输入大写字母Y 注意:删除hadoop临时文件data和name文件夹,否则重新启动Hadoop时无法启动namenode.以为namenode格式化后ID会变,导致与集群ID不一致 (name和data默认在temp/hadoop/dfs中,通过log可以得知) 2.关闭防火墙 sudo ufw disa…

今天大概尝试了一下伪分布式下的hadoop部署,简单的来总结一下 首先我们需要下载hadoop的压缩包文件:http://hadoop.apache.org/releases.html这里是hadoop项目的所有版本,不管你所使用的是那个版本基本的配置应该是一样的,我这里学习的版本有点低所使用的是0.20.2.如果选用了其他的版本,文件的目录可能会有所不同 下载完成hadoop后我们将它拷贝到用户目录下面,我的目录是/home/admin/hadoop-0.20.2.tar.gz 然后将文件解压…

本篇先介绍HBase在伪分布式环境下的安装方式,然后将MapReduce编程和HBase结合起来使用,完成WordCount这个例子. HBase在伪分布环境下安装 一.   前提条件 已经成功地安装了jdk1.6和hadoop1.2.1. Jdk1.6+Hadoop1.2.1在伪分布环境下具体的安装方法见:Hadoop1.2.1安装——单节点方式和单机伪分布方式 二.   环境 VMware® Workstation 10.04 Ubuntu14.04 32位 Java JDK 1.6.0 h…

本安装过程只作为个人笔记用,非标准教程,请酌情COPY.:-D Hive下载 下载之前,需先查看兼容的Hadoop版本,并安装hadoop,参考 http://www.cnblogs.com/yongjian/p/6552647.html 因为自己安装的是hadoop2.7.0,所以就直接下载了Hive2.0.1版本安装. 下载链接:http://hive.apache.org/downloads.html 下载后的文件:apache-hive-2.0.1-bin.tar.gz Hive安装 注…

本安装过程只作为个人笔记用,非标准教程,请酌情COPY.:-D Hive下载 下载之前,需先查看兼容的Hadoop版本,并安装hadoop,参考 http://www.cnblogs.com/yongjian/p/6552647.html 因为自己安装的是hadoop2.7.0,所以就直接下载了Hive2.0.1版本安装. 下载连接apache-hive-2.0.1-bin.tar.gz Hive安装 注:由于Hive运行在Hadoop上,每个Hive发布的版本都可以和多个Hadoop版本共同工…

本教程为单机版+伪分布式的Hadoop,安装过程写的有些简单,只作为笔记方便自己研究Hadoop用. 环境 操作系统 Centos 6.5_64bit   本机名称 hadoop001   本机IP 192.168.3.128   JDK jdk-8u40-linux-x64.rpm 点此下载 Hadoop 2.7.3 点此下载 Hadoop 有两个主要版本,Hadoop 1.x.y 和 Hadoop 2.x.y 系列,比较老的教材上用的可能是 0.20 这样的版本.Hadoop 2.x 版本在…

集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉 今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点卡,那这里主要说说伪分布式的集群,正式版的集群需要3台机子,我就一带而过说一说,搭建起来也是非常简单的 先来说说Zookeeper 什么是Zookeeper呢,顾名思义,动物园管理员嘛,什么hadoop大象啦,hive蜜蜂啦,pig小猪啦,都是用这货来管的,就是大数据Hadoop里面的嘛~ (题外…

完整安装过程参考:http://www.cnblogs.com/shishanyuan/p/4147580.html 一.环境准备    1.安装linux.jdk      2.下载hadoop2.6.0,并解压 二.安装 1.安装jdk 下载jdk,最好使用较新版本,最低不能低于jdk1.6 解压 :tar  -zxvf  jdk-7u40-linux-i586.tar.gz 配置环境: 添加JAVA_HOME,CLASSPATH环境变量: 使用vi /etc/profile命令编辑prof…

1.配置环境变量JDK配置 1.JDK安装 个人喜欢在 vi ~/.bash profile   下配置 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH 当然要让环境变量生效source ~/.bash_profile echo $JAVA_HOME 在输入 java -verision,生效就装好了jdk 2.安装ssh 生成秘钥 ssh-keygen -t rsa 在将公钥复制到aut…

软件 工具:vmware 10 系统:centOS 6.5  64位 Apache Hadoop: 2.5.2  64位 Jdk:  1.7.0_75  64位 安装规划 /opt/softwares/       ************* 软件包路径       /modules/ *************  软件安装路径 安装准备 1. 安装并配置jdk # cd /opt/softwares/       --进入到软件包目录 # tar -zxvf jdk-7u75-linux-x6…

伪分布式: 1.先将zk启动,如果是在伪分布式下,kafka已经集成了zk nohup /kafka_2.11-0.10.0.1/bin/zookeeper-server-start.sh /kafka_2.11-0.10.0.1/config/zookeeper.properties &   2.启动broker nohup /kafka_2.11-0.10.0.1/bin/kafka-server-start.sh /kafka_2.11-0.10.0.1/config/server.pro…

[伪分布式] ①[core-site.xml] <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value> </property></configuration> ②[mapred-site.xml] <configuration><property><name>m…

大数据技术之Hadoop3.1.2版本伪分布式部署 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.主机环境准备 1>.操作系统环境 [root@node101.yinzhengjie.org.cn ~]# cat /etc/redhat-release CentOS Linux release (Core) [root@node101.yinzhengjie.org.cn ~]# [root@node101.yinzhengjie.org.cn ~]# uname -r…

由于新装的Ubutu默认情况下,系统只安装了SSH客户端,需要自行安装SSH服务端 如何确定是否安装了SSH服务端? 可以通过命令ssh localhost,结果如下,即未安装SSH服务端:   安装SSH服务端: sudo apt-get install openssh-server 在安装时,没有设置root密码,所以必须在安装完成进行设置后才能进入root用户 命令如下: $ sudo passwd root  输入你希望的root用户的密码 1.关闭防火墙 不管你在安装linux时是否启…

因篇幅过长,故分为两节,上节主要说明hadoop运行环境和必须的基础软件,包括VMware虚拟机软件的说明安装.Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置.具体请参看: [HADOOP]| 环境搭建:从零开始搭建hadoop大数据平台(单机/伪分布式)-上 6. Linux节点配置 设置主机名:根据规划修改主机名,执行hostnamectl set-hostname hdoop1,修改主机名并写入配置文件,使用hostname查看当前生效的主机名. 关闭防火墙:使用s…

目录: Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本2.查看IP地址3.修改主机名为hadoop4.修改 /etc/hosts5.关闭防火墙6.关闭SELINUX7.安装yum源并安装基础包8.关闭不必要的服务9.安装Java环境 第二部分 Hadoop正式安装 1.安装Hadoop2.修改hadoop的5个配置文件3.解决互信问题 第三部分 启动Hadoop集群 1.格式化NameNode2.启动Hadoop集群3.验证集群是否启动成功4.关闭h…

超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误.如果按本文步骤进行的时候出事了,可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案. 准备linux主机环境 一.安装虚拟机 下载地址: VMware workstation 14 Pro (附:许可证秘钥) 系统iso:CentOS7 Minimal 基本上就是下一步下一步这…

https://www.cnblogs.com/asker009/p/9126354.html 最近要搭建一个Hadoop做实验,因为版本的问题遇到不少的坑,本文记录VM上搭建的CentOS7.0+Hadoop3.1伪分布式的整个过程. CentOS7.0安装这里不赘述. Hadoop下载3.1. JDK需要安装1.8. 一.VM 网络采用NAT模式,毕竟后续搭建分布式方便. 取消DHCP,NAT里的dns设置成虚拟的网关IP(192.168.31.2,可以加上外网的解析地址114.114.11…

1.环境准备 系统版本:CentOS7.5 主机名:node01 hadoop3.1 的下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz  jdk8 rpm包下载地址:https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x6…

作业要求:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE1/homework/3223 本文是基于已经安装好的ubuntu环境上搭建伪分布式hadoop,在virtualbox安装ubuntu可以参考小编的 ”virtualbox安装ubuntu16.04 LTS及其配置“ ubuntu16.04安装mysql:https://www.cnblogs.com/luengmingbiao/p/10864249.html 一.Hadoop的三种运行模式(启…

一.安装JDK环境(这个可以网上随意搜一篇教程了照着弄,这里不赘述) 安装成功之后 输入 输入:java -version 显示如下说明jdk安装成功(我这里是安装JDK8) 二.安装Hadoop3.2.0 1.官网下载http://mirror.bit.edu.cn/apache/hadoop/common/ 2.安装 A.解压 sudo tar xzf hadoop-3.2.0.tar.gz B.假如我们要把hadoop安装到/usr/local下 C.拷贝到/usr/local/下,文件夹…

@ 目录 前言 预先设置 修改主机名 关闭防火墙 创建hadoop用户 SSH安装免密登陆 单机免密登陆--linux配置ssh免密登录 linux环境配置Java变量 配置Java环境变量 安装Hadoop-3.3.0.tar.gz 运行 单机非分布式 伪分布式 1.修改配置文件 2.格式化NameNode 3.开启 NaneNode 和 DataNode 进程 4. 操作集群 5. 启动yarn(伪分布式也可以不启动) 6.运行测试实例 7. 配置日志保存在HDFS 分布式 规划 修改配置文…

最近开始学习Hadoop,一直使用的是公司配好的环境.用了一段时间后发现对Hadoop还是一知半解,故决定动手在本机上安装一个供学习研究使用.正好自己用的是mac,所以没啥说的,直接安装. 总体流程 1.安装jdk并配置好环境变量.因为Hadoop是使用java开发的,所以JDK是必须的. 2.实现ssh无密码验证配置 可以用ssh无需登陆连接到localhost.Hadoop并不要求一定要ssh无密码登录,主要是考虑到集群环境中机器数目多,一个一个输入密码浪费时间而且麻烦,不方便管理. 3.安…

一.准备工作 安装包链接: https://pan.baidu.com/s/1i6oNmOd 密码: i6nc 环境准备 修改hostname: $ sudo vi /etc/hostname why 修改IP 地址: $ sudo vi /etc/network/interfaces auto eth0 iface eth0 inet static address 192.16.13.11 netmask 255.255.255.0 gateway 192.16.13.254 重启网络服务生效…

一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo passwd hadoop #为hadoop用户设置密码,之后需要连续输入两次密码 $ sudo adduser hadoop sudo #为hadoop用户增加管理员权限 $ su - hadoop #切换当前用户为用户hadoop $ sudo apt-get update #更新hadoop用户的ap…

1.Hadoop运行模式Hadoop有三种运行模式,分别如下:单机(非分布式)模式伪分布式(用不同进程模仿分布式运行中的各类节点)模式完全分布式模式注:前两种可以在单机运行,最后一种用于真实的集群环境,通常用在生产环境上.我们可以搭建本地的伪分布式模式来模拟分布式环境的执行. 2.Hadoop的安装及配置环境:Ubuntu10.10,Hadoop 0.21.0安装步骤如下:1.准备工作:1).安装ssh server,如何安装ssh server请看http://www.tieguanyin16…

Ubuntu用的是Ubuntu15.10Beta2版本,正式的版本好像要到这个月的22号才发布.参考的资料主要是http://www.powerxing.com/install-hadoop-cluster/和<Hadoop基础教程>这本书.我的用户名是wuyouwulv,所以在接下来的代码中如果出现wuyouwulv的地方只要更改一下用户名就可以了.搭建hadoop伪分布式环境并不需要为此创建一个新的group和user,所以我这里用的一直都是wuyouwulv这个用户.我所需的文件都放在我…

最近在学习hadoop,自己下了个视频教程,他的教学版本是hadoop0.20.2版本,现在的最新版本都到了3.0了,版本虽然有点老,但是还是学了一下,觉得有借鉴的价值. 不废话了,开始介绍: 先说一下环境:ubuntu14.04,其中要装上ssh open-server服务,装上jdk环境. 伪分布式模式安装和配置步骤如下图: 详细步骤 1 首先把文件导入linux系统(我用的ubuntu虚拟机,hadoop-0.20.2.tar.gz安装包放在了桌桌面).首先把这个安装包放在/opt目录下,…

Win7下单机版的伪分布式solrCloud环境搭建Tomcat+solr+zookeeper 1.软件工具箱 在本文的实践中,需要用到以下的软件: Tomcat-7.0.62+solr-5.0.0+zookeeper-3.4.6 都是apache旗下的软件,很容易在官网下载到,就不贴下载地址了. 2.部署过程 2.1 部署好单机版Tomcat+Solr 第一步:在D盘根目录下建立solrCloud目录.并把apache-tomcat-7.0.62.zip解压到solrCloud目录下,复制ap…