(以下所有文件:点此链接 里面还有安装的视频教学,我这里是亲测了一次,如有报错请看红色部分.实践高于理论啊兄弟们!!) 一.安装CentOS 6.4 在VMWare虚拟机上,我设置的用户是hadoop,密码是hadoop: 二.安装完成后以root用户进入,密码还是之前设的密码hadoop. 配置网络:右键右上角符号, Edit Connections 选择Edit 要想填这个,打开windows的命令行(直接win+R,输入cmd),输入ipconfig,查看无线局域网适配器的iPv4地址,子…

1.安装jdk 原来是用的rpm安装的1.7,所以先使用rpm -qa|grep jdk,找到安装的1.7后 rpm -e --nodeps xxx.使用securecrt把官网下载的jdk-8u181-linux-x64.tar.gz上传(rz命令)到linux上,接着使用 tar -zxvf  jdk-8u181-linux-x64.tar.gz -C  目录即可 2.配置环境jdk的环境变量 vi /etc/profile linux下的分隔符是":",不是windows下的&q…

Hadoop是用作处理大数据用的,核心是HDFS.Map/Reduce.虽然目前工作中不需要使用这个,但是,技多不压身,经过虚拟机很多遍的尝试,终于将Hadoop2.5.2的环境顺利搭建起来了.       首先准备一个CentOS,将主机名改为master,并且在/etc/hosts里面加入master对应的本机ip地址.Linux基本配置vi /etc/sysconfig/network#编辑文件里面的HOSTNAME=mastervi /etc/hosts#添加本机IP地址   maste…

CentOS安装配置Hadoop1.2.1 1.下载安装文件 下载2个安装文件 JAVA环境:jdk-6u21-linux-i586.bin Hadoop环境:hadoop-1.2.1.tar.gz 这里是把jdk安装在/root下,hadoop安装在/etc下面 2.安装jdk 这里jdk-6u21-linux-i586.bin放在/root下 添加执行权限,并解包. [root@master ~]# cd /root [root@master  root]# chmod 777 jdk-6u…

摘要:第一次使用hadoop,另外eclipse也不太熟悉,所以把自己在安装过程中得琐碎记录下来.以备以后查看. 硬软件环境: ▪ 虚拟机: VMware Workstation 11.0.0 build-2305329      ▪ 虚拟机安装操作系统: CentOS 6.5      ▪ JDK: 1.6.0_45      ▪ Hadoop: 1.2.1 1.下载Eclipse安装包 从elipse官网下载https://www.eclipse.org/downloads/ 2.解压ecl…

在虚拟机中安装了Server版的CentOS,用于做Hadoop相关的实验.Server版的CentOS默认是没有桌面环境的,eth0的网络默认也没有开启,需要我们手动启动网络. 关键配置说明 网络和主机名的配置:vim /etc/sysconfig/network. 配置文件内容如下: NETWORKING=yes #使用网络 HOSTNAME=centos #设置主机名称 网卡配置:vim /etc/sysconfig/network-scripts/ifcfg-eth0 eth0表示第一块…

集群安装配置Hadoop 集群节点:node4.node5.node6.node7.node8. 详细架构: node4 Namenode,secondnamenode,jobtracker node5 Datanode,tasktracker node6 Datanode,tasktracker node7 Datanode,tasktracker node8 Datanode,tasktracker 操作系统为:CentOS release 5.5 (Final) 安装步骤 一.创建Hado…

centos 4.4配置使用 1.Nutch简介 Nutch是一个由Java实现的,开放源代码(open-source)的web搜索引擎.主要用于收集网页数据,然后对其进行分析,建立索引,以提供相应的接口来对其网页数据进行查询的一套工具.其底层使用了Hadoop来做分布式计算与存储,索引使用了Solr分布式索引框架来做,Solr是一个开源的全文索引框架,从Nutch 1.3开始,其集成了这个索引架构. Nutch目前最新的版本为version1.4. 1.1 Nutch的目标 Nutch 致力于…

Mac配置Hadoop最详细过程 原文链接: http://www.cnblogs.com/blog5277/p/8565575.html 原文作者: 博客园-曲高终和寡 https://www.cnblogs.com/landed/p/6831758.html 一.准备工作: 1.  JDK1.7版本及以上(貌似Hadoop只支持1.6以上的版本,不确定,保险起见用1.7,我自己用的是1.8) 2.  2.7.3版本的Hadoop https://archive.apache.org/dist…

centos 系统对权限的设置非常微妙,如果权限设置大了则ssh 拒绝,如果权限小了,则ssh 更是被拒绝(我曾经配置好久没有打通,就是因为权限过大的原因) 参考链接:http://www.linuxidc.com/Linux/2014-11/108914.htm CentOS 6.5配置SSH免密码登录 创建新用户:useradd Hadoop设置密码:passwd hadoop,输入自己想要的密码即可,之后su hadoop切换用户修改主机名:vim /etc/sysconfig/netwo…