之前看了很多理论上的知识,感觉云里雾里的,所以赶紧着手搭建个单机版的hadoop跑一跑,开启自学大数据技术的第一步~~ 1.在开源的世界里,我就是个土豪,要啥有啥,所以首先你得有个jdk,有钱所以用最新的java8,hadoop使用的是hadoop2.6.0. 2.配置好java后,可以在/etc/profile里配置好环境变量,方便之后使用,紧接着解压hadoop2.6.0.tar.gz. 3.接下来配置hadoop,所有的配置文件都在hadoop文件夹下的etc/hadoop中: (1)ha…

Hadoop单机Hadoop测试环境搭建: 1. 安装jdk,并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhangzhenghai/cluster目录下 5. 配置etc/hadoop/hadoop-env.sh 配置JAVA_HOME环境变量 export JAVA_HOME=/home/zhangzhengh…

在ubuntu机器上部署php测试环境 一.部署环境 Ubuntu11.10_X86_32,编译安装相应的软件:nginx+mysql+php. 二.软件安装 2.1 软件下载 libiconv-1.14.tar.gz libmcrypt-2.5.7.tar.gz mcrypt-2.6.8.gz mhash-0.9.9.9.tar.gz mysql-5.5.39.tar.gz nginx-1.1.10.tar.gz pcre-8.20.tar.gz php-5.4.34.tar.gz 2.2 环…

背景: 实现一个简单的功能,需要用到jedis的jar包连接Redis.在之前便已经有使用jedis,它的版本比较旧,是2.1的.而新实现的功能,在编码的时候使用的是2.8的.在开发环境完成单元测试后,将编译好的class文件拷贝更新至测试环境.因种种原因,导致功能无法运行,排查后,觉得可能是jedis版本问题.于是,将jedis的版本重新降为2.1.运行,开始报如题错误. 报错: java.lang.NoSuchMethodError   PS:报这个错误的方法或者类明明存在,但是系统就是报这…

一.先在本地安装jdk 我这里安装的jdk1.8,具体的安装过程这里不作赘述 二.部署安装maven 下载maven安装包,并解压 设置环境变量,MAVEN_HOME=D:\SoftWare\Maven\apache-maven-3.6.1 在path路径添加;%MAVEN_HOME%\bin 打开本地终端验证 三.安装hadoop 先下载hadoop压缩包    下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/ 下…

1,mapred-site.xml 此配置文件主要是针对mapreduce的配置文件,配置的是jobtracker的地址和端口; <configuration> <property> <name>mapred.job.tracker</name> <value>master:9001</value> </property> </configuration> 中文文档http://hadoop.apache.or…

安装docker环境 yum install epel-release -y && yum install docker -y 如果是高手需要docker-compose的话就再装个docker-compose吧 创建jenkins所需的挂载目录并设置为ID为1000 在/etc/hosts文件中写入: 192.168.50.50 docker-hub.xxx.com 并向/etc/docker/certs.d中导入harbor的证书(如果你们在公司内部有docker hub的话最好这样,…

CM repo库info;…

1. Hadoop介绍 Hadoop是一个能够对海量数据进行分布式处理的系统架构. Hadoop框架的核心是:HDFS和MapReduce. HDFS分布式文件系统为海量的数据提供了存储, MapReduce分布式处理框架为海量的数据提供了计算. 2. Hadoop安装 2.1 安装java Hadoop是使用JAVA写的,所以需要先安装JAVA环境. 本次安装的是hadoop-2.7.0,需要JDK 7以上版本. # yum install java-1.7.0-openjdk # yum i…

一.Hadoop原理介绍 1.请参考原理篇:Hadoop1-认识Hadoop大数据处理架构 二.centos7单机部署hadoop 前期准备 1.创建用户 [root@web3 ~]# useradd -m hadoop -s /bin/bash #---创建hadoop用户 [root@web3 ~]# passwd hadoop #---创建密码 Changing password for user hadoop. New password: BAD PASSWORD: The passwo…