一.关闭防火墙(直接用root用户) #关闭防火墙 sudo systemctl stop firewalld.service #关闭开机启动 sudo systemctl disable firewalld.service 二.修改每台主机的Hostname(三台主机都一样) vim /etc/hosts 注释原有的内容,加入如下内容,ip地址为你自己的虚拟机的IP地址: more /etc/hosts查看是否正确,需要重启后方能生效.重启命令reboot now more /etc/host

一.Pinpoint简单介绍Pinpoint是一款对Java编写的大规模分布式系统的APM工具,有些人也喜欢称呼这类工具为调用链系统.分布式跟踪系统.一般来说,前端向后台发起一个查询请求,后台服务可能要调用多个服务,每个服务可能又会调用其它服务,最终将结果返回,汇总到页面上.如果某个环节发生异常,工程师很难准确定位这个问题到底是由哪个服务调用造成的,Pinpoint等相关工具的作用就是追踪每个请求的完整调用链路,收集调用链路上每个服务的性能数据,方便工程师能够快速定位问题.Pinpoint开源在

前言:       毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环境跑起来,然后在能用的基础上在多想想为什么.       通过这三个礼拜(基本上就是周六周日,其他时间都在加班啊T T)的探索,我目前主要完成的是: 1.在Linux环境中伪分布式部署hadoop(SSH免登陆),运行WordCount实例成功.  http://www.cnblogs.com/Pu

ubuntu + hadoop2.5.2分布式环境配置 我之前有详细写过hadoop-0.20.203.0rc1版本的环境搭建 hadoop学习笔记——环境搭建 http://www.cnblogs.com/huligong1234/p/3533382.html 本篇部分细节就不多说. 一.基础环境准备系统:(VirtualBox) ubuntu-12.04.2-desktop-i386.isohadoop版本:hadoop-2.5.2jdk版本:jdk-6u26-linux-i586.bin

基于CentOS与VmwareStation10搭建hadoop环境     目 录 1. 概述.... 1 1.1. 软件准备.... 1 1.2. 硬件准备.... 1 2. 安装与配置虚拟机.... 2 2.1. 创建虚拟机.... 2 2.1.1. 创建虚拟机节点1.. 2 2.1.2. 创建虚拟机节点2.. 4 2.1.3. 创建虚拟机节点3.. 4 2.2. 安装操作系统CentOS6.0.. 4 2.3. 安装JDK.. 5 2.3.1. 准备JDK.. 5 2.3.2. 上传JD

最近要写一个数据量较大的程序,所以想搭建一个hbase平台试试.搭建hbase伪分布式平台,需要先搭建hadoop平台.本文主要介绍伪分布式平台搭建过程. 目录: 一.前言 二.环境搭建 三.命令测试 四.启动YARN 五.web查看 一.前言 1.开始搭建前上官网看了一下,发现最新版本是3.0,但一想到跨版本而且又是最新版本的一般都会出现各种不一样的问题,所以决定使用了2.7.3,hadoop2的最新版本,至于跟后面搭建hbase的版本兼不兼容的情况等遇到再看怎么处理(实验证明最新版本的hba

From: http://blog.csdn.net/yinan9/article/details/16805275 环境:CentOS 5.10(虚拟机下) [root@localhost hadoop]# lsb_release -a   LSB Version:    :core-4.0-ia32:core-4.0-noarch:graphics-4.0-ia32:graphics-4.0-noarch:printing-4.0-ia32:printing-4.0-noarch   Dis

分布式文件系统 FastDFS 5.0.5 & Linux CentOS 7 安装配置(单点安装)--第一篇 简介 首先简单了解一下基础概念,FastDFS是一个开源的轻量级分布式文件系统,由跟踪服务器(tracker server).存储服务器(storage server)和客户端(client)三个部分组成,主要解决了海量数据存储问题,特别适合以中小文件(建议范围:4KB < file_size <500MB)为载体的在线服务.FastDFS的系统结构图如下: 如上图,FastD

GlusterFS分布式文件系统部署及基本使用(CentOS 7.6) 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. Gluster File System 是一款自由软件,主要由ZRESEARCH公司负责开发,十几名开发者,最近非常活跃. 文档也比较齐全,不难上手.Gluster是一个分布式横向扩展文件系统,可根据您的存储消耗需求快速配置额外的存储.它将自动故障转移作为主要功能.官网快速入门文档:https://docs.gluster.org/en/latest/Inst

软硬件环境: CentOS 7.2 64 位, OpenJDK- 1.8,Hadoop- 2.7 关于本教程的说明 云实验室云主机自动使用 root 账户登录系统,因此本教程中所有的操作都是以 root 用户来执行的.若要在自己的云主机上进行本教程的实验,为了系统安全,建议新建一个账户登录后再进行后续操作. 安装 SSH 客户端 安装SSH(输入 root 账户的密码,如果可以正常登录,则说明SSH安装没有问题.测试正常后使用 exit 命令退出ssh): sudo yum install op

『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本 主机名 ip 对应角色 master 192.168.56.4 NameNode slave1 192.168.56.3 DataNode1 slave2 192.168.56.5 DataNode2 Windows主机设置的ip为192.168.56.88 hadoop压缩包解压地址:/usr/local/hadoop 虚拟机

超详细!CentOS 7 + Hadoop3.0.0 搭建伪分布式集群 ps:本文的步骤已自实现过一遍,在正文部分避开了旧版教程在新版使用导致出错的内容,因此版本一致的情况下照搬执行基本不会有大错误.如果按本文步骤进行的时候出事了,可以鼠标选中博客页面右侧的目录导航看看最后一部分的意外出事的坑点解决方案. 准备linux主机环境 一.安装虚拟机 下载地址: VMware workstation 14 Pro (附:许可证秘钥) 系统iso:CentOS7 Minimal 基本上就是下一步下一步这

hadoop完全分布式手动安装(一主多从centos linux各版本均试验成功,文档完整无一遗漏) 网上的文章99%都是垃圾,我凭良心书写,确保幼儿园同学也能安装成功! 查看系统环境    1.查看Centos的版本 查看版本 lsb_release -a 或: rpm -q centos-release    2.查看是否安装openjdk rpm -qa | grep java    3.查看是否安装mariadb(mysql) rpm -qa | grep mariadb    4.查看

准备条件: CentOS 7 64位操作系统 | 选择minimal版本即可(不带可视化桌面环境),也可以选择带完整版Hadoop-2.8.0 | 本文采用的是Hadoop-2.8.0版本.JDK1.8 | 本文采用jdk-8u131-linux-x64.tar.gz版本. - 解压并配置JDK并配置Hadoop 1. 将下载好的jdk放入/usr 下并在/usr目录下新建java目录 [root@localhost /]# cd /usr [root@localhost usr]# mkdir

解压redis 先到官网https://redis.io/下载redis安装包,然后在CentOS操作系统中解压该安装包: tar -zxvf redis-3.2.9.tar.gz 编译redis cd redis-3.2.9 make && make install 此时如果报如下错误: bash: make: command not found 说明系统没有安装make,所有要先安装make,即: yum -y install gcc automake autoconf libtool

参考资料: http://www.moosefs.org/tl_files/manpageszip/moosefs-step-by-step-tutorial-cn-v.1.1.pdf 环境介绍:OS: CentOS 6.3 x86_64server1 - mfsmaster & mfschunkserverserver2 - mfsmetalogger & mfschunkserver & mfsclientserver3 - mfschunkserver 1. 什么是Moose

CentOS 7 安装配置分布式文件系统 FastDFS 5.1.1 软件下载:http://download.csdn.net/download/qingchunwuxian1993/9897458 yum-y install net-tools.x86_64 前言  项目中用到文件服务器,有朋友推荐用FastDFS,所以就了解学习了一番,感觉确实颇为强大,在此再次感谢淘宝资深架构师余庆大神开源了如此优秀的轻量级分布式文件系统,本篇文章就记录一下FastDFS的最新版本5.1.1在CentOS

注意:此次搭建是在ssh无密码配置.jdk环境已经配置好的情况下进行的 可以参考: Hadoop完全分布式安装教程 CentOS环境下搭建hadoop伪分布式集群 1.更改主机名 执行命令:vi  /etc/sysconfig/network 2.设置hosts中ip与主机名的绑定 执行命令 vi  /etc/hosts 在里面添加选项设置你的主机名与ip的对应关系 3.安装hadoop 执行命令,将压缩包解压到/usr/local/hadoop文件夹下 tar -zxvf hadoop-2.6

原文:https://my.oschina.net/wangmengjun/blog/1142982 什么是FastDFS? FastDFS是一个开源的分布式文件系统,她对文件进行管理,功能包括:文件存储.文件同步.文件访问(文件上传.文件下载)等,解决了大容量存储和负载均衡的问题.特别适合以文件为载体的在线服务,如相册网站.视频网站等等. FastDFS服务端有两个角色:跟踪器(tracker)和存储节点(storage).跟踪器主要做调度工作,在访问上起负载均衡的作用. 存储节点存储文件,完

from https://my.oschina.net/ososchina/blog/856678     摘要: CentOS 6.5搭建Redis3.2.8伪分布式集群 前言 最近在服务器上搭建了一套Redis3.0伪分布式集群,发现一个问题,就是Shell脚本编写能力和运维工具的重要性亟待提高. 集群环境安装 1.安装Redis $ cd /usr/local #安装目录 $ wget http://download.redis.io/releases/redis-3.2.8.tar.gz

hadoop 2.2.0 cluster setup 环境: 操作系统:Centos 6.5 jdk:jdk1.7.0_51 hadoop版本:2.2.0 hostname    ip master 192.168.1.180 slave1 192.168.1.181 slave2 192.168.1.182 slave3 192.168.1.183 一.前期系统环境配置 设置主机名 临时生效修改主机名,重启失效 [lxj@master ~]$ hostnamemaster 永久生效修改主机名,