这里搭建的是3个节点的完全分布式,即1个nameNode,2个dataNode,分别如下: CentOS-master   nameNode   192.168.11.128 CentOS-node1   dataNode    192.168.11.131 CentOS-node2   dataNode    192.168..11.132 1.首先创建好一个CentOS虚拟机,将它作为主节点我这里起名为CentOS-master,起什么都行,不固定要求 2.VMware中打开虚拟机,输入ja…

近几年大数据越来越火热.由于工作需要以及个人兴趣,最近开始学习大数据相关技术.学习过程中的一些经验教训希望能通过博文沉淀下来,与网友分享讨论,作为个人备忘. 第一篇,在win7虚拟机下搭建hadoop2.6.0伪分布式环境. 1. 所需要的软件 使用Vmware 11.0搭建虚拟机,安装Ubuntu 14.04.2系统. Jdk 1.7.0_80 Hadoop 2.6.0 2. 安装vmware和ubuntu 略 3. 在ubuntu中安装JDK 将jdk解压缩到目录:/home/vm/tool…

一 完全分布式集群(单点) Hadoop官方地址:http://hadoop.apache.org/ 1  准备3台客户机 1.1防火墙,静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host.因此我们在主机的/etc/hosts下均进行如下配置: [root@node21 ~]# vi /etc/hosts…

一 完全分布式集群搭建 Hadoop官方地址:http://hadoop.apache.org/ 1  准备3台客户机 1.2 关闭防火墙,设置静态IP,主机名 关闭防火墙,设置静态IP,主机名此处略,参考  Linux之CentOS7.5安装及克隆 1.2 修改host文件 我们希望三个主机之间都能够使用主机名称的方式相互访问而不是IP,我们需要在hosts中配置其他主机的host.因此我们在主机的/etc/hosts下均进行如下配置: [root@node21 ~]# vi /etc/hos…

首先说明,本文记录的是博主搭建的3节点的完全分布式hadoop集群的过程,环境是centos 7,1个nameNode,2个dataNode,如下: 1.首先,创建好3个Centos7的虚拟机,具体的操作可以参考网上其他教程,这个给个链接<windows环境安装VMware,并且安装CentOS7 虚拟机> 2.完成虚拟机的java环境的搭建,可以参考我的博客<centos7 安装jdk 1.8> 3.关闭或者禁用防火墙, systemctl  stop firewalld.ser…

一.基础环境设置 1. 准备4台客户机(VMware虚拟机) 系统版本:Centos7.5 节点配置: 192.168.208.128 --Master 192.168.208.129 --Slaver-1 192.168.208.130 --Slaver-2 192.168.208.130 --Slaver-3 2. 配置hosts文件,使4台客户机能够以主机名相互访问 [root@Master ~]# vi /etc/hosts 127.0.0.1 localhost localhost.l…

系统环境:CentOS 7 JDK版本:jdk-8u191-linux-x64 MYSQL版本:5.7.26 Hadoop版本:2.9.0 Hive版本:2.3.4 Host Name Ip User/Pass Namenode 192.168.2.3 root/root. Datanode1 192.168.2.5 root/root. Datanode2 192.168.2.6 root/root. 安装JDK: https://www.cnblogs.com/java-h/p/111272…

Hadoop的安装和配置可以参考我之前的文章:在Win7虚拟机下搭建Hadoop2.6.0伪分布式环境. 本篇介绍如何在Hadoop2.6.0基础上搭建spark1.4.0单机环境. 1. 软件准备 scala-2.11.7.tgz spark-1.4.0-bin-hadoop2.6.tgz 都可以从官网下载. 2. scala安装和配置 scala-2.11.7.tgz解压缩即可.我解压缩到目录/home/vm/tools/scala,之后配置~/.bash_profile环境变量. #sca…

准备工作 1.准备安装环境: 4台PC,均安装32位Ubuntu12.04操作系统,统一用户名和密码 交换机1台 网线5根,4根分别用于PC与交换机相连,1根网线连接交换机和实验室网口 2.使用ifconfig查看各PC的IP地址,并确保可以相互ping通 pc1 192.168.108.101 pc2 192.168.108.146 pc3 192.168.108.200 pc4 192.168.108.211 3.安装jdk,下载jdk-7u71-linux-i586.tar.gz,拷贝到你…

超级账本(hyperledger)是Linux基金会于2015年发起的推进区块链数字技术和交易验证的开源项目,加入成员包括:荷兰银行(ABN AMRO).埃森哲(Accenture)等十几个不同利益体,目标是让成员共同合作,共建开放平台,满足来自多个不同行业各种用户案例,并简化业务流程.由于点对点网络的特性,分布式账本技术是完全共享.透明和去中心化的,故非常适合于在金融行业的应用,以及其他的例如制造.银行.保险.物联网等无数个其他行业.通过创建分布式账本的公开标准,实现虚拟和数字形式的价值交换,…

在Centos7下搭建Socks5代理服务器 http://blog.51cto.com/quliren/2052776   采用socks协议的代理服务器就是SOCKS服务器,是一种通用的代理服务器.Socks是个电路级的底层网关,是DavidKoblas在1990年开发的,此后就一直作为Internet RFC标准的开放标准.Socks 不要求应用程序遵循特定的操作系统平台,Socks 代理与应用层代理. HTTP 层代理不同,Socks 代理只是简单地传递数据包,而不必关心是何种应用协议(…

第四百零五节,centos7下搭建sentry错误日志服务器,接收python以及Django错误, 注意:版本,不然会报错 Docker >=1.11Compose >1.6.0 通过docker安装sentry 安装docker 1.卸载旧版本 sudo yum remove docker \ docker-common \ docker-selinux \ docker-engine 2.安装依赖包 sudo yum install -y yum-utils device-mapper-…

本博客的主要内容是在centos7下搭建luminous,配置dashboard,搭建客户端使用rbd,源码安装ceph,最后给出一些较为常用的命令.本博客针对初次接触ceph的人群. 搭建环境: 主机系统:centos7 x86_64 server ceph版本:ceph 12.2.1(luminous) 硬件配置:4台vm,1核1G内存,每台至少挂载1块为osd准备的空闲盘 主机名 ip role admin 192.168.197.144 admin node1 192.168.197.1…

CentOS7下搭建zabbix监控(一)——Zabbix监控端配置 CentOS7下搭建zabbix监控(二)——Zabbix被监控端配置 CentOS7下搭建zabbix监控(三)——Zabbix监控服务配置 以下都是在监控端进行配置操作. (1).邮件报警设置 1)安装mailx组件并配置 [root@youxi1 ~]# yum -y install mailx [root@youxi1 ~]# vim /etc/mail.rc set from=[邮箱地址] set smtp=smtp…

CentOS7下搭建zabbix监控(一)——Zabbix监控端配置 CentOS7下搭建zabbix监控(二)——Zabbix被监控端配置 (1).配置Zabbix监控Apache服务 主机名:youxi2 IP地址:192.168.5.102 注意:需要找一个合适的Apache监控模板 1)安装httpd,这里为了简化步骤直接yum安装 [root@youxi2 ~]# yum -y install httpd [root@youxi2 ~]# systemctl enable httpd…

Zabbix监控端配置请查看:CentOS7下搭建zabbix监控(一)——Zabbix监控端配置 (1).在CentOS7(被监控端)上部署Zabbix Agent 主机名:youxi2 IP地址:192.168.5.102 1)上传压缩包,安装依赖包 [root@youxi2 ~]# yum install -y curl curl-devel net-snmp net-snmp-devel perl-DBI gcc gcc-c++ 2)创建zabbix用户 [root@youxi2 ~]#…

本文源码:GitHub·点这里 || GitEE·点这里 一.PostgreSQL简介 1.数据库简介 PostgreSQL是一个功能强大的开源数据库系统,具有可靠性.稳定性.数据一致性等特点,且可以运行在所有主流操作系统上,包括Linux.Unix.Windows等.PostgreSQL是完全的事务安全性数据库,完整地支持外键.联合.视图.触发器和存储过程,支持了大多数的SQL:2008标准的数据类型,包括整型.数值型.布尔型.字节型.字符型.日期型.时间间隔型和时间型,它也支持存储二进制的大…

距离上次写的一篇mongoDB搭建已经有一年多的时间了,刚好这次在公司搭建好在centos7下的mongodb搭建,简单的做一个记录吧 mongo 是一个基于分布式文件存储的数据库,数据主要存储在磁盘跟cpu中(一些基本的介绍我这里就不提了,执行百度) 直接进入正题: 1.我在这里新建了一个目录 mkdir /mongo 1.下载 cd mongodbwget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-3.2.8.t…

Hadoop 2.7.1 (2015-7-6更新),hadoop的环境配置不是特别的复杂,但是确实有很多细节需要注意,不然会造成许多配置错误的情况.尽量保证一次配置正确防止反复修改. 网上教程有很多关于Hadoop配置的,但是每一个教程都对应了一个版本信息,有一些教程也存在很大的问题,配置环境,系统环境都没说清楚.在此我将记录下来从零搭建Hadoop2.7.1的过程,以及搭建过程中所遇到的一些问题. 一 操作环境说明 1.1 :操作系统: window8.1 1.2 :虚拟机版本:VMware1…

Hadoop 2.7.1 (2015-7-6更新),Hadoop的环境配置不是特别的复杂,可是确实有非常多细节须要注意.不然会造成很多配置错误的情况.尽量保证一次配置正确防止重复改动. 网上教程有非常多关于Hadoop配置的,可是每个教程都相应了一个版本号信息.有一些教程也存在非常大的问题,配置环境,系统环境都没说清楚.在此我将记录下来从零搭建Hadoop2.7.1的过程,以及搭建过程中所遇到的一些问题. 一 操作环境说明 1.1 :操作系统: window8.1 1.2 :虚拟机版本号:VMw…

CentOS   花了基本上两天的时间去配置CentOS7下的邮件服务器.其中艰辛太多了,一定得总结下. 本文的目的在于通过一系列配置,在CentOS 7下搭建dovecot + postfix + SSL 服务器,并且能够通过邮件客户端(本文中是Airmail)进行收发邮件. 前提条件 你得有个主机或者VPS 你有一个主域名比如 fancycoding.com 还有一个二级域名比如 mail.fancycoding.com 二级域名的 SSL 证书. 配置你的DNS记录 确认主域名有A记录指向…

 1.启用Apache(httpd) Centos7默认已经安装httpd服务,只是没有启动.如果你需要全新安装,可以yum install -y httpd 启动服务:systemctl start httpd.service 设置开机自动启动:systemctl enable httpd.service HTTP服务器已经启动,进行一下简单配置 vi /etc/httpd/conf/httpd.conf #编辑文件 #添加,在错误页中显示Apache的版本,Off为不显示  ServerSi…

注意:本文所有命令均在root命令下执行. freeradius服务官网:http://freeradius.org/ daloradius Web管理页面官网:https://sourceforge.net/projects/daloradius/ CentOS6.5下搭建LAMP+FreeRadius+Daloradius Web管理和TP-LINK路由器.H3C交换机连接,实现,上网认证和记账功能:https://www.cnblogs.com/opsprobe/p/9420502.htm…

1.启用Apache2 Centos7默认已经安装httpd服务,只是没有启动.如果你需要全新安装,可以yum install -y httpd 启动服务:systemctl start httpd.service 设置开机自动启动:systemctl enable httpd.service HTTP服务器已经启动,进行一下简单配置 vi /etc/httpd/conf/httpd.conf #编辑文件 ServerSignature On  #添加,在错误页中显示Apache的版本,Off为…

环境依赖: Harbor仓库需要环境:Python 2.7或以上版本,Docker 1.10或以上,Docker Compose 1.6.0或以上. CentOS7自带Python,所以不需要安装. 关于Docker安装已经写过一篇博客:[Docker]CentOS7下Docker安装教程 所以接下来说一说docker-compose. 部署docker-compose(这里是以1.16.1版本为例,具体版本可以根据自己需要进行下载): curl -L https://github.com/do…

涉及基础操作命令 这里只是将涉及到的提了下一下具体的使用还需要读者自己查阅资料 tar 解压命令 su 进入root用户模式 rm -rf 删除 cd /文件名/.../ 进入某个文件夹下 注意要逐层进入 cd .. 返回上一级文件夹 vim /文件名/.../ 编辑某个文本文件 具体步骤 1.首先先要卸载centos7下自带的openJDK 进入root用户模式输入 su 输入密码 使用yum 移除本地openJDK yum -y remove java 2.删除本地openJDK后删除ope…

(1).实验环境 youxi1 192.168.1.6 Master服务器 youxi2 192.168.1.7 Slave服务器 (2).实验 1)两台服务器上yum安装Redis,启动并设置开机自启 详细查看:CentOS7下yum安装Redis 2)修改Master服务器上的配置 [root@youxi1 ~]# vim /etc/redis.conf bind 0.0.0.0 //第69行,设置监听地址.0.0.0.0表示监听所有地址 requirepass 123456 //第507行…

zabbix 是一个基于 WEB 界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案.zabbix 能监视各种网络参数,保证服务器系统的安全运营:并提供灵活的通知机制以让系统管理员快速定位解决存在的各种问题. Zabbix支持多种网络方式下的监控,可以通过分布式的部署和安装监控代理Zabbix,通过C/S模式采集数据,通过B/S模式在Web端展示和配置.Zabbix Agent监控端口10050. (1).zabbix的主要特点 安装配置简单,学习成本低,支持多语言(包括中文),免费…

注意:可以查看Redis官网查看集群搭建方式,连接如下 https://redis.io/topics/cluster-tutorial 集群中应该至少有三个节点,每个节点有一备份节点.需要6台服务器. 如果条件有限,可以搭建伪分布式,以下步骤是在一台 Linux 服务器上搭建有6个节点的 Redis集群. 准备工作:安装依赖包 [root@localhost ~]#yum install -y gcc g++ make gcc-c++ kernel-devel automake autocon…

FastDfs介绍 http://kb.cnblogs.com/page/82280/ 1.准备 系统 CentOS7 最小化安装. #VIP虚拟IP 10.1.6.218 #Keepalived 10.1.6.216 #Keepalived1+Nginx 10.1.6.217 #Keepalived2+Nginx #Tracke 10.1.6.210 #Tracke1+Nginx 10.1.6.211 #Tracke2+Nginx #Group1 10.1.6.212 #Storage1+Ng…