一. Spark简介 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发.Spark基于map reduce 算法模式实现的分布式计算,拥有Hadoop MapReduce所具有的优点:但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,节省了磁盘IO耗时,性能比Hadoop更快. 所以,相对来说Hadoop更适合做批处理,而Spark更适合做需要反复迭代的机器学习.下面是我在ubuntu14.04中配置Spark…

一.服务器准备 本文准备了3台服务器 , 分别是 172.18.0.231 172.18.0.232 172.18.0.233 每台运行2个redis实例, 端口分别为7000 7001 ,即总共6个redis节点 二.安装必要包并配置环境 yum install gcc 调整服务器参数 , 以得到最大性能 1.调整服务器最大文件打开数 打开文件 /etc/security/limits.conf 在最后加入以下文件 , 并保存 * 代表所有方式 - 代表 both hard and soft…

一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本.(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明) 二. 准备工作 2.1 创建用户 创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好. sudo adduser hadoop sudo vim /etc/sudoers…

当然,集群最主要的就是配置文件: 简单配置如下, port 7001 bind 127.0.0.1 databases 16 appendonly yes appendfilename "appendonly.7000.aof" cluster-enabled yes cluster-config-file nodes-7001.conf cluster-node-timeout 15000 cluster-slave-validity-factor 10 cluster-migrat…

Redis是一种高级key-value数据库.它跟memcached类似,不过数据可以持久化,而且支持的数据类型很丰富.有字符串,链表,集 合和有序集合.支持在服务器端计算集合的并,交和补集(difference)等,还支持多种排序功能.所以Redis也可以被看成是一个数据结构服务 器. Redis的所有数据都是保存在内存中,然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”):也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”).…

一 安装 1.1 下载MongoDB 我个人不太喜欢用wget url, 之前出现过wget下载的包有问题的情况 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.7.tgz 1.2 上传服务器并解压 tar -zxvf mongodb-linux-x86_64-3.4.7.tgz 1.3 移动到/data/program/software/mongodb mv mongodb-linux-x86_64-3.4.7/ /data/…

首先准备3台电脑或虚拟机,分别是Master,Worker1,Worker2,安装操作系统(本文中使用CentOS7). 1.配置集群,以下步骤在Master机器上执行 1.1.关闭防火墙:systemctl stop firewalld.service 1.2.设置机器ip为静态ip 1.2.1.修改配置 cd /etc/sysconfig/network-scripts/ vim ifcfg-eno16777736 更改内容如下: BOOTPROTO=static #配置静态IP,网关,子网…

本文环境 Redhat Linux 7.3,操作系统采用的最小安装方式. Kubernetes的版本为 V1.10. Docker版本为18.03.1-ce. etcd 版本为 V3.3.8. 1. 准备规划 1.1 Node 规划 主机名 地址 角色 devops-101 192.168.0.101 k8s master devops-102 192.168.0.102 k8s node 1.2 Network 网络 1.3 安装文件 Kubernetes安装需要以下二进制文件: etcd d…

一,什么是consul? 1,Consul 是 HashiCorp 公司推出的开源软件,用于实现分布式系统的服务发现与配置. Consul 是分布式的.高可用的. 可横向扩展的   2,官方网站: https://www.consul.io/ 3,Consul 集群间使用了 Gossip 协议通信和 raft 一致性算法   4,Consul和Eureka的不同之处:    Eureka只需要在项目中加入服务端依赖,就可以作为服务端使用:    Consul需要从官网下载,并单独安装   5,本…

在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录可以先自行创建之) tar -zxvf hadoop-2.6.4.tar.gz -C /itcast 2 配置HDFS(hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) 2.1将hadoop添加到环境变量中,可以在一台机器上添加,然后发送给其他节点 vim /e…