一. Spark简介 Spark是一个通用的并行计算框架,由UCBerkeley的AMP实验室开发.Spark基于map reduce 算法模式实现的分布式计算,拥有Hadoop MapReduce所具有的优点:但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中,从而不再需要读写HDFS,节省了磁盘IO耗时,性能比Hadoop更快. 所以,相对来说Hadoop更适合做批处理,而Spark更适合做需要反复迭代的机器学习.下面是我在ubuntu14.04中配置Spark…

一. 简介 参考了网上许多教程,最终把hadoop在ubuntu14.04中安装配置成功.下面就把详细的安装步骤叙述一下.我所使用的环境:两台ubuntu 14.04 64位的台式机,hadoop选择2.7.1版本.(前边主要介绍单机版的配置,集群版是在单机版的基础上,主要是配置文件有所不同,后边会有详细说明) 二. 准备工作 2.1 创建用户 创建用户,并为其添加root权限,经过亲自验证下面这种方法比较好. sudo adduser hadoop sudo vim /etc/sudoers…

[root@hadoop1 bin]# rpm -qa|grep ntp 没有的话用yum -y install ntp安装(要记着每台机器上都要安装) [root@hadoop1 bin]# vi /etc/ntp.conf 修改内容如下 a)修改1(设置本地网络上的主机不受限制.)#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为 restrict 192.168.8.0 mask 255.255.255.0 nomodify…

试验环境 提君博客原创 >>提君博客原创  http://www.cnblogs.com/tijun/  << IP 主机名 角色 描述 同步方式 192.168.11.11 ltt1.bg.cn NTPD服务 1.负责与外部公共NTPD服务同步标准时间 2.作为内外网络的NTPD服务 NTPD服务平滑同步 192.168.11.12 ltt2.bg.cn  内外NTP客户端  内网设备与192.168.11.11同步时间 NTPD服务平滑同步 192.168.11.13 ltt3…

在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录可以先自行创建之) tar -zxvf hadoop-2.6.4.tar.gz -C /itcast 2 配置HDFS(hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) 2.1将hadoop添加到环境变量中,可以在一台机器上添加,然后发送给其他节点 vim /e…

一 安装 1.1 下载MongoDB 我个人不太喜欢用wget url, 之前出现过wget下载的包有问题的情况 https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.4.7.tgz 1.2 上传服务器并解压 tar -zxvf mongodb-linux-x86_64-3.4.7.tgz 1.3 移动到/data/program/software/mongodb mv mongodb-linux-x86_64-3.4.7/ /data/…

首先准备3台电脑或虚拟机,分别是Master,Worker1,Worker2,安装操作系统(本文中使用CentOS7). 1.配置集群,以下步骤在Master机器上执行 1.1.关闭防火墙:systemctl stop firewalld.service 1.2.设置机器ip为静态ip 1.2.1.修改配置 cd /etc/sysconfig/network-scripts/ vim ifcfg-eno16777736 更改内容如下: BOOTPROTO=static #配置静态IP,网关,子网…

本文环境 Redhat Linux 7.3,操作系统采用的最小安装方式. Kubernetes的版本为 V1.10. Docker版本为18.03.1-ce. etcd 版本为 V3.3.8. 1. 准备规划 1.1 Node 规划 主机名 地址 角色 devops-101 192.168.0.101 k8s master devops-102 192.168.0.102 k8s node 1.2 Network 网络 1.3 安装文件 Kubernetes安装需要以下二进制文件: etcd d…

配置安装Hadoop2.2.0 部署spark 1.0的流程 一.环境描写叙述 本实验在一台Windows7-64下安装Vmware.在Vmware里安装两虚拟机分别例如以下 主机名spark1(192.168.232.147),RHEL6.2-64 操作系统,usernameRoot 从机名spark2(192.168.232.152).RHEL6.2-64 操作系统,usernameRoot 二.环境准备 1.防火墙禁用.SSH服务设置为开机启动.并关闭SELINUX 2.改动hosts文件…

一.服务器准备 本文准备了3台服务器 , 分别是 172.18.0.231 172.18.0.232 172.18.0.233 每台运行2个redis实例, 端口分别为7000 7001 ,即总共6个redis节点 二.安装必要包并配置环境 yum install gcc 调整服务器参数 , 以得到最大性能 1.调整服务器最大文件打开数 打开文件 /etc/security/limits.conf 在最后加入以下文件 , 并保存 * 代表所有方式 - 代表 both hard and soft…

一,什么是consul? 1,Consul 是 HashiCorp 公司推出的开源软件,用于实现分布式系统的服务发现与配置. Consul 是分布式的.高可用的. 可横向扩展的   2,官方网站: https://www.consul.io/ 3,Consul 集群间使用了 Gossip 协议通信和 raft 一致性算法   4,Consul和Eureka的不同之处:    Eureka只需要在项目中加入服务端依赖,就可以作为服务端使用:    Consul需要从官网下载,并单独安装   5,本…

Redis安装 先确认gcc和tcl已经安装 sudo yum install gcc-c++ sudo yum install tcl 解压, 编译和安装 .tar.gz /usr/src/ cd /usr/src/redis-/ sudo make sudo make test sudo make install # 如果不想安装到 /usr/local//bin下, 然后再到/usr/bin去建好软链 install 安装很自由, 在哪里编译都可以, 有用的就是最后生成的那几个binary…

一.所有节点上使用yum安装配置NTP服务yum install ntp -y 二.选定一台节点作为NTP server, 192.168.58.11修改/etc/ntp.conf vim /etc/ntp.conf 1,注释掉restrict 127.0.0.1 ,修改为: restrict 192.168.58.11 mask 255.255.0.0 nomodify notrap 2,使本地时钟可作为时钟源,添加如下两行: server 127.127.1.0 fudge 3,屏蔽默认服务…

一.简介 RHCS 即 RedHat Cluster Suite ,中文意思即红帽集群套件.红帽集群套件(RedHat Cluter Suite, RHCS)是一套综合的软件组件,可以通过在部署时采用不同的配置,以满足你的对高可用性,负载均衡,可扩展性,文件共享和节约成本的需要.对于需要最大 正常运行时间的应用来说,带有红帽集群套件(Red Hat Cluster Suite)的红帽企业 linux 集群是最佳的选择.红帽集群套件专为红帽企业 Linux 量身设计,它提供有如下两种不同类型的集群…

1.   Redis的安装 1.1. Redis的安装 Redis是c语言开发的. 安装redis需要c语言的编译环境.如果没有gcc需要在线安装.yum install gcc-c++ 安装步骤: 第一步:redis的源码包上传到linux系统. 第二步:解压缩redis. 第三步:编译.进入redis源码目录.make 第四步:安装.make install PREFIX=/usr/local/redis PREFIX参数指定redis的安装目录.一般软件安装到/usr目录下 1.2. 连接…

不多说,直接上干货! 福利 => 每天都推送 欢迎大家,关注微信扫码并加入我的4个微信公众号:   大数据躺过的坑      Java从入门到架构师      人工智能躺过的坑         Java全栈大联盟        每天都有大量的学习视频资料和精彩技术文章推送... 人生不易,唯有努力.        百家号 :九月哥快讯               快手号:  jiuyuege         前期博客 Cloudera Manager安装之Cloudera Manager 5.3…

准备 一台CentOS主机,安装DockerCE,用于安装Rancher2 一台CentOS主机,安装DockerCE,用于安装kubernetes集群管理主机 多台CentOS主机,安装DockerCE,用于运行kubernetes工作节点,工作节点需要与集群管理主机在同一个子网中 掌握Docker常用操作,了解K8s基本原理 安装Rancher2 第一步:执行命令,运行Rancher2,绑定主机端口80和443. docker run -d --restart=unless-stopped…

这里我以zookeeper3.4.10.tar.gz来演示安装,安装到/usr/local/soft目录下. 一.单机版配置 1.安装和配置 #.下载 wget http://apache.fayea.com/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz #.解压 tar -zxvf zookeeper3.4.10.tar.gz #.在zookeeper-/conf目录下创建目录: mkdir data mkdir logs #.将zook…

一,查看本地centos的版本 [root@localhost lib]# cat /etc/redhat-release CentOS Linux release 8.1.1911 (Core) 说明:架构森林是一个专注架构的博客,地址:https://www.cnblogs.com/architectforest 对应的源码可以访问这里获取: https://github.com/liuhongdi/ 说明:作者:刘宏缔 邮箱: 371125307@qq.com 二,fastdfs的下载与安…

一,查看本地centos的版本 [root@localhost lib]# cat /etc/redhat-release CentOS Linux release 8.1.1911 (Core) 说明:架构森林是一个专注架构的博客,地址:https://www.cnblogs.com/architectforest 对应的源码可以访问这里获取: https://github.com/liuhongdi/ 说明:作者:刘宏缔 邮箱: 371125307@qq.com 二,fastdfs的下载与安…

使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22 添加安装 cdh5.2 注意事项. 1.cdh5.2 发布了,其中 YARN 的一些配置参数做了修改,需要特别注意. 2.Hive 的元数据如果使用 PostgreSql9.X,需要设置 standard_conforming_strings 为 off 环境 CentOS 6.4 x86_64 C…

本文收录在容器技术学习系列文章总目录 1.kubernetes安装介绍 1.1 K8S架构图 1.2 K8S搭建安装示意图 1.3 安装kubernetes方法 1.3.1 方法1:使用kubeadm 安装kubernetes(本文演示的就是此方法) 优点:你只要安装kubeadm即可:kubeadm会帮你自动部署安装K8S集群:如:初始化K8S集群.配置各个插件的证书认证.部署集群网络等.安装简易. 缺点:不是自己一步一步安装,可能对K8S的理解不会那么深:并且有那一部分有问题,自己不好修正.…

MariaDB在centos 7.3的安装,配置和集群搭配 阿里云最新选配系统中,只有centos7.3可选,因此,基于centos 7的MariaDB的安装,配置... 全部删除MySQL/MariaDB MySQL 已经不再包含在 CentOS 7 的源中,而改用了 MariaDB; 1.使用rpm -qa | grep mariadb搜索 MariaDB 现有的包: [root@localhost ~]# rpm -qa | grep mariadb mariadb-server-5.5.…

Hive环境的安装部署(完美安装)(集群内或集群外都适用)(含卸载自带mysql安装指定版本) Hive 安装依赖 Hadoop 的集群,它是运行在 Hadoop 的基础上. 所以在安装 Hive 之前,保证 Hadoop 集群能够成功运行. 同时,比如我这里的master.slave1和slave2组成的hadoop集群.hive的安装可以安装在任一一个节点上,当然,也可以安装在集群之外,取名为client.只需要ssh免密码通信即可. 1. 下载Hive 这里很简单,不多赘述. http:/…

  codyl 2016-01-26 00:53:00 浏览385 评论0 负载均衡 转自 运维小知识之nginx---nginx配置Jboss集群负载均衡-博客-云栖社区-阿里云https://yq.aliyun.com/articles/17925 运维小知识之nginx---nginx配置Jboss集群负载均衡 背景 紧接着上一篇博客<运维小知识---CentOS6.5安装nginx配置nginx sticky>安装完成之后剩下的工作就是配置了,其实如果我们想要去做负载均衡session…

Linux环境CentOS6.9安装配置Elasticsearch6.2.2最全详细教程 前言 第一步:下载Elasticsearch6.2.2 第二步:创建应用程序目录 第四步:创建Elasticsearch用户和所在组 第五步:更改解压的Elasticsearch应用所属用户及组 第六步:执行脚本添加可执行权限 第八步:启动 前言 操作系统版本:CentOS6.9 64位(CentOS7及其他Linux系统都没有问题) Elasticsearch版本:6.2.2 这里默认你已经安装配置好了J…

NTP 集群简略部署指南 by 无若 1. NTP 简介 网络时间协议(英语:Network Time Protocol,简称NTP)是在数据网络潜伏时间可变的计算机系统之间通过分组交换进行时钟同步的一个网络协议.自1985年以来,NTP是目前仍在使用的最古老的互联网协议之一.NTP由特拉华大学的David L. Mills设计. NTP意图将所有参与计算机的协调世界时(UTC)时间同步到几毫秒的误差内.它使用Marzullo算法的修改版来选择准确的时间服务器,其设计旨在减轻可变网络延迟造成的影…

安装spark ha集群 1.默认安装好hadoop+zookeeper 2.安装scala 1.解压安装包 tar zxvf scala-2.11.7.tgz 2.配置环境变量 vim /etc/profile #scala export SCALA_HOME=/opt/scala-2.11.7 #CLASSPATH export CLASSPATH=$CLASSPATH:$SCALA_HOME/lib #PATH export PATH=$PATH:$SCALA_HOME/bin 保存退出…

centos 安装 zookeeper-3.5.2-alpha.tar.gz 网上搜索了 一下 安装教程 其实很简单 主要总结一下 中间遇到的坑 1.zookeeper 3.4.6 启动失败. 很有可能是配置的日志目录在文件系统中没有新建. 2.zookeeper 3.5+ 启动失败. 这个是我今天遇上的问题,报错: [java] view plain copy print?2015-03-24 16:16:44,231 [myid:] - ERROR [main:ZooKeeperServer…

最近工作不忙,就决定学习一下redis.因为一直在windows下工作,不会linux,没办法就选择在windows下配置redis. windows下配置redis集群的文章有很多,比如:http://www.cnblogs.com/linjisong/p/6081312.html, 我这里主要说一下我遇到的一些坑. 1.配置文件 安装完redis服务以后,会有两个配置文件,如下图: 按官方解释,一个是命令提示符下启动redis使用的,一个是服务专用的, 但是我有一台机子,改了服务器的配置文件…