1. 桥接模式,静态ip上外网:vi /etc/sysconfig/network-scripts/ifcfg-ens33 TYPE=EthernetPROXY_METHOD=noneBROWSER_ONLY=noBOOTPROTO=staticDEFROUTE=yesIPV4_FAILURE_FATAL=noIPV6INIT=yesIPV6_AUTOCONF=yesIPV6_DEFROUTE=yesIPV6_FAILURE_FATAL=noIPV6_ADDR_GEN_MODE=stable-p…

接上一篇:https://www.cnblogs.com/yjm0330/p/10077076.html 一.下载安装scala 1.官网下载 2.spar01和02都建立/opt/scala目录,解压tar -zxvf scala-2.12.8.tgz 3.配置环境变量 vi /etc/profile 增加一行 export    SCALA_HOME=/opt/scala/scala-2.12.8 同时把hadoop的环境变量增加进去,完整版是: export JAVA_HOME=/opt/…

前言 在安装后hadoop之后,接下来需要安装的就是Spark. scala-2.11.7下载与安装 具体步骤参见上一篇博文 Spark下载 为了方便,我直接是进入到了/usr/local文件夹下面进行下载spark-2.2.0 wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz Spark安装之前的准备 文件的解压与改名 tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz…

1 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 2.9.1 2.9.2 2.9.2.1 2.9.2.2 2.9.3 2.9.3.1 2.9.3.2 2.9.3.3 2.9.3.4 2.9.3.5 3 4 5 5.1 5.2 5.3 6 7 7.1 7.2 8 8.1 8.2 8.3 8.4 8.5 8.6 8.7 8.8 8.9 8.10 8.11 8.12 8.13 8.14 8.15 8.16 8.16.1 8.17 8.18 8.19 8.19.1 8.19…

问题描述: 在Centos7中,通过yum安装ruby的版本是2.0.0,但是如果有些应用需要高版本的ruby环境,比如2.2,2.3,2.4... 那就有点麻烦了,譬如:我准备使用redis官方给的工具:redis-trib.rb 这个工具构建redis集群的时候,报错了: “redis requires Ruby version >= 2.2.2” 解决方法(已经尝试,没有问题) 1,首先系统需要安装redis,毕竟是搭建redis集群,如果没有安装redis,请先执行(如果安装了,请略过此…

好了,本篇开始部署kafka集群 Zookeeper集群搭建 注:Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群(也可以用kafka自带的ZK,但不推荐) 1.软件环境 (3台服务器) 10.0.20.131 10.0.20.132 10.0.20.133 1.Linux服务器一台.三台.五台.(2*n+1),Zookeeper集群的工作是超过半数才能对外提供服务,3台中超过两台超过半数,允许1台挂掉 ,是否可以用偶数,其实没必要. 如果有四台那么挂掉一台还…

安装简要说明新版本的kafka自带有zookeeper,其实自带的zookeeper完全够用,本篇文章以记录使用自带zookeeper搭建kafka集群.1.关于kafka下载kafka下载页面:http://kafka.apache.org/downloads 2.修改kafka配置文件kafka安装目录下的config文件夹为其配置文件,我们需要修改的有 server.properties和zookeeper.properties. 2.1.修改日志目录首先修改kafka的日志目录和zook…

 一.前言 开始学习数据处理相关的知识了,第一步是搭建一个Hadoop集群.搭建一个分布式集群需要多台电脑,在此我选择采用VMWare+CentOS7搭建一个三台虚拟机组成的Hadoop集群. 注:1.本次搭建环境中操作系统的用户名为hadoop,请自行替换/home/hadoop为本机对应路径. 2.本次用到的软件版本为: VMware Workstation 14 Pro 14.1.3 build-9474260 CentOS 7.5.1804 Java 1.8.0_181 Apache H…

一.概述 Lucene是一个Java语言编写的利用倒排原理实现的文本检索类库: Solr是以Lucene为基础实现的文本检索应用服务.Solr部署方式有单机方式.多机Master-Slaver方式.Cloud方式. SolrCloud是基于Solr和Zookeeper的分布式搜索方案.当索引越来越大,一个单一的系统无法满足磁盘需求,查询速度缓慢,此时就需要分布式索引.在分布式索引中,原来的大索引,将会分成多个小索引,solr可以将这些小索引返回的结果合并,然后返回给客户端. 二.特色功能 Sol…

centos7与之前的版本都不一样,修改主机名在/ect/hostname 和/ect/hosts 这两个文件控制 首先修改/ect/hostname vi /ect/hostname 打开之后的内容是: localhost.localdomain 把它修改成你想要的名字就可以,比如: niukou.com 保存退出 然后修改/ect/hosts文件 vi /ect/hosts 打开之后的内容是: 127.0.0.1   localhost localhost.localdomain local…

一 安装Docker-CE 前言 Docker 使用越来越多,安装也很简单,本次记录一下基本的步骤. Docker 目前支持 CentOS 7 及以后的版本,内核要求至少为 3.10. Docker 官网有安装步骤,本文只是记录一下,您也可以参考 Get Docker CE for CentOS 环境说明 CentOS 7(Minimal Install) $ cat /etc/redhat-release CentOS Linux release 7.6.1810 (Core) 准备工作 操作…

一.本地实验环境准备 服务器虚拟机准备 IP CPU 内存 hostname 192.168.222.129 >=2c >=2G master 192.168.222.130 >=2c >=2G node1 192.168.222.131 >=2c >=2G node2 本实验我这里用的虚拟机是vmware workstation创建的,我的机器配置较低,所以master给了4G 4C,node每个给了4G 4C,大家根据自己的资源情况,按照上面给的建议最低值创建即可.…

1.选取三台服务器(CentOS系统64位) 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码,因为有些操作是得用root用户操作.如果是用root用户操作的话就不存在以上问题. 我是用root用户操作的. 2.修改hosts文件 修改三台服务器的hosts文件. vi /etc/hosts 在原文件的基础最后面加上: 114.55.246.88 Master 114.55.…

一.说明 节点(CentOS7.5) Server  || Agent CPU node11 Server  || Agent 4G node12 Agent 2G node13 Agent 2G 二.系统环境搭建 1.网络配置(所有节点) 1．设置主机名和IP 2．配置/etc/hosts  IP和主机名的映射 2.SSH免密码登录 1．产生公钥和私钥:ssh-keygen -t rsa (一直回车直即可) 2．将公钥分发给所有节点(包括本机):  ssh-copy-id -i 主机名 3．测…

转自http://www.cnblogs.com/zhenyuyaodidiao/p/6237019.html 一.简介 “A highly-available key value store for shared configuration and service discovery.” Etcd是coreos开发的分布式服务系统,内部采用raft协议作为一致性算法.作为一个高可用的配置共享.服务发现的键值存储系统,Etcd有以下的特点: 1)简单:安装配置简单,而且提供了 HTTP API…

Hadoop集群安装 概述 集群 cluster,将很多任务进程分布到多台计算机上:通过联合使用多台计算机的存储.计算能力完成更庞大的任务.为了实现无限量的存储和计算能力,在生产环境中必须使用集群来满足需求. 总体步骤 基本步骤 1) 安装JDK,配置JDK环境变量 2) 安装Hadoop,配置Hadoop环境变量,配置Hadoop 3) 组织并在集群中分发文件 注意:如果使用克隆方案,克隆后需修改主机名及IP,修改方法参考文后附录. 其它要求 1) 集群中的计算机在时间上要同步,系统时间不能差…

在Ubuntu14.04操作系统的宿主机中,安装docker17.06.3,将宿主机的操作系统制作成docker基础镜像,之后使用自制的基础镜像在docker中启动3个容器,分配固定IP,再在3个容器中配置solrCloud集群. 关键点:docker17.06.3安装,docker自制镜像及相关容器操作,docker分配固定IP及添加端口映射,solrCloud集群部署等 注:solrCloud采用的solr内置jetty,需要单独配置zookeeper 容器IP及名称见下表: 编号 静态IP…

前几天装了CentOS7.并安装了一些基本的工具,现在我手上有三台机器:分别是master,slave1,slave2. 今天我将搭建zookeeper,使用的版本是zookeeper-3.4.11.tar.gz.zk安装非常简单他有三种搭建方式:一种是单机版,一种是伪分布式,一种是分布式.我这演示的是分布式搭建... 一.下载zk安装包: http://zookeeper.apache.org/releases.html 二.安装 1. 将zookeeper-3.4.11.tar.gz上传到安…

1.tomcat集群 利用nginx对请求进行分流,将请求平均的分给不同的tomcat去处理,减少单个tomcat的负载量,提高tomcat的响应速度. 2.创建多个tomcat服务器(同一个服务器上) ①  先安装配置好1个tomcat服务器 安装tomcat: http://www.cnblogs.com/origalom/p/7643425.html 以普通用户运行tomcat:http://www.cnblogs.com/origalom/p/7666897.html ②  将安装好的t…

目录 1.生产环境k8s平台架构 2.官方提供三种部署方式 3.服务器规划 4.系统初始化 5.Etcd集群部署 5.1.安装cfssl工具 5.2.生成etcd证书 5.2.1 创建用来生成 CA 文件的 JSON 配置文件 5.2.2 创建用来生成 CA 证书签名请求(CSR)的 JSON 配置文件 5.2.3 生成CA证书(ca.pem)和密钥(ca-key.pem) 5.2.4 创建 etcd 证书签名请求 5.2.5 生成etcd证书和私钥 5.3.部署etcd 5.3.1 etcd二…

一.部署环境 主机列表: 主机名 Centos版本 ip docker version flannel version Keepalived version 主机配置 备注 master01 7.6.1810 172.27.34.3 18.09.9 v0.11.0 v1.3.5 4C4G control plane master02 7.6.1810 172.27.34.4 18.09.9 v0.11.0 v1.3.5 4C4G control plane master03 7.6.1810 1…

1.环境介绍 涉及到软件下载地址:https://pan.baidu.com/s/1hpcXUSJe85EsU9ara48MsQ 服务器:CentOS 6.8 其中:2 台 namenode.3 台 datanode zookeeper集群地址:192.168.67.11:2181,192.168.67.12:2181 JDK:jdk-8u191-linux-x64.tar.gz hadoop:hadoop-3.1.1.tar.gz 节点信息: 节点 IP namenode datanode r…

在网上看了不少关于Kubernetes的视频,虽然现在还未用上,但是也是时候总结记录一下,父亲常教我的一句话:学到手的东西总有一天会有用!我也相信在将来的某一天会用到现在所学的技术.废话不多扯了.... 一.前期准备 1.k8s-master01:master主服务器(存在单点故障) 2.k8s-node01.k8s-node02:2个工作节点 3.Harbor:私有仓库(简单记录搭建Harbor私服仓库) 4.Router:软路由(由于kubeadm是存放在谷歌云的,国内无法访问,K8S集群搭…

一.简述 Apache DolphinScheduler是一个分布式去中心化,易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用.有如下特性: 高可靠性 去中心化的多Master和多Worker, 自身支持HA功能, 采用任务队列来避免过载,不会造成机器卡死 简单易用 DAG监控界面,所有流程定义都是可视化,通过拖拽任务定制DAG,通过API方式与第三方系统对接, 一键部署 丰富的使用场景 支持暂停恢复操作. 支持多租户,更好的…

一.部署环境 操作系统:CentOS Linux release 7.6.1810 (Core) 安装软件: docker:18.06.3-ce kubernetes:v1.15.4 二.部署架构: 部署开始前,先把主机名改成如上图所示. 同时修改/etc/hosts,如下: 三.部署过程 1.安装docker(所有节点) 1.1.卸载可能存在的依赖包 sudo yum remove docker docker-common container-selinux docker-selinux do…

文章目录 目录结构 install_docker_es.sh elasticsearch.yml.template 没事写写shell[我自己都不信,如果不是因为工作需要,我才不要写shell],努力让自己的脚本更健壮[就像我自己一样臃肿] 目录结构 创建两个目录,准备两个文件即可 ./bin # 脚本存放路径 └── install_docker_es.sh # 脚本名称随意 ./conf # 配置文件模板存放路径 └── elasticsearch.yml.template # 配置文件模板…

准备三个节点,系统版本为CentOS7.3. 11.0.10.18 es01 11.0.10.19 es02 11.0.10.20 es03 1.安装java环境 # yum install -y java java-1.8.0-openjdk-devel # vim /etc/profile.d/java.sh export JAVA_HOME=/usr # source /etc/profile.d/java.sh 2.下载程序包 # wget https://download.elasti…

准备三个节点,系统版本为CentOS7.3 11.0.8.15 master 11.0.8.16 slave01 11.0.8.17 slave02 1.安装redis # yum install -y redis 2.修改redis的配置文件 # vim /etc/redis.conf #bind 127.0.0.1 protected-mode no daemonize yes appendonly yes slaveof 11.0.8.15 6379 #从节点需要开启这条指令 3.启动re…

接上一篇  https://www.cnblogs.com/yjm0330/p/10069224.html 一.准备工作:无密登陆 1.编辑/etc/hosts文件,分别增加 192.168.2.245 spark01 192.168.2.246 spark02 2.互拼,看通否 spark01上执行: ping -c 3 spark02 spark02上执行: ping -c 3 spark01 备注:ping -c 3 spark02中,-c 3表示ping 3次 3.生成密钥 ssh-ke…

一.Scala安装 因为spark的版本原因,所以Scala我用的2.11.7. 下载目录http://www.scala-lang.org/download/ 拷贝到要安装的地址,我的地址是/usr/local 解压tar zxvf scala-2.11.7.tgz 修改gedit /etc/profile. export SCALA_HOME=/usr/local/scala-2.11.7export PATH=/usr/local/scala-2.11.7/bin:$PATH 然后测试 s…