一.集群Linux环境搭建 1. 注意事项 1.1 windows系统确认所有的关于VmWare的服务都已经启动 打开任务管理器->服务,查看五个VM选项是否打开. 1.2 确认好VmWare生成的网关地址 打开VMWare->编辑->虚拟网络编辑器->选择VMnet8->NAT设置->网关:192.168.253.2 1.3 确认VmNet8网卡已经配置好了IP地址和DNS 打开 设置->网络和Internet->更改适配器选项->VMnet8-&g…

本文接上文内容继续: server01 192.168.8.118 jdk.www.fengshen157.com/ hadoop NameNode.DFSZKFailoverController(zkfc) server02 192.168.8.119 jdk.www.baohuayule.net  hadoop NameNode.DFSZKFailoverController(zkfc) server03 192.168.8.120 jdk.www.thd178.com hadoop Res…

1.下载安装scala http://www.scala-lang.org/download/2.11.6.html   2.解压下载后的文件,配置环境变量:编辑/etc/profile文件,添加如下内容:   export SCALA_HOME=/root/scala-2.11.6 export PATH=$SCALA_HOME/bin:$PATH   运行source /etc/profile使环境变量的修改立即生效   3.配置conf/spark-env.sh环境变量   进入$SPAR…

环境搭建以及etcd 单节点安装过程 安装之前的环境搭建 在进行k8s安装之前先把虚拟机准备好,这里准备的是三台虚拟机 主机名 ip地址 角色 master 172.16.163.131 master node1 172.16.163.130 node node2 172.16.163.129 node 然后进行环境部署 第一步:关闭防火墙 //在master虚拟机上执行以下命令 systemctl stop firewalld systemctl disable firewalld //在另外…

本文原创,如需转载,请注明作者以及原文链接! 一.前期准备: 1.jdk安装        不要用centos7自带的openJDK2.hostname    配置       配置位置:/etc/sysconfig/network文件3.hosts           配置        配置位置 : /etc/hosts4.date            配置       date -s "....."设置日期一致5.   关闭安全机制 /etc/sysconfig/selinux…

选择kube-prometheus版本 k8s集群版本是1.22.x 5个节点 说明:如果你电脑配置低,也可以1个master节点,2个node节点 3个节点 Kube-Prometheus地址:https://github.com/prometheus-operator/kube-prometheus/ 找到和自己Kubernetes版本对应的版本 选择0.9 克隆:git clone -b release-0.9 https://github.com/prometheus-operator/…

1. os ubuntu12.04 基础环境准备 干掉不好用的vim重新装 sudo apt-get remove vim-common sudo apt-get install vim 如果需要使用代理请参照 http://jileniao.net/set-global-proxy-for-ubuntu.html 有大部分文章说的用命令行设置的都不行 搭samba共享服务 sudo apt-get install samba   // 提供samba服务的机器需要安装 sudo apt-get…

一.nifi基本配置 1. 修改各节点主机名,修改/etc/hosts文件内容. 192.168.0.120 master 192.168.0.121 slave1 192.168.0.122 slave2 具体请参考<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.> 2. 安装zookeeper分布式集群 具体请参考<Kafka:ZK+Kafka+Spark Streaming集…

异常问题:Container is running beyond virtual memory limits. Current usage: 119.5 MB of 1 GB physical memory used; 2.2 GB of 2.1 GB virtual memory used. Killing container. spark-submit提交脚本: [spark@master work]$ more submit.sh #! /bin/bash jars="" for…

Centos7出现异常:Failed to start LSB: Bring up/down networking. 按照<Kafka:ZK+Kafka+Spark Streaming集群环境搭建(一)VMW安装四台CentOS,并实现本机与它们能交互,虚拟机内部实现可以上网.>配置好虚拟机,正在使用中,让它强制断电后,启动起来发现ip无法访问,而且重启网络失败: 执行:systemctl restart network.service 出现异常:Failed to start LSB: Br…