1. 准备工作: 前提:需要电脑安装VM,且VM上安装一个Linux系统 注意:本人是在学习完尚学堂视频后,结合自己的理解,在这里做的总结.学习的视频是:大数据. 为了区分是在哪一台机器做的操作,eg:- - - Linux 表示在Linux上做的操作. 2. 以下是教程, 首先是准备工作: 2.1 配置网络: (1) 配置网卡文件: - - - Linux: cd /etc/sysconfig/network-scripts/ vi ifcfg-eth0 # interface config…

https://blog.csdn.net/Greenchess/article/details/77525786 软件环境: - Centos7 x64 CEPH版本 : - ceph-deploy v1.5.37 - ceph version 10.2.9 步骤1.修改主机名(即节点名) 1) sed -i ‘/HOSTNAME/d’ /etc/sysconfig/network echo “HOSTNAME=主机名” >> /etc/sysconfig/network cat /etc/…

文章目录 1.环境介绍 2.拉取 `elasticserach` 镜像 3.创建 `elasticsearch` 数据目录 4.创建 `elasticsearch` 配置文件 5.配置JVM线程数量限制 6.启动 `elasticsearch docker 集群` 7.验证 `elasticsearch` 集群 8.插入以及查看 `elasticsearch` 索引信息 1.环境介绍 Linux:~ # cat /etc/redhat-release CentOS Linux release 7…

1.简介 Redis在生产环境中一般是通过集群的方式进行运行,Redis集群包括主从复制集群和数据分片集群两种类型. *主从复制集群提供高可用性,而数据分片集群提供负载均衡. *数据分片集群中能实现主从复制集群的功能. 2.Redis主从复制集群 主从复制集群中由Master节点提供读写服务,Slave节点负责同步Master节点中的数据,当Master节点发生故障时,由Slave节点充当Master对外提供服务. 主从复制集群中可以使用一主一从模式,也可以使用一主多从模式,在一主多从模式中主节…

Spark可以运行在各种集群管理器上,并通过集群管理器访问集群中的其他机器.Spark主要有三种集群管理器,如果只是想让spark运行起来,可以采用spark自带的独立集群管理器,采用独立部署的模式:如果是想让Spark部署在其他集群上,各应用共享集群的话,可以采取两种集群管理器:Hadoop Yarn 或 Apache Mesos. 一.独立集群管理器 Spark独立集群管理器提供的在集群上运行应用的简单方法.要使用集群启动脚本,按照以下步骤执行即可:1.将编译好的Spark发送到集群的其他节…

在hadoop生态圈里,很多地方都需zookeeper. 启动的时候,都是普通的server,但在启动过程中,通过一个特定的选举机制,选出一个leader. 只运行在一台服务器上,适合测试环境:Zookeeper 的启动脚本在 bin 目录下:在启动脚本之前,还有几个基本的配置项需要配置一下, tickTime :这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔,也就是每个  tickTime  时间就会发送一个心跳:dataDir:顾名思义就是 Zookee…

一 故障指南 1.1 常见问题排障 为了跟踪和发现在Kubernetes集群中运行的容器应用出现的问题,常用如下查错方法: 查看Kubernetes对象的当前运行时信息,特别是与对象关联的Event事件.这些事件记录了相关主题.发生时间.最近发生时间.发生次数及事件原因等,对排查故障非常有价值.此外,通过查看对象的运行时数据,还可以发现参数错误.关联错误.状态异常等明显问题.由于在Kubernetes中多种对象相互关联,因此这一步可能会涉及多个相关对象的排查问题. 对于服务.容器方面的问题,可能…

Ignite作为分布式内存,集群管理必不可少,Ignite支持基于组播,静态IP,Zookeeper,JDBC等方式发现节点,本文主要介绍基于静态IP的节点发现. 两个最重要的TCP通信设置类: 1. TcpDiscoverySpi 用于设置集群维持与节点发现的tcp通信ip,port. 2. TcpCommunicationSpi 用于设置业务数据(缓存数据)tcp通信的ip,port. 3. 两者的区别与联系 TcpDiscoverySpi用于维持管理集群,交换的是用户不感知的ignite内…

Hadoop作为搭建大数据处理平台的重要“基石”,关于它的分析和讲解的文章已经有很多了.Hadoop本身是一分布式的系统,因此在安装的时候,需要多每一个节点进行组建的安装.并且由于是开源软件,其安装过程相对比较复杂.这也是很多人在搭建hadoop运行环境时总是不能一次性成功的主要原因. hadoop每个组建都要做很多的配置工作,如果手动去完成这个工作,工作量其实还是非常庞大.正是这一点我觉得很多做国产发行版hadoop软件开发的都没有大快的DKhadoop发行版做的好.我记得在之前写DKHado…

0.前言 整体架构目录:ASP.NET Core分布式项目实战-目录 k8s架构目录:Kubernetes(k8s)集群部署(k8s企业级Docker容器集群管理)系列目录 1.部署master组件 master 服务器的组件有:kube-apiserver.kube-controller-manager.kube-scheduler 因此需要下载k8s master,下载地址:https://github.com/kubernetes/kubernetes/blob/master/CHANGE…