redis cluster集群web管理工具 relumin 下载地址 https://github.com/be-hase/relumin 只支持redis cluster模式 java环境 tar -zxvf jdk-8u171-linux-x64.tar.gz mv jdk1.8.0_171 /usr/local/java #添加环境变量 sudo vi /etc/profile #最后添加如下内容 export JAVA_HOME=/usr/local/java export JRE_H…

搭建好HBase 集群后,各种后台进程都正常,搭建手册参考: Hbase 2.1.3 集群搭建手册https://www.cndba.cn/dave/article/3322 但是通过web访问,却报如下错误: 2019-03-05 23:13:49,508 WARN [qtp1911600942-82] servlet.ServletHandler: /master-status java.lang.IllegalArgumentException: org.apache.hbase.thir…

cerebo是kopf在es5上的替代者 安装es虽然不能再root下运行,但是cerebro 可以 run as root is ok wget https://github.com/lmenezes/cerebro/releases/download/v0.8.1/cerebro-0.8.1.tgz tar zxvf cerebro-0.8.1.tgz cd cerebro-0.8.1 bin/cerebro #具体新版本查看https://github.com/lmenezes/cereb…

目录 部署 dashboard 由于会被墙, 所以要加一步拉取镜像 正式开始安装dashboard 查看 开放访问 配置dashboard用户 1. token 令牌认证 创建一个 serviceAccount dashboard-admin 绑定 clusterbinding 的 sa 获取 serviceaccount 的 dashboard-admin 的secret信息 2. kubeconfig 文件认证 创建一个 serviceAccount 创建 rolebinding 绑定 de…

服务器的大用户量的承载方案 一.前言 二.编译安装 三. 安装MySQL.memcache 四. 安装Apache.PHP.eAccelerator.php-memcache 五. 安装Squid 六.后记 一.前言,准备工作 当前,LAMP开发模式是WEB开发的首选,如何搭建一个高效.可靠.稳定的WEB服务器一直是个热门主题,本 文就是这个主题的一次尝试. 我们采用的架构图如下: 引用-------- ----------------------- --------- ------------…

系统版本:Centos 6.5 机器及IP规划如下: 192.168.0.117  MySQL 192.168.0.118  nginx+php 192.168.0.123  nfs ①在NFS机器上(server端)配置如下: ~]# rpm -qa|egrep "nfs-utils|rpcbind" nfs-utils-lib--.el6.x86_64 rpcbind--.el6.x86_64 nfs-utils--.el6_10..x86_64 [root@bqh-nfs- ~]…

…

我们经常使用yarn调度,但是我们是否对调度队列显示参数真正了解呢?   下面我们来一一看看这些参数都是做什么用的,代表什么意思   hadoop是通过队列管理集群资源,翻开集群Web UI,找到Schedule查看   Queue State queue 的状态 Used Capacity : 0.0% 已使用资源占队列配置值的百分比 Absolute Used Capacity : 0.0% 已使用资源占集群的百分比 Absolute Capacity queue 至少可以使用系统资源占集群…

consul简介: consul是提供服务发现.简单配置管理.分区部署的服务注册发现解决方案.主要特性:服务发现\健康检查\基于Key-Value的配置\支持TLS安全通讯\支持多数据中心部署 consul的实例叫agentagent有两种运行模式:server和client每个数据中心至少要有一个server,一般推荐3-5个server(避免单点故障)client模式agent是一个轻量级进程,执行健康检查,转发查询请求到server.服务service是注册到consul的外部应用,比如s…

目录 第一部分:Kubernetes 日志 Kubernetes Logging 是如何工作的 Kubernetes Pod 日志存储位置 Kubelet Logs Kubernetes 容器日志格式 Kubernetes 日志的类型 Kubernetes Logging 架构 Kubernetes Logging 模式 Node Level Logging Agent Streaming sidecar container Sidecar Logging Agent Kubernetes Lo…

前言 好多人问我,这种基于大数据平台的xxxx的毕业设计要怎么做.这个可以参考之前写得关于我大数据毕业设计的文章.这篇文章是将对之前的毕设进行优化. 个人觉得可以分为两个部分.第一个部分就是基础的平台搭建.例如Hadoop集群.Kafka集群. 第二个部分就是上层应用的建设,例如基于大数据平台的数据分析,以及大屏展示之类的可视化应用.前者提供了基础平台能力,让整个设计加入大数据元素:后者提供了上层应用能力,主要是让别人明白你利用大数据平台做了什么. 前些日子闲得无聊,在一台虚拟机上基于docke…

集群节点数量3 个 192.168.1.170 cdh-master 192.168.1.171 cdh-slave-1 192.168.1.171 cdh-slave-2 一.安装CentOS6.5 (64位)并搭建基本环境,包括: (1)添加sudo 权限 (2)修改主机名.网关.静态IP地址.DNS (3)关闭SELINUX.防火墙 可参考文章 (4)修改系统时区.配置ntp服务(首先可选宿主机器配置ntp server,参考文章) 二.克隆为三台机器,分别修改静态IP 地址.MAC.主机…

本文是在windows7操作系统下配置的,jdk版本1.7 ,weblogic版本12.1.3.0.0. 搭建集群前的规划 其中AdminServer是总控制端,server1.server2.server3是集群中的三个服务节点.  其中Adminserver也叫做管理服务器,server1-3叫做托管服务器. 1.创建管理服务器AdminServer. AdminServer作为weblogic集群的总控制端.  一般我们单机默认搭建的weblogic domain服务就是AdminServ…

flink集群安装部署 standalone集群模式 必须依赖 必须的软件 JAVA_HOME配置 flink安装 配置flink 启动flink 添加Jobmanager/taskmanager 实例到集群 个人真实环境实践安装步骤 必须依赖 必须的软件 flink运行在所有类unix环境中,例如:linux.mac.或者cygwin,并且集群由一个master节点和一个或者多个worker节点.在你开始安装系统之前,确保你有在每个节点上安装以下软件. java 1.8.x或者更高 ssh 如…

一.环境准备 1.选择RabbitMQ的版本 http://www.rabbitmq.com/changelog.html 注: 不同版本的Linux选择的RabbitMQ版本也不同,参照 http://www.rabbitmq.com/install-rpm.html 查看CentOS版本:more /etc/redhat-release 2.RabbitMQ依赖于Erlang,两者版本需匹配,版本对照表如下: http://www.rabbitmq.com/which-erlang.html…

Linux Cluster: 为了满足同一目的的需要,将多台主机组织起来解决统一问题的计算机的集合叫集群 Web Arch 虚拟化和云计算 自动化运维工具:ansible, puppet, zabbix 大数据处理平台:hadoop 2, storm, spark, zookeeper PaaS, ELK 系统扩展的方式: scale up:向上扩展   提供性能更好的服务器替代现有的服务器: scale out:向外扩展   提供更多的服务器来满足同一个需求: 集群类型: LB:负载均衡集群,…

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce (1)观察集群配置情况 [root@master ~]# hdfs dfsadmin -report (2)web界面观察集群运行情况 使用netstat命令查看端口监听 [root@…

下面给出的是spark集群搭建的环境: 操作系统:最小安装的CentOS 7(下载地址) Yarn对应的hadoop版本号:Hadoop的Cloudera公司发行版Hadoop2.6.0-CDH5.4.0(下载地址) Java版本号:JDK1.8(下载地址) Scala版本号:Scala2.10.4(下载地址) Spark版本号:spark-1.3.1-bin-hadoop2.6(下载地址) 集群组成:master  192.168.1.2 slave1   192.168.1.3 slave2…

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务 组件说明: Codis 3.x 由以下组件组成: Codis Server:基于 redi…

RHCS集群配置 需要用到的各组件功能:RHCS(Red Hat Cluster Suite):能够提供高可用性.高可靠性.负载均衡.存储共享且经济廉价的集群工具集合.LUCI:是一个基于web的集群配置方式,通过luci可以轻松的搭建一个功能强大的集群系统.CLVM:Cluster逻辑卷管理,是LVM的扩展,这种扩展允许cluster中的机器使用LVM来管理共享存储.CMAN:分布式集群管理器.GFS(Google File System):以本地文件系统的形式出现.多个Linux机器通过网络…

马士兵hadoop第一课:虚拟机搭建和安装hadoop及启动 马士兵hadoop第二课:hdfs集群集中管理和hadoop文件操作 马士兵hadoop第三课:java开发hdfs 马士兵hadoop第四课:Yarn和Map/Reduce配置启动和原理讲解 马士兵hadoop第五课:java开发Map/Reduce (1)观察集群配置情况 [root@master ~]# hdfs dfsadmin -report (2)web界面观察集群运行情况 使用netstat命令查看端口监听 [root@…

一.RHCS RHCS是Red Hat Cluster Suite(红帽子集群套件)的缩写.RHCS是一个功能完备的集群应用解决方案,它从应用的前端访问到后端的数据存储都提供了一个行之有效的集群架构实现,不但能保证前端应用持久.稳定的提供服务,同时也保证了后端数据存储的安全.RHCS提供了集群系统中三种集群构架:高可用性集群.负载均衡集群.存储集群 RHCS提供的三个核心功能 高可用集群是RHCS的核心功能.当应用程序出现故障,或者系统硬件.网络出现故障时,应用可以通过RHCS提供的高可用**管…

1.集群部署的基本流程 2.集群部署的基础环境准备 3.Storm集群部署 4.Storm集群的进程及日志熟悉 5.Storm集群的常用操作命令 6.Storm源码下载及目录熟悉 7.Storm 单词计数案列 1.集群部署的基本流程 集群部署的流程:下载安装包.解压安装包.修改配置文件.分发安装包.启动集群 注意:所有的集群上都需要配置hosts:vi /etc/hosts 2.集群部署的基础环境准备 1.storm安装依赖Python,所以在安装前请确保Python已经安装成功了 [root@…

HBase 集群监控系统构建 标签(空格分隔): Hbase 一, 集群为什么需要监控系统 总的来说是为了保证系统的稳定性,可靠性,可运维性.具体来说我认为有以下几点: 掌控集群的核心性能指标,了解集群的性能表现. 集群出现问题时及时报警,便于Hbase运维同学及时修复问题. 集群重要指标值异常时进行预警,将问题扼杀在摇篮中,不用等集群真正不可用时才采取行动. 当集群出现问题时,监控系统可以帮助我们更快的定位问题和解决问题.无监控,不运维. 二, 如何构建HBase集群监控系统 一般来说,大公司…

集群启动步骤:先启动HDFS系统,在启动spark集群,最后提交jar到spark集群执行. 1.hadoop启动cd /home/***/hadoop-2.7.4/sbinstart-all.sh 3.spark启动cd /home/***/spark-2.2.0/sbinstart-all.sh 4.spark提交cd /home/***/spark-2.2.0/binspark-submit --master local --class com.helloworld.kmeans /hom…

目标:docker+kubernetes+cadvosor+dashboard 一:物理硬件 两台虚拟机(centos7):一台做为主节点(master),一台做为工作节点(node) [root@MyCentos7 ~]# uname -a Linux MyCentos7 -.el7.x86_64 # SMP Tue Aug :: UTC x86_64 x86_64 x86_64 GNU/Linux [root@MyCentos7 ~]# cat /etc/redhat-release Cen…

不多说,直接上干货! 参考博客 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8.0.9和0.10以后版本)(图文详解)(默认端口或任意自定义端口) 但是,要注意的是,因为在amabri集群里啊,10000端口默认是给了oozie的. 然而,我上述的博客,是当时手动临时给的10000端口给kafka-manager,所以,对此,我这里改变端口,具体如下. 一.给基于Ubuntu14.04的ambari集群里的kafka安装基于web的kafk…

web集群时session同步的3种方法 在做了web集群后,你肯定会首先考虑session同步问题,因为通过负载均衡后,同一个IP访问同一个页面会被分配到不同的服务器上, 如果session不同步的话,一个登录用户,一会是登录状态,一会又不是登录状态.所以本文就根据这种情况给出三种不同的方法来解决这个问题: 一,利用数据库同步session 在做多服务器session同步时我没有用这种方法,如果非要用这种方法的话,我想过二种方法: 1,用一个低端电脑建个数据库专门存放web服务器的sessio…

实验系统:CentOS 6.6_x86_64 实验前提: 1)提前准备好编译环境,防火墙和selinux都关闭: 2)本配置共有两个测试节点,分别coro1和coro2,对应的IP地址分别为192.168.19.55和192.168.19.98: 3)集群服务为nginx服务: 4)提供web服务的地址为192.168.19.150,即VIP: 实验软件:corosync-0:1.4.7-1.el6 pacemaker-0:1.1.12-4.el6 crmsh-2.1-1.6 drbd-8.4.…

当一个Web系统从日访问量10万逐步增长到1000万,甚至超过1亿的过程中,Web系统承受的压力会越来越大,在这个过程中,我们会遇到很多的问题.为了解决这些性能压力带来问题,我们需要在Web系统架构层面搭建多个层次的缓存机制.在不同的压力阶段,我们会遇到不同的问题,通过搭建不同的服务和架构来解决. Web负载均衡  Web负载均衡(Load Balancing),简单地说就是给我们的服务器集群分配“工作任务”,而采用恰当的分配方式,对于保护处于后端的Web服务器来说,非常重要. 负载均衡的策略有…