一背景 zookeeper是一个开源的分布式应用程序协调服务,是Apache Hadoop 的一个子项目.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.名字服务.分布式同步.组服务等.其原理是基于google发表的<The Chubby lock service for loosely-coupled distributed systems>论文.网上关于zookeeper的博客也很多,但很多讲的不细致,如如何测试部署成功.在学习别人的博客进行部署的过程中遇到了一些问题.…

业务系统中,通常会遇到这些场景:A系统向B系统主动推送一个处理请求:A系统向B系统发送一个业务处理请求,因为某些原因(断电.宕机..),B业务系统挂机了,A系统发起的请求处理失败:前端应用并发量过大,部分请求丢失或后端业务系统卡死....这个时候,消息中间件就派上用场了--提升系统稳定性.可用性.可扩展性. 一.消息中间件 消息队列技术是分布式应用间交换信息的一种技术.消息队列可驻留在内存或磁盘上,队列存储消息直到它们被应用程序读走.通过消息队列,应用程序可独立地执行--它们不需要知道彼此的位置…

一. 说明 Solr5内置了Jetty服务,所以不用安装部署到Tomcat了,网上部署Tomcat的资料太泛滥了. 部署前的准备工作: 1. 将各主机IP配置为静态IP(保证各主机可以正常通信,为避免过多的网络传输,建议在同一网段). 2. 修改主机名,配置各主机映射:修改hosts文件,加入各主机IP和主机名的映射. 3. 开放相应端口或者直接关闭防火墙. 4. 保证Zookeeper集群服务正常运行.Zookeeper的部署参考:http://www.cnblogs.com/wxisme/p…

ZooKeeper  安装部署及hello world 先给一堆学习文档,方便以后查看官网文档地址大全:OverView(概述)http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.htmlGetting Started(开始入门)http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.htmlTutorial(教程)http://zookeeper.apache.org/doc/r3.4…

ZooKeeper  安装部署及hello world 先给一堆学习文档,方便以后查看官网文档地址大全: OverView(概述)http://zookeeper.apache.org/doc/r3.4.6/zookeeperOver.html Getting Started(开始入门)http://zookeeper.apache.org/doc/r3.4.6/zookeeperStarted.html Tutorial(教程)http://zookeeper.apache.org/doc/r…

SolrCloud-5.2.1 集群部署及测试   一. 说明 Solr5内置了Jetty服务,所以不用安装部署到Tomcat了,网上部署Tomcat的资料太泛滥了. 部署前的准备工作: 1. 将各主机IP配置为静态IP(保证各主机可以正常通信,为避免过多的网络传输,建议在同一网段). 2. 修改主机名,配置各主机映射:修改hosts文件,加入各主机IP和主机名的映射. 3. 开放相应端口或者直接关闭防火墙. 4. 保证Zookeeper集群服务正常运行.Zookeeper的部署参考:http:…

  1.概述2.同步节点时间3.下载并解压文件4.编译安装munge-0.5.125.配置munge6.编译安装slurm-16.05.37.配置slurm8.配置MySQL数据库环境9.启动slurm集群10.总结 1.概述 本博客通过VMware workstation创建了虚拟机console,然后在console内部创建了8台kvm虚拟机,使用这8台虚拟机作为集群,来部署配置和测试slurm任务调度系统 配置为4核心CPU,8G内存,20G系统盘,20G数据盘挂载到/opt,10G数据盘…

上篇我们做了一个WriterActor的例子,主要目的是示范WriterActor如何作为集群分片用persistentActor特性及event-sourcing模式实现CQRS的写功能.既然是集群分片,那么我们就在这篇讲讲WriterActor的部署和测试,因为这个里面还是有些值得注意的地方.下面是一段WriteActor,即集群分片(cluster-sharding)的部署代码: ClusterSharding(system).start( typeName = shardName, en…

redis3.0集群部署和测试 环境介绍 两台Centos7的虚拟机模拟6个节点,A台3个master节点,B台3个slave节点A地址:172.16.81.140B地址:172.16.81.141redis版本:redis-3.2.4 部署前准备 关闭防火墙--->systemctl stop firewalld开机禁用防火墙--->systemctl disable firewalld临时关闭selinux--->setenforce 0永久关闭selinux--->sed -…

1. 概述2. 服务端部署过程2.1 软件包说明2.2 部署过程2.3 配置过程3. 测试4. 生成LDIF格式文件4.1 安装migrationtools工具4.2 用migrationtools生成ldif文件4.3 添加ldif到ldap数据库5. 日志配置5.1 openldap的日志级别5.2 配置日志功能6. 客户端配置6.1 基础环境准备6.2 配置nslcd客户端7. 添加系统用户7.1 添加用户7.2 产生ldif文件7.3 添加ldif文件至LDAP数据库中7.4 验证 1.…

注:本篇博客Nagios版本Nagios-3.5.1 1. 概述2. 关于PNP4Nagios3. 部署PNP4Nagios3.1 下载PNP4Nagios3.2 编译安装3.3 目录文件说明4. 配置Nagios4.1 配置说明4.2 配置Nagios主配置文件4.3 配置Nagios对象模板command.cfg文件4.4 配置Nagios对象模板template.cfg文件4.5 配置主机和服务监控5. 测试6.总结 1. 概述 本篇博客主要介绍在Nagios3.5和Nagios4.4系统…

1. 概述1.1 节点信息2. 节点准备3. 部署NTP服务器4. 部署LDAP服务器5. 部署Munge认证服务6. 部署Mysql数据库服务7. 部署slurm7.1 创建slurm用户7.2 挂载全局文件系统7.3 slurm下载7.4 编译安装8. slurm配置8.1 配置slurm.conf8.2 配置slurmdbd.conf8.3 配置cgroup.conf8.4 配置数据库和测试8.4.1 node15创建数据库并授权8.4.2 测试连接9. slurm启动9.1 启动数据库存…

1. 概述2. 下载3. 安装3.1 源码简要说明3.2 编译安装3.3 配置3.4 创建munge.key3.5 启动方式 1. 概述 munge是认证服务,用于生成和验证证书.应用于大规模的HPC集群中. 它允许进程在[具有公用的用户和组的]主机组中,对另外一个[本地或者远程的]进程的UID和GID进行身份验证. 这些主机构成由共享密钥定义的安全领域.在此领域中的客户端能够在不使用root权限,不保留端口,或其他特定平台下进行创建凭据和验证. 简而言之,在集群中,munge能够实现本地或者远…

耐撕团队 对onezero团队记帐本项目的部署并测试 测试指标参见下面给出的博客: http://www.ltesting.net/ceshi/ceshijishu/xncs/2014/1030/207641.html 一.部署 1获取onezero团队项目源码及其相关资源(绘图jar包) 1.2项目导入Eclipse并连接手机运行 onezero项目的三层结构为三个分散项目,并未整体合并,在导入时要全部导入. 1.3手机中成功安装完成记账本软件 二.性能测试 注 :每个指标按评分衡量完成完美度…

1.Neutron的介绍 Neutron 为整个 OpenStack 环境提供网络支持,包括二层交换,三层路由,负载均衡,防火墙和 *** 等.Neutron 提供了一个灵活的框架,通过配置,无论是开源还是商业软件都可以被用来实现这些功能.Openstack的设计理念是把所有的组件当做服务来注册的. Neutron就是网络服务.它将网络.子网.端口和路由器抽象化,之后启动的虚拟主机就可以连接到这个虚拟网络上,最大的好处是这些都可视化的在Horizon里得到了实现,部署或者改变一个SDN变得非常简…

1.Nova介绍 Nova是openstack最早的两块模块之一,另一个是对象存储swift.在openstack体系中一个叫做计算节点,一个叫做控制节点.这个主要和nova相关,我们把安装为计算节点成为:nova-compute,把除了nova-compute叫做控制节点.nova-compute是创建虚拟机的,只是创建虚拟机,所有的控制都在另一台上.OpenStack计算组件请求OpenStack Identity服务进行认证:请求OpenStack Image服务提供磁盘镜像:为OpenS…

在ubuntu机器上部署php测试环境 一.部署环境 Ubuntu11.10_X86_32,编译安装相应的软件:nginx+mysql+php. 二.软件安装 2.1 软件下载 libiconv-1.14.tar.gz libmcrypt-2.5.7.tar.gz mcrypt-2.6.8.gz mhash-0.9.9.9.tar.gz mysql-5.5.39.tar.gz nginx-1.1.10.tar.gz pcre-8.20.tar.gz php-5.4.34.tar.gz 2.2 环…

一.独立Web站点的快速部署 目标: 本例要求为 http://server0.example.com 配置Web站点,要求如下: 1> 从http://classroom/pub/materials/station.html下载一个主页文件,将其重命名为 index.html   2> 将此文件拷贝到站点的 DocumentRoot 目录下,不要对文件 index.html 的内容作任何修改   3> 使用 elinks 或firefox 浏览上述Web站点 方案: Web网站服务端:…

想了解相关区块链开发,技术提问,请加QQ群:538327407 前提 已经部署好底层,外网可以正常请求访问. 正常流程 1.基础合约处理 https://fisco-bcos-documentation.readthedocs.io/zh_CN/latest/docs/tutorial/sdk_application.html#id2 将官方的Asset.sol 代码copy,使用vim Asset.sol 命令创建,copy 到里面. 上一小节,我们根据业务需求设计了合约Asset.sol的存…

                                                        部署并测试动态WSGI站点 5.1问题 本例要求为站点webapp0.example.com配置提供动态Web内容,要求如下: 此虚拟主机侦听在端口8909 测试网页从以下地址下载,不要作任何更改 http://classroom/pub/materials/webinfo.wsgi 从浏览器访问http://webapp0.example.com:8909可接收到动态生成的Web页面…

这期教向大家介绍仅仅 1.3M 的轻量级高精度的关键点人脸检测模型DBFace,并手把手教你如何在自己的电脑端进行部署和测试运行,运行时bug解决. 01. 前言 前段时间DBFace人脸检测库横空出世,但是当时这个人脸识别模型是7M大小,几乎可以识别出世界最大自拍中的所有人像.DBFace出自国内人工智能公司深兰科技(DeepBlue),这个模型的创建者正是这个公司的两位“高手”-Libia和Wish,而最近,高手就是高手,两位大佬对模型进行了再升级,现在这个模型的大小仅仅只有1.3M. 该模…

由于平台马上要引入zookeeper+dubbo,为了解决zookeeper单个实例运行的风险,需要做个集群. 1,先说配置:zoo.cfg十分简单,分两种情况: 一种是在一台机器采用不同的端口配置多个服务:另一种是在多台机器上每个配一个服务,这样的安全系数会大很多. 单机版: # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronizati…

1.简介 大数据分析处理平台包括数据的接入,数据的存储,数据的处理,以及后面的展示或者应用.今天我们连说一下数据的接入,数据的接入目前比较普遍的是采用kafka将前面的数据通过消息的方式,以数据流的形式将数据接入到大数据存储平台. 下面主要介绍一下kafka的安装和部署的过程.由于公司采用的是cloudera公司的产品,所以直接通过cloudera manager来安装部署kafka.只不过在安装的过程中,注意几个问题即可: (1)存放kafka的log文件的位置 默认是/var/log/kaf…

虽然spark master挂掉的几率很低,不过还是被我遇到了一次.以前在spark standalone的文章中也介绍过standalone的ha,现在详细说下部署流程,其实也比较简单. 一.机器 zookeeper集群 zk1:2181 zk2:2181 zk3:2181 spark master spark-m1 spark-m2 spark worker 若干 二.步骤 1.进入spark-m1 修改conf/spark-env.sh vi spark-env.sh export SPA…

Zookeeper安装 1. 安装 wget http://www.apache.org/dist//zookeeper/zookeeper-3.3.6/zookeeper-3.3.6.tar.gz tar zxvf zookeeper-3.3.6.tar.gz mv zookeeper-3.3.6 /usr/local/zookeeper-3.3.6-2181 cd /usr/local/zookeeper-3.3.6-2181 cp conf/zoo_sample.cfg conf/zoo.…

前言 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等. zookeeper 未授权访问是指安装部署之后默认情况下不需要任何身份验证,从而导致 zookeeper 被远程利用,导致大量服务级别的信息泄露. 默认使用端口:2181.2182. 探测Zookeeper服务开放 如使用nmap探测某个目标…

在IDEA中将项目部署到本地Tomcat下进行运行并验证整合结果 (1).点击如下图所示的下拉按钮,弹出Edit Configurations...后点击该项. (2).跳出如下界面后,点击红框内的"+"号,选择Tomcat Server->Local (3).出现以下界面,修改自定义启动项的名称.配置本地tomcat (4).选择要运行的项目 (5).指定项目运行的ContextPath (6).点击启动按钮,启动项目 (7).在浏览器中输入控制器的url,观察输出结果 打印出…

一.hive是什么东东 1. 个人理解 hive就是一个基于hdfs运行于MapReduce上的一个java项目, 这个项目封装了jdbc,根据hdfs编写了处理数据库的DDL/DML,自带的 二进制包内嵌Derby数据库,且默认使用Derby,简而言之,hive就是一个 帮助我们处理/分析数据的工具,不过这个工具却像namenode一样存储了 一份文件的元数据,这就有点像数据仓库的感觉 2. 架构 分为服务端.客户端,基于hadoop,运行在mapreduce,存储于hfds, 可与hbase…

rails new test_app --skip-test-unit 不生成默认的test,稍后用rspeccd test_app 修改Gemfile(大部分为自动生成) source 'https://ruby.taobao.org' -- 使用淘宝镜像,因为连接不了rubygem # Bundle edge Rails instead: gem 'rails', github: 'rails/rails' gem 'rails', '~> 5.0.0', '>= 5.0.0.1' --r…

场景:项目需要部署在生产环境中,这些新的工具都需要在生产环境中去实践练习.有时间再部署一套ELK的日志分析系统,这样的系统才算具有一定的应用价值. 1 Nginx安装 用root用户安装,采用源代码编译的方式来进行安装,正式开始前,请确认gcc.g++开发库之类的已经预先安装好 ------------------------------------------------------------------------------------------------ 先把nginx安装要用到的…