Mongodb集群搭建之 Replica Set Replica Set 中文翻译叫做副本集,不过我并不喜欢把英文翻译成中文,总是感觉怪怪的.其实简单来说就是集群当中包含了多份数据,保证主节点挂掉了,备节点能继续提供数据服务,提供的前提就是数据需要和主节点一致.如下图: Mongodb(M)表示主节点,Mongodb(S)表示备节点,Mongodb(A)表示仲裁节点.主备节点存储数据,仲裁节点不存储数据.客户端同时连接主节点与备节点,不连接仲裁节点. 默认设置下,主节点提供所有增删查改服务,备节

2.2.4.2 解决应用服务器变为集群后的Session问题 先来看一下什么是Session. 用户使用网站的服务,基本上需要浏览器与Web 服务器的多次交互.HTTP 协议本身是无状态的,需要基于HTTP 协议支持会话状态(Session State)的机制.而这样的机制应该可以使Web 服务器从多次单独的HTTP 请求中看到“会话”,也就是知道哪些请求是来自哪个会话的.具体实现方式为:在会话开始时,分配一个唯一的会话标识(SessionId),通过Cookie 把这个标识告诉浏览器,以后每次

zookeeper做单机版,可以正常启动:但是zookeeper做集群后启动不了,大部分原因是防火墙未关闭. centos的关闭防火墙方法比较独立. systemctl stop firewalld.service 查看防火墙关闭状态: firewall-cmd --state

搭建集群后再namenode上查看进程发现除了三个基本进程还可能有别的进程,例如本来在子节点出现的进程出现在了主节点上,namenode按正常来说是有三个进程的:namenode,resourcemanager,secondarynamenode,子节点上有两个进程:nodemanager,datanode,但是可能会出现本来出现在子节点上的进程出现在主节点上了,如下 (请忽略3123进程) 刚开始我也有点懵,后来想了想发现,额..

1.日志报错 rancher导入k8s集群后添加监控无数据,rancher日志报错: k8s.io/kube-state-metrics/pkg/collectors/builder.go:: Failed to list *v1beta1.PodDisruptionBudget: poddisruptionbudgets.policy is forbidden: User "system:serviceaccount:cattle-prometheus:exporter-kube-state-

方案 环境 操作系统:Ubuntu 16.04 & Raspbian GNU/Linux 9(Stretch Desktop) kubernetes :1.15.3 flannel:0.11.0 docker:docker-io 18.09.1 节点部署 将运行Ubuntu的PC机作为master节点,树莓派作为普通的slave节点 踩过的一些坑 Ubuntu上部署k8s的线上资料比较多,安装的时候基本比较顺利,但是树莓派是基于arm架构实现的,因此资料也比较少,出现的问题需要自己找问题解决.下

目录贴:Kubernetes学习系列 经过之前两篇文章:Centos7部署Kubernetes集群.基于kubernetes集群部署DashBoard,我们基本上已经能够在k8s的集群上部署一个应用了,但有一个问题就是:生产环境下,我们势必不能够每个机器都导入一遍从海外下载回来的镜像,也不能真的搭建一个长期使用的梯子,这两个方法都不是可以长期使用的.以下,我们通过搭建本地的私有镜像仓库(docker registry,这个镜像可以在国内直接下载)来解决这个问题. 1.部署docker regis

熟悉了一段时间的Bash编程,因此借此任务操作一把bash编程,主要涉及到Redis单节点与Redis集群的操作 1. 任务背景 近日有个任务需要将历史的Redis(主从节点)中的数据迁移至Redis集群中.相关条件与要求如下: (1) 历史Redis以及新的Redis集群分别部署在北京.合肥.广州三地 (2) 待迁移的Redis数据只存在合肥环境 (3) 需要从一个节点访问三地的Redis集群或历史Redis节点 (4) 待迁移的Redis中的数据量大概为2000W+ (5) 迁移完成后需抽样

集群信息 集群版本:1.13.1 3个控制平面,2个worker节点 k8s-001:10.0.3.4 k8s-002:10.0.3.5 k8s-003:10.0.3.6 k8s-004:10.0.3.7 k8s-005:10.0.3.8 vip::10.0.3.9 场景 出于某些原因删除了k8s-001节点,现在需要将k8s-001节点重新作为控制平面加入集群,在加入集群过程中出错 解决 解决kubeadm加入集群时etcd健康检查失败的问题 一般直接重新加入集群的话会出现下面的问题 [kub

(1) linux后台:yarn application -list 找到相应的命令 粘贴job (2)去FI manager 的 yarn上粘贴job 看详细过程 (3)确定后 在linux后台 yarn application -kil xxxx 都是因为华为的集群对hivesql脚本的给出了部分信息没有全部信息才会会这样麻烦. 查看mr占用的磁盘空间 hadoop fs -du -h -s /tmp/hive-scratching

上篇Spring Cloud之服务注册中心搭建Eureka Server服务注册中⼼ - 池塘里洗澡的鸭子 - 博客园 (cnblogs.com)已经已经成功将两个微服务注册到集群中,那么能正常能与注册前一样进行正常访问么?如果能,比之前没有注册到集群的访问优化了哪些内容呢? 首先看看注册集群之前的访问: 测试案例如下: 那么怎么改造才能通过eureka集群进行访问呢?简历查询的访问(如上图)没有服务嵌套调用,不用进行改造:需要改造的是嵌套服务调用的微服务,将url硬编码改为通过集群获取url.

这几天在学习在linux上搭建服务器的工作,可谓历经艰辛.可喜最后收获也不少. 这次是在linux上搭建redis服务器后从windows上缺无法访问,连接不上. 仔细回忆以前搭建nginx和ftp的过程后,找到了解决的办法(供参考): 1.错误的原因很简单,就是没有连接上redis服务,由于redis采用的安全策略,默认会只准许本地访问.需要通过简单配置,完成允许外网访问. 2.修改redis的配置文件,将所有bind信息全部屏蔽 3.修改linux的防火墙(iptables) vim /et

努力之后总是存在回报的,我花了三天时间终于找到了问题所在: 配置文件yarn-site.xml: <property>        <name>yarn.resourcemanager.recovery.enabled</name> <!--默认值为false,也就是说resourcemanager挂了相应的正在运行的任务在rm恢复后不能重新启动-->        <value>true</value></property&

spark on yarn通过--deploy-mode cluster提交任务之后,应用已经在yarn上执行了,但是spark-submit提交进程还在,直到应用执行结束,提交进程才会退出,有时这会很不方便,并且不注意的话还会占用很多资源,比如提交spark streaming应用: 最近发现spark里有一个配置可以修改这种行为,提交任务的时候加长一个conf就可以 --conf spark.yarn.submit.waitAppCompletion=false org.apache.spa

链接:http://www.cnblogs.com/wbyp/p/6860744.html

可以尝试以下步骤解决: 1 ,分别删除:主节点从节点的  /usr/local/hadoop-2.6.2/etc/tmp   下得所有文件; 2: 编辑cd usr/local/hadoop-2.6.2/etc/hadoop/    vi slaves 删除slaves里面的 localhost 3:然后 hadoop namenode -format 4: 重新启动  start-all.sh

[root@k8s-develop-master-1 kubernetes]# cd /etc/kubernetes [root@k8s-develop-master-1 kubernetes]# ll total 44 -rw-------. 1 root root 5493 Jun 7 13:26 admin.conf drwxr-xr-x. 2 root root 47 Jun 7 13:26 config -rw-------. 1 root root 5525 Jun 7 13:26

一 Redis单机安装 1 Redis下载安装 1.1 检查依赖环境(Redis是C语言开发,编译依赖gcc环境) [root@node21 redis-]$ gcc -v -bash: gcc: command not found [root@node21 redis-]$ yum install -y gcc 1.2 解压文件到指定目录 [root@node21 software]$ wget http://download.redis.io/releases/redis-4.0.10.ta

前言 最近一直忙于和小伙伴倒腾着关于人工智能的比赛,一直都没有时间停下来更新更新我的博客.不过在这一个过程中,遇到了一些问题,我还是记录了下来,等到现在比较空闲了,于是一一整理出来写成博客.希望对于大家有帮助,如果在此有不对的地方,请大家指正,谢谢! 比赛遇到spark开启的问题 疑惑之处 在使用百度BMR的时候,出现了这样子一个比较困惑的地方.但百度那边帮我们初始化了集群之后,我们默认以为开启了spark集群了,于是就想也不想就开始跑我们的代码.可认真你就错了,发现它只是开启了local(即M

druid.io 是一个比较重型的数据库查询系统,分为5种节点 . 在此就不对数据库进行介绍了,如果有疑问请参考白皮书: http://pan.baidu.com/s/1eSFlIJS 单台机器的集群搭建   首先说一下通用的集群搭建,基于 0.9.1.1 下载地址  http://pan.baidu.com/s/1hrJBjlq: 修改 conf/druid/_common 内的 common.runtime.properties,参考如下配置:   #   # Licensed to Met

目录 目录 前言 集群详情 环境说明 安装前准备 提醒 一.创建TLS证书和秘钥 安装CFSSL 创建 CA (Certificate Authority) 创建 CA 配置文件 创建 CA 证书签名请求 生成 CA 证书和私钥 创建 kubernetes 证书 生成 kubernetes 证书和私钥 创建 admin 证书 生成 admin 证书和私钥 创建 kube-proxy 证书 生成 kube-proxy 客户端证书和私钥 校验证书 使用 opsnssl 命令 使用 cfssl-cer