1. primary shard   -- raid0 2.replicas shard -- raid1 3.index -- 图书馆的借书指引 4.MySQL vs elasticsearch ######################################################################## 1. curl GET http://10.0.0.92:9200/_cluster/health?level=indices "cluster_name&…

(一)系统环境描述 本文档基于RHEL6u5 系统安装,配置为2节点高可用集群,节点为两台VMware虚拟机. 也可参考http://blog.51cto.com/ty1992/1325327 (二)RHEL6-HA集群安装前准备 1.节点本地hosts解析配置 在各集群节点上配置本地hosts,添加节点信息. 2.配置本地yum安装源 在集群各节点上配置本地yum安装源. 3.关闭系统防火墙.SELinux及NetworkManager服务 在集群各节点上关闭系统防火墙服务,关闭Network…

Zookeeper + ActiveMQ 集群整合配置文档 一:使用ZooKeeper实现的MasterSlave实现方式 是对ActiveMQ进行高可用的一种有效的解决方案, 高可用的原理:使用ZooKeeper(集群)注册所有的ActiveMQBroker.只有其中的一个Broker可以对外提供服务( 也就是Master节点) ,其他的Broker处于待机状态,被视为Slave.如果Master因故障而不能提供服务,则利用ZooKeeper的内部选举机制会从Slave中选举出一个Broker…

前言: 想要学好一门技术,最起码要对他有一定的了解,起码听说过相应的底层原理的东西吧,最起码你要有一点能和别人交流的内容吧,下面是我精简的一点内容,希望对于大家了解netty能有一点帮助 Netty是建立在NIO基础之上,Netty在NIO之上又提供了更高层次的抽象. 在Netty里面,Accept连接可以使用单独的线程池去处理,读写操作又是另外的线程池来处理. Accept连接和读写操作也可以使用同一个线程池来进行处理.而请求处理逻辑既可以使用单独的线程池进行处理,也可以跟放在读写线程一块处理…

在文档集界面中显示Word文档,是文档大师的一个核心功能. 最近在 Win10 升级到最新版后,发现 无法正常显示Office 文档的问题. 一开始以为是Word版本问题,从2007升级到2016,问题仍没解决. 用关键字“ie11 word 显示不全”搜索,看了几个搜索结果,找到了答案:"关闭IE11". 操作: 1. Win10 控制面板,在卸载软件界面左边栏有“打开和关闭win功能”,打开后将IE前面的对勾去掉 2.重启机器后,打开文档大师,显示正常了. 当然,问题的本质是Win…

系统环境: rhel6 x86_64 iptables and selinux disabled 主机: 192.168.122.121 server21.example.com 192.168.122.173 server73.example.com (注:时间需同步) 所需的包:icpi-64 #配置mpich2 以下步骤在server21和server73上实施: [root@server21 ~]# yum install mpich2 -y lmx [root@server21 ~]#…

// 文档名称 codetemplates.xml <?xml version="1.0" encoding="UTF-8" standalone="no"?> <templates> <template autoinsert="false" context="settercomment_context" deleted="false" descriptio…

bulk 批量操作-实现多个文档的创建.索引.更新和删除 ------------------------------------------------------------------------------ 1.命令格式 {action:{metadata}}\n {request body} {action:{metadata}}\n {request body} 其中,action的值有 create\index\update\delete create:当文档不存在时创建之 ind…

一.检查集群状态 1.1 使用sh.status()查看集群摘要信息 1.使用sh.status()可以查看分片信息.数据库信息.集合信息 sh.status() 如果数据块较多时,使用sh.status(true) 又是输出会很多,就不会截断,要使用如下查看 2.too many chunks to print, use verbose if you want to force print 可通过执行以下命令查看 printShardingStatus(db.getSisterDB("conf…

                                      ELK Stack企业日志平台文档           实验环境 主机名 IP地址 配置 系统版本 用途 controlnode 172.16.1.120 2核/4G/60G Centos7.4 nginx\tomcat filebeat redis logstash kibana slavenode1 172.16.1.121 2核/2G/60G Centos7.4 ES-head elastic01 slavenod…

Elasticsearch(5)--- 基本命令 这篇博客的命令分为ES集群相关命令,索引CRUD命令,文档CRUD命令.这里不包括Query查询命令,它单独写一篇博客. 一.ES集群相关命令 ES集群相关命令主要是_cat命令,所以这里详细讲解下该命令. 1._cat命令 _cat系列提供了一系列查询Elasticsearch集群状态的接口. /_cat/allocation #查看单节点的shard分配整体情况 /_cat/shards #查看各shard的详细情况 /_cat/shards…

1. 前言 这里不是我个人原创,是我对网络上整理到的资料的再加工,以更成体系,更方便研究阅读.主要是对其中跟主题无关的文字删除,部分人称稍做修改;本人无版权,您可以将本页面视为对参考页面的镜像.第二部分已经给出所有的参考资料; 2. 参考资料链接 利用Tokyo Tyrant构建兼容Memcached协议.支持故障转移.高并发的分布式key-value持久存储系统[原创]>:[http://blog.s135.com/post/362/] tokyotyrant源代码研究-程序架构与运行流程:[…

JVM 内部原理(五)- 基本概念之 Java 虚拟机官方规范文档,第 7 版 介绍 版本:Java SE 7 每位使用 Java 的程序员都知道 Java 字节码在 Java 运行时(JRE - Java Runtime Environment)里运行.Java 虚拟机(JVM - Java Virtual Machine)是 Java 运行时(JRE)的重要组成部分,它可以分析和执行 Java 字节码.Java 程序员不需要知道 JVM 是如何工作的.有很多应用程序和应用程序库都已开发完成,…

这个系列大致想跟大家分享以下篇章: 1.mongo 3.4分片集群系列之一:浅谈分片集群 2.mongo 3.4分片集群系列之二:搭建分片集群--哈希分片 3.mongo 3.4分片集群系列之三:搭建分片集群--哈希分片 + 安全 4.mongo 3.4分片集群系列之四:搭建分片集群--哈希分片 + 安全 + 区域 5.mongo 3.4分片集群系列之五:详解平衡器 6.mongo 3.4分片集群系列之六:详解配置数据库 7.mongo 3.4分片集群系列之七:配置数据库管理 8.mongo 3…

基本概念 索引: 类似于MySQL的表.索引的结构为全文搜索作准备,不存储原始的数据. 索引可以做分布式.每一个索引有一个或者多个分片 shard.每一个分片可以有多个副本 replica. 文档: 类似与MySQL的一行记录. 映射: 所有文档写入索引之前,会进行分析, 分析将输入的文本进行分割为词条,分析哪些词条会被过滤. 文档类型: 每个文档都可以有不同的结构. 不同的文档类不能为相同的属性设置不同的类型. [同一索引中所有文档类型中,一个title字段必须是相同的类型] 索引操作 添加索…

本章其实是ELK第二章的插入章节. 本章ES集群的多节点是docker启动在同一个虚拟机上 ===================================================================================== ELK系列的示例中,启动的是单个的ES节点. 系列文章: [ELK][docker][elasticsearch]1. 使用Docker和Elasticsearch+ kibana 5.6.9 搭建全文本搜索引擎应用 集群,安装ik分词…

微服务 面试题 1.您对微服务有何了解? 2.微服务架构有哪些优势? 3.微服务有哪些特点? 4.设计微服务的最佳实践是什么? 5.微服务架构如何运作? 6.微服务架构的优缺点是什么? 7.单片,SOA 和微服务架构有什么区别? 8.在使用微服务架构时,您面临哪些挑战? 9.SOA 和微服务架构之间的主要区别是什么? 10.微服务有什么特点? 11.什么是领域驱动设计? 12.为什么需要域驱动设计(DDD)? 13.什么是无所不在的语言? 14.什么是凝聚力? 15.什么是耦合? 16.什么是…

目录 [TOC] 1.什么是Elashticsearch 1.1 Elashticsearch介绍 Elasticsearch是一个基于Apache Lucene(TM)的开源搜索引擎.能够快速搜索数十亿的文件以及PB级的数据,结构化或者非结构化的数据都可以.对于大多数数据库而言,横向扩展意味着你的程序将做非常大的改动来利用这些新添加的设备.对比来说,Elasticsearch天生是分布式的:它知道如何管理节点来提供高扩展和高可用.这意味着你的程序不需要关心这些. Elasticsearch使用…

转自:http://www.letiantian.me/2014-06-16-dynamo-algorithm-protocol/ Dynamo是Amazon的一个分布式的键值系统,P2P架构,没有主从的概念,数据一致性做到了最终一致.Apache Cassandra参考了它的实现方法. 一致性哈希 关于一致性哈希的具体内容,可以参考一致性哈希. 容错 由于一致性哈希的使用,Dynamo集群中的节点在逻辑上可以认为是一个圆环.假设有M个节点,我们从某个节点开始顺时针地依次为每个节点标号为1.2.…

es的集群状态一共有三种 : green yellow red 状态是基于 碎片的 等级进行划分的 .…

原文链接:https://yq.aliyun.com/articles/57420 摘要: Elk是Elastic search, Logstash和Kibana三者的简称. Elastic search顾名思义是致力于搜索,它是一个弹性搜索的技术平台,与其相似的有Solr,二者的对比可参考下面这篇文章: Elastic search与Solr选型 总结一下就是,如果你不喜欢夜店咖还是喜欢忠实可靠的老婆,那选Elastic search准没错,何况他还有那么一点 Elk是Elastic sear…

26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 26.1 HDFS使用 1.查看集群状态 命令:   hdfs  dfsadmin –report 可以看出,集群共有3个datanode可用 也可打开web控制台查看HDFS集群…

现在的程序员越来越多,大部分的程序员都想着自己能够进入大厂工作,但每个人的能力都是有差距的,所以并不是人人都能跨进BATJ.即使如此,但身在职场的我们一刻也不能懈怠,既然对BATJ好奇,那么就要朝这个目标努力下去.以下是阿里在职P7整理出来的最“硬核”的面试文档,文档内容包含的专题非常多,可以免费分享给大家学习. 由于篇幅有限,以下只展示了这份文档的部分题目内容,题目答案也只展示了截图,可能因为压缩问题看不清楚,所以需要完整版的面试问题及答案的小伙伴,这些资料加入我的Java进阶裙:730863…

TODO 快速开始文档 SpringBoot整合ELK(Logstash收集日志.应用主动向ES写入) ELK接入Kafka 基本概念 ElasticSearch 什么是ElasticSearch? 首推官网的解释: https://www.elastic.co/guide/en/elasticsearch/reference/7.11/elasticsearch-intro.html 我简单总结下,ES(ElasticSearch的缩写,下文大写的ES都表示ElasticSearch)是一个分…

节点node 节点(node)是一个运行着的Elasticsearch实例 集群中一个节点会被选举为主节点(master),它将临时管理集群级别的一些变更,例如新建或删除索引.增加或移除节点等.主节点不参与文档级别的变更或搜索,这意味着在流量增长的时候,该主节点不会成为集群的瓶颈.任何节点都可以成为主节点.我们例子中的集群只有一个节点,所以它会充当主节点的角色. 做为用户,我们能够与集群中的任何节点通信,包括主节点.每一个节点都知道文档存在于哪个节点上,它们可以转发请求到相应的节点上.我们访问的…

加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令 方式1:静态添加datanode,停止namenode方式 1.停止namenode 2.修改slaves文件,并更新到各个节点3.启动namenode 4.执行hadoop balance命令.(此项为balance集群使用,如果只是添加节点,则此步骤不需要) ----------------------------------------- 方式2:动态添加datanode,不停namenode方式 1.修改slaves文件,添加需…

import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.*; import org.apache.hadoop.hbase.client.Admin; import org.apache.hadoop.hbase.client.Connection; import org.apache.hadoop.hbase.client.ConnectionFactory; import org.apache.h…

业务连接服务(BCS)认证概念整理 I. BDC认证模型 BDC服务支持两种认证模型:信任的子系统,模拟和代理. 在信任的子系统模型中,中间层(通常是Web服务器)通过一个固定的身份来向后端服务器取得认证.选项信任的子系统模型一般基于如下的原因: · 拥有和管理后端服务器的组向一个它们管理的账号赋予了访问权限:· 它提供连接池:· 它减少了后端服务器的许可(licensing)成本:· 它相对简单. 在模拟和代理模型中,客户端代理了中间层的认证,即中间层模拟客户端以客户端的身份取得后端服务器的认…

如何查看mysql集群状态是否正常: 进入mysql 输入show status like 'wsrep%': 查看cluster sizes 是否为3…

DNS,TCP,IP,HTTP,socket,Servlet概念整理   常见的协议虽然很容易理解,但是看了之后过一段时间不看还是容易忘,笔记如下,比较零碎,勉强供各位复习.如有错误欢迎指正.   DNS协议   DNS 协议的作用是将域名解析为IP,域名的数量非常多,域名和ip的对应关系也经常变化,所以就需要专门的DNS服务器,用来将域名解析为IP. windows下,nslookup命令可以查看域名解析的结果.nslookup +网址. 世界各地有很多DNS服务器,也有一些大型公用的DNS服…