使用场景 当Elasticsearch集群中有节点挂掉,我们可以去查看集群的日志信息查找错误,不过在查找错误日志之前,我们可以通过elasticsearch的cat api简单判断下各个节点的状态,包括磁盘,heap,ram的使用情况,先做初步判断. 在浏览器中输入: localhost:9200/_cat/nodes?v&h=http,version,jdk,disk.total,disk.used,disk.avail,disk.used_percent,heap.current,heap.…

26 集群使用初步 HDFS的设计思路 l 设计思想 分而治之:将大文件.大批量文件,分布式存放在大量服务器上,以便于采取分而治之的方式对海量数据进行运算分析: l 在大数据系统中作用: 为各类分布式运算框架(如:mapreduce,spark,tez,……)提供数据存储服务 l 重点概念:文件切块,副本存放,元数据 26.1 HDFS使用 1.查看集群状态 命令:   hdfs  dfsadmin –report 可以看出,集群共有3个datanode可用 也可打开web控制台查看HDFS集群…

Linux 查看CPU和内存的使用情况 如何查看Linux机器的CPU和内存的使用情况. 可以通过如下方式: 1.查看CPU和内存的实时使用情况 使用如下命令: top 命令执行后,效果如下(资源的使用情况会实时变化,使用 Ctrl+C,退出查看): 2.查看CPU信息 使用如下命令: cat /proc/cpuinfo 命令执行后,效果如下(可以看到当前主机上有 2个CPU处理器,即 2核CPU) 3.查看内存信息 使用如下命令: cat /proc/meminfo 命令执行后,效果如下(可以…

pmap后面跟进程id,就可以查看进程的详细情况了,例如下面php的进程 可以看到php扩展占用内存的情况,方便进行查询问题 00007fb3fa4bf000 44K r-x-- /usr/lib64/php/modules/mysql.so 00007fb3fa4ca000 2048K ----- /usr/lib64/php/modules/mysql.so 00007fb3fa6ca000 8K rw--- /usr/lib64/php/modules/mysql.so 00007fb3f…

本博文讲述的ES获取系统数据的API是基于Elasticsearch 2.4.1版本的. 0. overview a. 下面将要介绍的所有的指令,都支持一个查询参数v(verbose),用来显示详细的查询结果. b. cat的所有指令,都支持一个help参数查询,帮助用户了解cat相关指令都支持那些功能. c. cat的所有指令,都支持一个h参数的查询,指定指定的列信息进行输出. 例子: 查询输出master的ip以及node name [elastic@t0-tkonline-cms-sear…

Linux du命令也是查看使用空间的,但是与df命令不同的是Linux du命令是对文件和目录磁盘使用的空间的查看,还是和df命令有一些区别的. 1．命令格式: du [选项][文件] 2．命令功能: 显示每个文件和目录的磁盘使用空间. 3．命令参数: -a或-all  显示目录中个别文件的大小. -b或-bytes  显示目录或文件大小时,以byte为单位. -c或--total  除了显示个别目录或文件的大小外,同时也显示所有目录或文件的总和. -k或--kilobytes  以KB(10…

…

前一天运行hadoop一切安好,今天重新运行出现BUG.下面对遇到的bug.产生原因以及解决方法进行一下简单总结记录. [bug1]用ssh localhost免密登录时提示要输入密码. 原因分析:之前配置好了ssh免密登录并且ssh localhost以及ssh Slave1.ssh Master.ssh Slave2等都可以成功实现免密登录,后来突然想起前一天晚上用scp在节点之间传输文件的时候提示没有相关权限从而对节点的/home目录做过权限更改,而.ssh文件夹就在/home/hadoo…

本章其实是ELK第二章的插入章节. 本章ES集群的多节点是docker启动在同一个虚拟机上 ===================================================================================== ELK系列的示例中,启动的是单个的ES节点. 系列文章: [ELK][docker][elasticsearch]1. 使用Docker和Elasticsearch+ kibana 5.6.9 搭建全文本搜索引擎应用 集群,安装ik分词…

文中Elasticsearch版本为6.0.1 1. 环境配置 把环境配置放在第一节来讲,是因为很多人按官网的Getting Started安装运行会有各种错误.其实都是因为一些配置不正确引起的. 首先,Elasticsearch不能以root账号运行,所以我们需要单独建立用户授权运行. 对于非root账号Linux可以进行并发操作,但是文件.线程都有限制,所以,部署Elasticsearc的机器需要进行相应配置. 修改文件限制 # 修改系统文件 vi /etc/security/limits.…