前言: Linux系统里,个人觉得最大的不方便之一就是没有回收站的概念.rm -rf很容易造成极大的损失.而在Hadoop或者说HDFS里面,有trash(回收站)的概念,可以使得数据被误删以后,还可以找回来. Hadoop里的trash选项默认是关闭的,所以如果要生效,需要提前将trash选项打开,修改conf里的core-site.xml即可,下面我们测试下开启前后的区别: 1.不启用trash [hadoop@hadoop000 ~]$ hdfs dfs -put test.log / […

Hadoop生态圈-zookeeper的API用法详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.测试前准备 1>.开启集群 [yinzhengjie@s101 ~]$ more `which xzk.sh` #!/bin/bash #@author :yinzhengjie #blog:http://www.cnblogs.com/yinzhengjie #EMAIL:y1053419035@qq.com #判断用户是否传参 ];then echo "无效参数…

工作当中遇到oracle运行时CPU占用率达到90%以上,调小以下参数值后恢复正常. fs.file-max = 65536 net.core.rmem_default=262144 net.core.rmem_max=262144 net.core.wmem_default=262144 net.core.wmem_max=262144 在安装Oracle的时候需要调整linux的内核参数,但是各参数代表什么含义呢,下面做详细解析. Linux安装文档中给出的最小值: fs.aio-max-n…

在前面的Spark发展历程和基本概念中介绍了Spark的一些基本概念,熟悉了这些基本概念对于集群的搭建是很有必要的.我们可以了解到每个参数配置的作用是什么.这里将详细介绍Spark集群搭建以及xml参数配置.Spark的集群搭建分为分布式与伪分布式,分布式主要是与hadoop Yarn集群配合使用,伪分布式主要是单独使用作为测试. Spark完全分布式搭建 由于Hadoop和Spark集群占用的内存较高,这种完全分布式集群的搭建对于跑应用来说太吃力,如果有服务器可以尝试,这里采用虚拟机方式实验,…

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件.它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护.域名服务.分布式同步.组服务等.(百度百科).ZooKeeper代码版本中,提供了分布式独享锁.选举.队列的接口,其中分布锁和队列有Java和C两个版本,选举只有Java版本.一般用于分布式的消息监听(主要)和分布式锁的用途(次要). 我们这次先来简单安装一个zookeeper和z…

持久化journalctl日志清空命令查看配置参数详解 最近 linux上面部署服务 习惯使用systemd 进行处理 这样最大的好处能够 使用journalctl 进行查看日志信息. 今天清理了下 日志 用的是 cd /run/log/journal 删除掉里面的文件来执行的 其实还可以执行持久化的操作 就是这个博客将的了 不过我还没看完.. https://www.chenweiliang.com/cwl-1141.html 命令 "journalctl -k" 和 "j…

一.前言 在生产中,我们安装oracle数据库时,为达到最优我们需要对操作系统的内核参数进行一定的调整.主要从内存.cpu.io以及网络等方面,根据实际情况进行调整.以下参数可供大家参考,如有不当之处还望大家指出,一起研究学习. 二.参数调整建议 参数名称                                                           含义                                                          建议值…

1.Niginx主配置文件参数详解 a.上面博客说了在Linux中安装nginx.博文地址为:http://www.cnblogs.com/hanyinglong/p/5102141.html b.当Nginx安装完毕后,会有相应的安装目录,安装目录里的nginx.confg为nginx的主配置文件,nginx主配置文件分为4部分,main(全局配置).server(主机配置).upstream(负载均衡服务器设置)以及location(URL匹配特定位置的设置),这四者的关系是:server继…

iptables参数详解 搬运工:尹正杰 注:此片文章来源于linux社区. Iptalbes 是用来设置.维护和检查Linux内核的IP包过滤规则的. 可以定义不同的表,每个表都包含几个内部的链,也能包含用户定义的链.每个链都是一个规则列表,对对应的包进行匹配:每条规则指定应当如何处理与之相匹配的包.这被称作'target'(目标),也可以跳向同一个表内的用户定义的链. TARGETS 防火墙的规则指定所检查包的特征,和目标.如果包不匹配,将送往该链中下一条规则检查:如果匹配,那么下一条规则由…

chattr的常用参数详解 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在实际生产环境中,有的运维工程师不得不和开发和测试打交道,在我们公司最常见的就是部署接口.每天每个人部署的接口10~20个不等, 测试有时候会我们我们要服务器的账号,有的时候实在忙不过来了她们也会自己去部署,但是我们会突然在讨论群中发现有人说:"谁删除了我的xx 库信息","怎么xx平台不能用了,刚刚还是好好的呢"等等一些列的话.最后查明原因是有人替换了"plat…