工作采坑札记: 4. linux指定目录使用df和du的统计结果相差很大

【工作采坑札记: 4. linux指定目录使用df和du的统计结果相差很大】的更多相关文章

工作采坑札记: 4. linux指定目录使用df和du的统计结果相差很大

1. 背景近日,线上的服务出现异常,调用服务返回的JSON格式数据不完整,导致客户端解析异常,因此记录了本次的填坑之旅(nnd)... 2. 排查过程 2.1 服务器分析登录到服务所在linux服务器,查看磁盘I/O信息iotop.CPU信息top.网络请求netstat -alnp等一通操作,木有发现相关问题.随执行了df -h查看磁盘占用发现,系统盘根目录"/"的共计60G的磁盘占用100%,好吧,问题大概率就在这了.随后进入根目录,打算查看哪个文件夹占用最多,删除些文件,减…

工作采坑札记：4. Hadoop获取InputSplit文件信息

1. 场景基于客户的数据处理需求,客户分发诸多小数据文件,文件每行代表一条记录信息,且每个文件以"类型_yyyyMMdd_批次号"命名.由于同一条记录可能存在于多个文件中,且处于多个文件中的相同记录最终只有时间最新的记录有效,但文件的每行记录并未提供时间信息,因此需要从每个文件名中提取时间信息作为文件每行记录信息. 因此,考虑到小文件数量较多,且数据总量近千万级别,因此借助Hadoop工具,在MapReduce中获取处理该条记录所对应的拆分后的文件名信息. 2. 技术实现当Hado…

工作采坑札记：3. Spark中es-hadoop插件异常解决

1. Es-Hadoop异常: org.elasticsearch.hadoop.EsHadoopException: Could not write all entries [615/300864] (maybe ES was overloaded?). Bailing out... at org.elasticsearch.hadoop.rest.RestRepository.flush(RestRepository.java:235) at org.elasticsearch.hadoop…

工作采坑札记：2. Hadoop中MultipleInputs的使用陷阱

1. 背景近日在一个Hadoop项目中使用MultipleInputs增加多输入文件时,发现相同路径仅会加载一次,导致后续的统计任务严重失真.本博文旨在记录异常的排查及解决方案. 2. 情景重现 (1) 准备简版的输入文件test,文件内容为"i am ws",输入的HDFS路径为/work/justTest/test (2) 源码信息如下,主要是wordCount实现,其中/work/justTest/test作为输入路径,被输入两次: package com.ws.test; i…

工作采坑札记：1. Hadoop中的BytesWritable误区

1. 背景近日帮外部门的同事处理一个小需求,就是将HDFS中2018年至今所有存储的sequence序列化文件读取出来,重新保存成文本格式,以便于他后续进行处理.由于同事主要做机器学习方向,对hadoop或spark方面不了解,所以我就想着这么小的需求,简单支持下即可,花个几分钟写了一个脚本提供给他,没想到,过了一天他又找到我,说脚本读取出来的文件大部分有问题…原来自己代码有bug 2. 初始版本 Spark或Hadoop读取sequence文件只需调用相应函数即可. 第一版本的spark程序…

Linux中要重启apache服务与在windows是有很大的区别,下面我们来介绍一下

在Linux中要重启apache服务与在windows是有很大的区别,下面我们来介绍一下常用的命令,需要的朋友参考下吧(http://www.hnkjlb.com) linux系统为Ubuntu 一.Start Apache 2 Server /启动apache服务 /etc/init.d/apache2 start or $ sudo /etc/init.d/apache2 start 二. Restart Apache 2 Server /重启apache服务 /etc/init.d/apa…

python实现上传文件到linux指定目录

今天接到一个小需求,就是想在windows环境下,上传压缩文件到linux指定的目录位置并且解压出来,然后我想了一下,这个可以用python试试写下. 环境:1.linux操作系统一台2.windows环境安装Python3.x3.Pycharm IDE环境大家如果对paramiko模块不熟悉的话,可以去了解哈. 上传文件用到SFTPCLient,SFTPCLient作为一个sftp的客户端对象,根据ssh传输协议的sftp会话,实现远程文件操作,如上传.下载.权限.状态. 代码如下 #!/us…

linux查看磁盘系统df，du

可以用df命令轻松地查看所有已挂载磁盘的使用情况 df df -h 把输出的文件单位换成文件可读的单位 du 命令显示特定目录的使用情况 du -c 显示总用量 du -h 人类可读性 du -s 每个输出参数的总计…

linux指定目录安装软件后，程序找不到共享库问题

以svn为例,64位centos yum install subversion --installroot=/usr/svn/后执行svn命令,报错svn: error while loading shared libraries: libsvn_client-1.so.0: cannot open shared object file: No such file or directory 这是由于指定了svn的安装目录,svn的lib库在/usr/svn/usr/lib和/usr/svn/u…

linux查看空间情况----df与du命令

1.查看整个磁盘空间使用情况,可以使用命令 :df -h 2.获取当前的文件夹下的磁盘使用情况,可以使用如下命令:du --max-depth=1 -h 使用 du --max-depth=1 -h 命令来查找磁盘的使用情况,默认是当前的路径. -h:为了方便读懂每个文件的大小,如果没有这个参数显示的文件大小就没有k,M,G等. 得到结果中,前面n-1行的是该目录下每个文件夹的大小.最后一行显示的是该目录总的大小. 3.如果并不关心该目录下每个文件的大小,只想知道其中某一个文件(文件夹)的大…

df、du、fdisk：Linux磁盘管理三板斧的使用心得（转载）

From:http://os.51cto.com/art/201012/240726_all.htm 作者介绍:李洋(博客),博士毕业于中科院计算所.10多年来一直从事计算机网络信息安全研发工作,曾主持和参与多项国家重点项目以及信息安全系统和企业信息安全系统的研发工作.具有Linux系统应用.管理.安全及内核的研发经验,擅长网络安全技术.协议分析.Linux系统安全技术.Linux系统及网络管理.Linux内核开发等. 磁盘是Linux系统中一项非常重要的资源,如何对其进行有效的管理直接关系到整…

df、du、fdisk：Linux磁盘管理

磁盘是Linux系统中一项非常重要的资源,如何对其进行有效的管理直接关系到整个系统的性能问题.对Linux磁盘管理稍微有一些学习和经验的朋友们应该都知道df.du和fdisk这三个常用命令:df用于检查文件系统磁盘占用情况,du检查磁盘空间占用情况,而fdisk用于磁盘分区. 1．df df命令可以获取硬盘被占用了多少空间,目前还剩下多少空间等信息,它也可以显示所有文件系统对i节点和磁盘块的使用情况. df命令各个选项的含义如下: -a:显示所有文件系统的磁盘使用情况,包括0块(block)的…

linux系统df和du命令的区别

发现一台用户的电脑,df检查出来的/磁盘空间占用了16G,比用du查看得到的磁盘空间大的多,du查看/下所有程序目录加起来还不到5G.这是什么原因呢? 即便是有隐藏文件,查了也很小啊. 因为df和du的统计机制不一样. du会把指定目录下所有文件.目录.目录下的文件都统计.是建立在文件系统能看到的的确确是有这样一些文件的基础上的.也就是说我们能在文件系统里面看到的文件才会被du统计. df(df命令通过查看文件系统磁盘块分配图得出总块数与剩余块数.): 这要从程序写文件的方式来谈起,一个…

linux复制指定目录下的全部文件到另一个目录中

linux复制指定目录下的全部文件到另一个目录中复制指定目录下的全部文件到另一个目录中文件及目录的复制是经常要用到的.linux下进行复制的命令为cp.假设复制源目录为 dir1 ,目标目录为dir2.怎样才能将dir1下所有文件复制到dir2下了如果dir2目录不存在,则可以直接使用cp -r dir1 dir2即可.如果dir2目录已存在,则需要使用cp -r dir1/. dir2如果这时使用cp -r dir1 dir2,则也会将dir1目录复制到dir2中,明显不符合要求.ps:di…

linux下nginx服务器域名指定目录

一般,域名指定ip之后,需要在ip所在的机器去指定相应站点的目录,否则域名会不起作用: 下面说说linux下的nginx服务器指定目录的细节: 域名绑定目录的配置文件都放到这里: /usr/local/nginx/conf/vhost/ 在改目录下,新建一个文件,命名:域名.conf: 如:www.baidu.com.conf 内容大概如下: server { listen 80; server_name www.baidu.com; index index.html index.htm ind…

Window Linux下实现指定目录内文件变更的监控方法

转自:http://qbaok.blog.163.com/blog/static/10129265201112302014782/ 对于监控指定目录内文件变更,window 系统提供了两个未公开API:SHChangeNotifyRegister SHChangeNotifyDeregister 分别用于注册Notify以及监视. 同时,还提供了ReadDirectoryChangesW 函数(貌似NT以上可用). 在 .net framework 中,另提供了封装好的 FileSystem…

Linux 下搭建ftp服务器指定用户指定目录及其他操作

搭建 Linux下 rpm -qa |grep vsftpd查看是否安装没安装yum安装 /etc/vsftpd/目录下有vsftpd.conf配置文件根据需求进行配置是否使用匿名用户以及文件目录权限是否可写等等给用户指定目录的话在命令行下进行配置 useradd -d /root/123 user123 给user123用户指定目录 /root/123 然后给该用户添加密码 passwd user123 连接ftp后进行文件的上传或其他操作提示“could not c…

linux下无root 安装activepython到指定目录

linux下无root 安装activepython 1.下载ActivePython-2.7.8.10-linux-x86_64.tar.gz 包 2.进入非root用户,如bdc用户,解压 [bdc@svr001 python]$ tar -zxvf ActivePython-2.7.8.10-linux-x86_64.tar.gz 解压得到ActivePython-2.7.8.10-linux-x86_64 目录 3.进入ActivePython-2.7.8.10-linux-x86_…

linux复制指定目录下的全部文件到另一个目录中，linux cp 文件夹

linux复制指定目录下的全部文件到另一个目录中复制指定目录下的全部文件到另一个目录中文件及目录的复制是经常要用到的.linux下进行复制的命令为cp.假设复制源目录为 dir1 ,目标目录为dir2.怎样才能将dir1下所有文件复制到dir2下了如果dir2目录不存在,则可以直接使用cp -r dir1 dir2即可.如果dir2目录已存在,则需要使用cp -r dir1/. dir2如果这时使用cp -r dir1 dir2,则也会将dir1目录复制到dir2中,明显不符合要求.ps:di…

Linux解压文件到指定目录

Linux解压文件到指定目录 tar在Linux上是常用的打包.压缩.加压缩工具,他的参数很多,折里仅仅列举常用的压缩与解压缩参数参数:-c :create 建立压缩档案的参数:-x : 解压缩压缩档案的参数:-z : 是否需要用gzip压缩:-v: 压缩的过程中显示档案:-f: 置顶文档名,在f后面立即接文件名,不能再加参数举例: 一,将整个/home/www/images 目录下的文件全部打包为 /home/www/images.tar tar -cvf /home/www/images…

linux加载指定目录的so文件

linux加载指定目录的so文件 http://blog.csdn.net/win_lin/article/details/8286125 download urlhttp://download.chinaunix.net/download/0014000/13037.shtml http://hydra.nixos.org/release/patchelf/patchelf-0.6…

linux中复制文件夹的所有文件到指定目录

这里我们的需求是需要将一个文件夹中的所有文件都复制到另一个文件夹中,而不是将一个文件夹复制到另外一个文件夹中. //这里需要使用到-R参数,表示递归处理,将指定目录下的所有文件与子目录一并处理//一开始的使用使用星号表示文件夹中的所有文件和文件夹,发现Linux会将*作为文件或者文件夹.//所以这里使用了点代表所有文件和文件夹.[root@localhost home]# cp -R /etc/skel/* /home/kooyuyu/cp: cannot stat `/etc/skel/*':…