本文为博主原创,转载请注明出处: 今天打开服务器下载文件时,发现服务器内存不足,并开始清理服务器内存,排查及清理方法如下: 1. 查看服务器内存大小: df -h            通过 df -h 可以发现有两个主要的磁盘目录内的使用率已经 100 %,且 /var/lib/docker 为 docker 容器安装的默认磁盘目录,所以需要清理docker 的容器空间 2. 查看docker 磁盘使用情况 du -hs /var/lib/docker/                    

Linux 查看大日志文件1.使用 less 命令 less filename 但是使用上述命令的坏处是,默认打开的位置在第一行,并且当切换到实时滚动模式(按 F ,实现效果类似 tail -f 效果 )或者想要滚动到最底部的时候(按 G ),会卡在计算行数一段时间.如果卡的时间比较长的话,可以直接按 Ctrl + c ,取消计算行数.我更推荐打开文件的时候使用 -n :不计算行号(打开大文件的时候很有用).   less  -n file    less  +G -n   file  // 打

head -n 50 filePath 查看开头50行的内容 tail -n 50 filePath 查看文件结尾50行的内容

du -h --max-depth=1

1 简介 众所周知(你不知也当你知),MongoDB是以文档(Document)组织数据的.除了常用于存储Json数据,它也是可以存储普通文件的.我们可以把一些文件以BSOON的格式存入MongoDB,十分方便,比较说图片.文本文件等.但MongoDB的BSON Document有大小限制,最大不能超过16MB.这对我们存储大文件是不方便的.还好,MongoDB为我们提供了GridFS文件存储组件,让我们可以存储超过16MB的文件,小文件当然也可以了.接下来让我们一起学习一下这个GridFS存储

今天发现vps敲入crontab -e 居然提示 “Disk quota exceeded” 无法编辑.于是"df -h"查了查发现系统磁盘空间使用100%了.最后定位到是/var/spool/mail/root 这个文件有几个G.于是清理掉,问题解决.如果不知道是哪些文件占了磁盘空间,可以看下面查找大文件方法. 以下内容转自 http://hi.baidu.com/11haiou/item/f3a4878b601e084e840fab17 linux操作系统中,经常会遇到磁盘空间满的

今天发现vps敲入crontab -e 居然提示 “Disk quota exceeded” 无法编辑.于是"df -h"查了查发现系统磁盘空间使用100%了.最后定位到是/var/spool/mail/root 这个文件有几个G.于是清理掉,问题解决.如果不知道是哪些文件占了磁盘空间,可以看下面查找大文件方法.       linux操作系统中,经常会遇到磁盘空间满的问题.遇到这样的问题,先查下是什么文件过大或过多引起的,至于引起这个更深一层的原因,先不探讨.怎么查看大文件所在的路径

app/test/target/ #查看大文件 git rev-list --objects --all | grep "$(git verify-pack -v .git/objects/pack/*.idx | sort -k 3 -n | tail -5 | awk '{print$1}')" #删除大文件或者目录 git filter-branch --force --index-filter 'git rm -rf --cached --ignore-unmatch app/

作为一个后端开发工程师,在Linux中查看查看文件内容是基本操作了.尤其是通常要分析日志文件排查问题,那么我们应该如何正确打开日志文件呢?对于笔者这种小菜鸡来说,第一反应就是 cat,tail,vi(或vim)了,是的,我曾经用过好多次vim编辑器来查看日志文件. 千万不要使用vi命令来查看大文件内容, 尤其对于那些几十G的大文件.因为vi仅仅是一个编辑器(可以理解为windows中的记事本),使用vi命令后则会把文件所有内容加载到内存中,如果内存不够大的话,则可能会导致服务器瘫痪. 为了生成测

记一次使用commit提交大文件无法推送到远程库解决问题过程及git rebase使用 目录 大文件无法push到远程仓库 问题 commit的大文件无法push到远程库解决办法 git filter-branch命令: git commit后的回滚 git reset --hard 丢弃最新的提交 git rebase -i 丢弃指定提交 git rebase git rebase执行失败后的退出 git rebase成功后的回退 解决这个问题并没有特别的(删除提交历史中某个文件,然后重新pu

在我的生活当中遇到磁盘快满了,这时候准备去删除一些大文件 于是我使用ncdu 查看了一下当前系统占用资源比较多的是那些文件,结果一看是elasticsearch的日志文件,好吧,竟然找到源头了,那就把它给删除了吧, 来到相应的路径下之后,然后粗暴一点,执行  rm   -rf   * 很高兴,终于把这些占用系统资源的坏东西给杀死了.满心欢喜的去查看磁盘情况. 给我当头一棒,磁盘并没有多大的变化,之后释放了100多M,但是我明明删除了30G的文件啊,这是怎么回事. 有问题不可怕,干净找baidu/

sudo apt-get install eclipse 安装后打开eclipse,提示出错 An error has occurred. See the log file /home/pengeorge/.eclipse/org.eclipse.platform_3.7.0_155965261/configuration/1342406790169.log. 查看错误日志然后解决 打开log文件,看到以下的错误 !SESSION 2012-07-16 10:46:29.992 --------

BareTail 动态的查看日志文件,就像Linux上的tail tail -f nohup.out 功能: 实时文件查看 tail命令模式,自动滚动 支持2g以上大文件 自动滚动 彩色监控 多文件监控 支持unicode和UTF-8 支持Win32.Unix.IIS日志 单文件,无需安装 软件主页 http://www.baremetalsoft.com/baretail/index.php 1.大文件读取速度快 2.自动刷新 3.颜色高亮 设置高亮规则 4.支持中文 5.支持多种文件格式 6

GridFS是一种在MongoDB中存储大二进制文件的机制,使用GridFS的原因有以下几种: 存储巨大的文件,比如视频.高清图片等. 利用GridFS可以简化需求. GridFS会直接利用已经建立的复制或分片机制,故障恢复和扩展都很容易 GridFS可以避免用户上传内容的文件系统出现问题. GridFS不产生磁盘碎片. GridFS使用两个表来存储数据: fiiles包含元数据对象(如文件的名称.上传的时间) chunks包含其他一些相关信息的二进制块 为了使度个GridF命名为一个单一的数据

问题诊断: 文件夹所在磁盘已满 问题确认: 查看文件夹所在磁盘剩余空间,找出空间被消耗的文件(集) 查看文件夹所在磁盘空间的所属文件(暂未解决) [root@hadoop1 /]# df -Bg /tmp文件系统                1G-块  已用  可用 已用% 挂载点/dev/mapper/centos-root   50G   50G    1G  100% /[root@hadoop1 /]# df -Bk /tmp文件系统                    1K-块  

有时候在linux下会遇到这种情况:df查看空间已经占用%100,但是找不到大文件,怎么回事呢,经过网上查找资料,得到解决方法: 1.使用lsof查看已删除但未释放的文件 lsof -n | grep deleted # 重启相关程序即可 2.如果lsof还是未查找到大文件,那有可能根目录下有隐藏文件夹占用了空间: 本人经常du /* -sh查看根目录占用情况,这样会查看目录根目录下的隐藏文件夹,需要使用以下命令查看du / -h --max-depth=1

Linux 查看磁盘容量.查找大文件.查找大目录 磁盘统计 查看磁盘使用情况 df -h 文件统计 查找/home 目录下大于800M的文件 find /home -type f -size +800M 查找/home 目录下大于800M的文件,并且使用ls -l 命令输出详细信息 find /home -type f -size +800M -print0|xargs -0 ls -l 查找/home 目录下大约800M的文件,并且使用du -h 命令输出文件的大小 find /home -t

一.docker日志文件的方法 除了 docker logs -f 容器ID/容器名 这个方法以外. 在linux上,一般docker的日志文件存储在/var/lib/docker/containers/container_id/ 目录下的 各个容器ID对应的目录下的*-json.log 文件中 方法1:可以直接进入该目录下,查找日志文件 方法2:可以写一个脚本文件,执行即可 1>创建.sh文件[在你自己可以找到的目录下] vi docker_log_size.sh 文件内容 #!/bin/sh

用JAVA实现大文件上传及显示进度信息 ---解析HTTP MultiPart协议 (本文提供全部源码下载,请访问 https://github.com/grayprince/UploadBigFile) 一. 大文件上传基础描述: 各种WEB框架中,对于浏览器上传文件的请求,都有自己的处理对象负责对Http MultiPart协议内容进行解析,并供开发人员调用请求的表单内容. 比如: Spring 框架中使用类似CommonsMultipartFile对象处理表二进制文件信息. 而.NET 中

最近我们标桥下载模块,在经过正常更新后,发现软件包无法上传. 临时解决方案 因为问题结点在于文件无法上传到服务器,所以我们临时手动将文件丢到服务器,通过测试服务器将数据造出来,然后再更新到正式数据库,最后通过接口将文件同步到镜像站,保证平台上的软件能被正常更新使用. 首先排查代码问题 本次更新没有涉及到上传代码改造,与svn历史版本对比后也没有发现改动.并在测试服务器上可以正常上传.Ps:我们平台现在都是jenkins+docker部署,正式系统与测试系统环境与配置都是一致的.为确保正式与测试配

本篇文章是基于Docker搭建大数据集群系列的开篇之作 主要内容 docker搭建 docker部署CentOS 容器免密钥通信 容器保存成镜像 docker镜像发布 环境 Linux 7.6 一.Docker安装 安装工具包 bash yum install -y yum-utils #安装工具包,缺少这些依赖将无法完成 设置远程仓库 bash yum-config-manager --add-repo https://download.docker.com/linux/centos/dock