Linux文件访问流程 inode是文件的唯一标识,文件名和inode的对应关系存放在上一级目录的block中:inode里有指向文件block的指针和文件的属性,从而通过block获得文件数据. 磁盘的容量由inode和block共同决定 磁盘空间是否满了,是由两项参数决定的: 第一个是inode是否满了,第二是block是否满了,任何一个满了都不能存数据. 有关inode的总结 磁盘格式化创建文件系统时会生成一定数量的inode和block: inode称为索引节点,作用是存放文件的属性信息

http://dreamway.blog.51cto.com/1281816/1151886 linux传输大文件

我们经常会遇到这样的场景:上传/下载文件. 有两种思路可以解决这个问题: (1)将文件存储在服务器的文件系统中: (2)将文件存储在数据库中. 如果我们选择(2),那么我们可以使用MongoDB GridFS 用于存储大小超过 16MB 的文件. 一.MongoDB GridFS 介绍 MongoDB GridFS 是一个分布式文件系统,可用于存储/检索大小超过 16MB 的文件. 内部实现:将文件分割为一个个 chunk (默认大小为 255KB)进行存储. 两个优点: (1)可以存储大文件(

1.ls   -lhi 文字解释: 第一列:inode索引节点编号(人的身份证,全国唯一) 系统读取文件时首先通过文件名找到inode,然后才能读取到文件内容. 第二列:文件类型及权限(共10个字符,第一个字符为类型,后9个字符为文件权限) 第三列:硬链接个数(详细参看In命令的讲解) 第四列:文件或目录所属的用户(属主) linux里面文件和程序的存在必须要有用户和组满足相应的存在需求. 第五列:文件或目录所属的组 第六列:文件或目录的大小 第七八九列:文件或目录的修改时间:默认月日时分 第十

打开php.ini,首先找到 ;;;;;;;;;;;;;;;; ; File Uploads ; ;;;;;;;;;;;;;;;; 区域,有影响文件上传的以下几个参数: file_uploads = on ;是否允许通过HTTP上传文件的开关.默认为ON即是开 upload_tmp_dir ;文件上传至服务器上存储临时文件的地方,如果没指   打开php.ini,首先找到;;;;;;;;;;;;;;;;; File Uploads ;;;;;;;;;;;;;;;;;区域,有影响文件上传的以下几个

Linux 查看大日志文件1.使用 less 命令 less filename 但是使用上述命令的坏处是,默认打开的位置在第一行,并且当切换到实时滚动模式(按 F ,实现效果类似 tail -f 效果 )或者想要滚动到最底部的时候(按 G ),会卡在计算行数一段时间.如果卡的时间比较长的话,可以直接按 Ctrl + c ,取消计算行数.我更推荐打开文件的时候使用 -n :不计算行号(打开大文件的时候很有用).   less  -n file    less  +G -n   file  // 打

linux下采用先分割后合并的策略处理大文件 第一步:分割文件 split split 参数:-a, --suffix-length=N     指定输出文件名的后缀,默认为2个-b, --bytes=SIZE           指定输出文件的字节数-C, --line-bytes=SIZE   每一输出档中,单行的最大 byte 数-d, --numeric-suffixes   使用数字代替字母做后缀-l, --lines=NUMBER      按照行数分割文件 例:[root@10.1

查询大文件du -h --max-depth=1 查询指定目录下面的文件大小du -h --max-depth=1 /path 使用find命令查找大于200M文件 find / -type f -size +200M 查询大于200M且去除不必要的文件的具体大小find / -type f -size +200M 2>/dev/null|xargs du -shm 按照大小排序find / -type f -size +200M 2>/dev/null|xargs du -shm|sort

这两天,项目中使用jenkins自动构建系统时遇到了在Linux中创建目录和文件的权限问题,临时的解决办法是在脚本中增加了chmod赋权限命令; 偶然想到Linux应该是可以设置默认权限的,故学习了一下. 在linux中创建文件和目录时,单个用户创建的目录权限都是一致的,创建的文件权限也都是一致的,控制这个创建权限的叫做权限掩码.权限掩码的作用就是规范初创文件和目录时候的权限设置,免去了创建后再次修改权限的问题. 1.查看用户的权限掩码命令: umask 目录:最大权限是777,减去umask的

一.环境说明 某次项目需求中,在Linux上有批文本文件,文件文件都有几个G大,几千万行的数据.无论在Linux和Windows打开这么大的文件,基本上打开要卡半天,更别说编辑. 因此想到使用split命令对大文件进行切割,再分隔取其中的字段,最后导出文件(保留有用的字段). 二.split常用命令参数 -a. --后缀长度=N生成长度为N的后缀(默认值2) --附加后缀=后缀向文件名附加附加后缀 -b. --bytes=大小每个输出文件放置大小字节 -C. --line bytes=每个输出文

测试服务器用久了,如果没有运行自动清除日志的脚本,会导致硬盘空间不足,应用.数据库.环境等启动不了: 如果你对系统不是特别熟悉,就无法知道那些占用空间的日志或缓存文件在哪里,这时,我们就可以利用查找大文件命令来找到可以清除的文件. 查看磁盘命令有: df  -h                                  查看当前磁盘总量.剩余.已用 du -sh                                查看当前文件大小 du -h   或者   du -m     

查看磁盘使用情况:df -h [root@iZwz9gs2zseivevv1k5vnkZ /]# df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 126G 111G .9G % / devtmpfs .8G .8G % /dev tmpfs .8G .8G % /dev/shm tmpfs .8G 310M .5G % /run tmpfs .8G .8G % /sys/fs/cgroup tmpfs .6G .6G % /r

我们的目标:把一首mp3保存到MySQL数据库中! 由于MySQL默认当存入的数据太大时会抛异常,所以应在my.ini中添加如下配置!max_allowed_packet=10485760,这样,可以最大存入一个10M的数据(当然可以设置更大) MySQL使用如下四种类型来处理文本大数据: 类型 长度 tinytext 28--1B(256B) text 216-1B(64K) mediumtext  224-1B(16M) longtext  232-1B(4G) 我们建立如下表: CREAT

1.编辑文件 cat aaa.txt 查看aaa.txt文件的内容 head - aaa.txt 查看aaa.txt文件前5行的内容 tail - aaa.txt 展示aaa.txt文件最后10行的内容 3.操作用户和用户组 4.设置文件权限

有时候我们的文件比较大,比如几十G,甚至上百G.这么大的文件怎么查询呢? 有很多种方法都可以实现,这儿选择用 cat 这个命令实现. 先来看看 cat 的介绍 cat 有个对应的命令 tac,cat反着写,cat是从文件开头查找,tac是从文件结尾开始查找. 查询某个字符串在文件中出现的前10次,只匹配该字符串行. 命令: cat -n 文件名 | grep '查询字符串' | head -n 10 查询某个字符串在文件中出现的最后10次,只匹配该字符串行 命令: cat -n 文件名 | gr

实例演示: 要求:新建文件夹,名称为secure,要求改文件夹只能被创建者deadmin以及与deadmin同组用户进行读.写.执行的权限, 其他用户均只有读的权限. 查看 一下secure原本的权限分配情况: secure的所有者为root,可读.可写.可执行权限: 同组用户可读.可执行无写的权限: 其他用户也是可读.可执行无写的权限. 字母表示的权限与数字表示的权限对应关系: 可读 -> r -> 可写 -> w -> 执行 -> x -> 因此,secure的数字

使用的命令为: split --bytes 500M --numeric-suffixes --suffix-length=3 foo foo_ 其中 --bytes 为小文件的大小, --suffix-length 为小文件的序号是几位的 , foo 原始文件名,foo_ 为小文件名,他会自动生成foo_001 这样的小文件.这种方法分割的小文件不能保证分割处单行数据的完整性

1.分拆为多个文件的命令: cat workspace_2018.tar.gz | split -b 1G - workspace_2018.tar.gz. 命令解释: workspace_2018.tar.gz     是待下载的10G文件 拆分成1G的小文件 workspace_2018.tar.gz. 是拆分后文件的前缀,默认分拆后文件名称为workspace_2018.tar.gz.ab,ab,ac....类推 2.下载多个小文件 sz workspace_2018.tar.gz.a*

:~$ df -i 文件系统 Inode 已用(I) 可用(I) 已用(I)% 挂载点 udev % /dev tmpfs % /run /dev/sda2 % / tmpfs % /dev/shm tmpfs % /run/lock tmpfs % /sys/fs/cgroup /dev/loop0 % /snap/notepad-plus-plus/ /dev/loop2 % /snap/core18/ /dev/sda1 - /boot/efi tmpfs % /run/user/ /de

du -h --max-depth=1

使用tar命令进行压缩,使用split进行切割 压缩并分割: tar -zcvf - admin- |split -b 100m -d admin-.tar.gz 解压: 先合并成tar包在解压 cat admin-.tar.gza* > admin.tar.gz tar xvf admin.tar.gz