假设有文件file1.txt: aa eeeee bb eeeee cc eeeee dd eeeee 先修改为: aa eeeee 1 bb eeeee 2 cc  eeeee3 dd eeeee 4 则只需要写上命令: cat file1.txt | awk '{print $1,$2 " " NR}'…

需求: 技术部门人员可以相互查看,但不能删除和修改别人的文件,其他部门人员不能查看,但领导组可以且只能查看. 设计: 技术部: 组 jishu ; 人员 js1, js2 领导:组 lingd ; 人员 ld1 其他部门: 组 other ; 人员 wrm 1.新建自定义扩展组 [root@rhel8-client02 home]# groupadd jishu [root@rhel8-client02 home]# groupadd lingd [root@rhel8-client02 hom…

在Linux中,万事万物皆文件,普通文件是文件,目录是文件,硬件设备也是文件,因此学习了解Linux中的文件非常重要. Linux中有三种文件类型: (1) 普通文件:又分为文本文件和二进制文件 (2) 目录文件:目录文件存储了一组相关文件的位置.大小等与文件有关的信息. (3) 设备文件:I/O设备在Linux中也被看成文件,与普通文件一样处理,这样使文件与设备的操作尽可能统一. 一.Linux文件属性 Linux的文件有很多属性,要查看文件的属性可以用ls -l命令,为了后续的讲解中有操作的…

[一]显示文件前几行 ll -lrth:按照更改时间倒序排列,最新文件在下边 ll -lrSh:按照文件大小倒序排列,最大文件在下边 grep --color :高亮查询关键字 grep -A 10 xxx : 显示关键字后10行,查异常栈时很有用 grep -B 10 xxx : 显示关键字前10行 grep -C 10 xxx : 显示关键字前后10行 grep -i :不区分大小写 egrep ‘aaa|bbb’:可以统计aaa或bbb的结果,egrep基本等价 grep -E [1]从第…

库文件在连接(静态库和共享库)和运行(仅限于使用共享库的程序)时被使用,其搜索路径是在系统中进行设置的.一般 Linux 系统把 /lib 和 /usr/lib 两个目录作为默认的库搜索路径,所以使用这两个目录中的库时不需要进行设置搜索路径即可直接使用.对于处于默认库搜索路径之外的库,需要将库的位置添加到库的搜索路径之中.设置库文件的搜索路径有下列两种方式,可任选其一使用: 在环境变量 LD_LIBRARY_PATH 中指明库的搜索路径.在 /etc/ld.so.conf 文件中添加库的搜索路径…

昨天写一个脚本花了一天的2/3的时间,而且大部分时间都耗在了sed命令上,今天不总结一下都对不起昨天流逝的时间啊~~~ 用sed命令在行首或行尾添加字符的命令有以下几种: 假设处理的文本为test.file 在每行的头添加字符,比如"HEAD",命令如下: sed 's/^/HEAD&/g' test.file 在每行的行尾添加字符,比如"TAIL",命令如下: sed 's/$/&TAIL/g' test.file 运行结果如下图: 几点说明: 1…

一.HBase介绍 1.基本概念 HBase是一种Hadoop数据库,经常被描述为一种稀疏的,分布式的,持久化的,多维有序映射,它基于行键.列键和时间戳建立索引,是一个可以随机访问的存储和检索数据的平台.HBase不限制存储的数据的种类,允许动态的.灵活的数据模型,不用SQL语言,也不强调数据之间的关系.HBase被设计成在一个服务器集群上运行,可以相应地横向扩展. 2.HBase使用场景和成功案例 互联网搜索问题:爬虫收集网页,存储到BigTable里,MapReduce计算作业扫描全表生成搜…

rsync从linux到linux的文件同步备份 一.环境 需要备份文件的服务器(服务器端):192.168.1.201 (RHEL 5) 接收备份文件的服务器(客户端):192.168.1.202 (CENTOS 5) 二.安装配置 1.服务器端的配置 A.采用系统默认安装的rsync 编辑/etc/rsyncd.conf文件,如果没有则新建一个. vi /etc/rsyncd.conf #[globale] strict modes= yes  #check passwd file port…

Linux之文件与目录管理 目录 Linux之文件与目录管理 前言 绝对路径与相对路径说明: 一.目录常用命令 常用处理目录的命令: 切换目录 cd 显示当前路径 pwd 查看目录下文件 ls 创建目录(文件夹) mkdir 删除空目录 rmdir 创建文件及修改文件时间戳 touch 复制文件和目录 cp 删除文件或目录 rm (删除文件三思而后行) 移动文件或改名 mv 二.Linux 链接概念 ln 三.Linux 文件内容查看 连接文件并打印输出到标准输出设备 cat tac 分屏显示文…

csv文件通常存在如下问题: 1. 文件过大(需要进行文件分割)2. 列异常(列不一致,如元数据列为10列,但csv文件有些行是11列,或者4列)本脚本用于解决此问题. #coding=utf-8 ''' 脚本说明 用来解决csv文件的列异常问题(以逗号分隔符为例): csv文件有些列含有换行符.逗号等特殊符号,这就导致csv文件出现列异常的情况. 此脚本将csv文件输出成如下文件:源文件名-正确列-文件序号.csv 源文件名-错误列.csv 源文件名-info.txt 常用文本编码: gbk,…