删除文件第一行: sed '1d' filename 删除文件最后一列: awk '{print $NF}' filename awk删除重复行的命令:awk '{if (!seen[$0]++) {print $0;}}' filename 比较文件的两种方法: 1)comm -3 --nocheck-order file1 file2 2) grep -v -f file1 file2 :输出file2中有file1中没有的行 当然还有diff file1 file2 贴一段昨天写的shel…

Shell的18条常用命令整理 1. ls: 类似于dos下的dir命令 ls最常用的参数有三个: -a -l -F. ls –a Linux上的文件以.开头的文件被系统视为隐藏文件,仅用ls命令是看不到他们的,而用ls -a除了显示一般文件名外,连隐藏文件也会显示出来. ls –l 该参数显示更详细的文件信息. ls –F 使用这个参数表示在文件的后面多添加表示文件类型的符号,例如*表示可执行,/表示目录,@表示连结文件,这都是因为使用了-F这个参数.但是现在基本上所有的Linux发行版本的l…

3.1.语法格式 find [路劲][选项][操作] 选项参数对照表 3.2.-name 查找/etc/目录下以.conf结尾的文件 find /etc/ -name "*.conf" -iname   不区分大小写 find /etc/ -iname "*.conf" -user      查找当前目录为root用户的文件 find ./ -user root 3.3.-type 文件的类型 f     文件 d    目录 c    字符设备文件 b    块设…

背景: 有一个源码包里面包含很多子目录和makefile,打包后的压缩包太大,需要将make生成的所有二进制文件删除然后再打包. 需求: 因此,要求在制定目录的所有递归子目录中执行make clean以清楚所有的目标文件. 代码: 写了一段简单的shell脚本,有两个功能: 1.遍历所有子目录,如果存在Makefile就执行make clean(当然也可以干更多的事): 2.列出所有子目录下大于10M(当然也可以指定其他值)的文件. 话不多说上代码: #!/bin/bash run_make()…

首先是通过文件名称来查找,需要使用一个-name参数. 查询以  .txt结尾的文件,和以 t 开头的文件: ubuntu@ubuntu:~/test$ ls one.txt three.txt two.txt ubuntu@ubuntu:~/test$ find ./ -name '*.txt' ./two.txt ./one.txt ./three.txt ubuntu@ubuntu:~/test$ find ./ -name 't*' ./two.txt ./three.txt 其中  .…

1. HDFS的shell操作 1.1. 支持的命令及参数 [yun@mini05 zhangliang]$ hadoop fs Usage: hadoop fs [generic options] [-appendToFile <localsrc> ... <dst>] [-cat [-ignoreCrc] <src> ...] [-checksum <src> ...] [-chgrp [-R] GROUP PATH...] [-chmod [-R] &…

The Linux Command Line 读书笔记 - 部分内容来自 http://billie66.github.io/TLCL/book/chap05.html 文章目录 通配符 字符范围 `mkdir` 创建目录 `cp` 复制文件和目录 `mv` 移动和重命名文件 `rm` 删除文件和目录 链接的概念 `ln` 创建硬链接 `ln` 创建符号链接 虽然使用图形化界面,可以更简单的完成文件的复制.粘贴.删除.但是图形化界面对于复杂的需求,就很麻烦了.例如,怎样拷贝一个目录下所有的 HT…

前文 一.CentOS7 hadoop3.3.1安装(单机分布式.伪分布式.分布式 二.JAVA API实现HDFS 三.MapReduce编程实例 四.Zookeeper3.7安装 Zookeeper的Shell操作 @ 目录 前文 Zookeeper的Shell操作 1.显示所有命令 2 .查看当前Zookeeper中所含的内容 3.查看当前节点数据 4.创建节点: 5.获取节点: 6.修改节点: 7.监听节点: 8.删除节点: ZooKeeper服务命令: 启动ZK服务: sh bin/z…

如下supervisor的进程的comand配置参数只能写一个命令 1.要执行多条命令,可以写个sh文件包含多条命令,然后sh -x   xxxx.sh,但这样又多了一个文件, 2.把所有命令放在字符串,然后用eval来执行,这样在shell窗口可以执行,但放在supervisor报找不到eval命令.比如: command = eval  "python -u app/utils_ydf/git_client.py&&gunicorn -w 9 -k gevent --bind…

工作中,需要把用户执行的每一个命令都记录下来,并发送到日志服务器的需求,为此我做了一个简单的解决方案.这个方案会在每个用户退出登录 时把用户所执行的每一个命令都发送给日志守护进程rsyslogd,你也可通过配置“/etc/rsyslog.conf”进一步将日志发送给日志服务器 第一种方法   1 2 3 4 5 6 7 8 9 10 11 12 13 14  # vi /etc/profile #设置history格式 export HISTTIMEFORMAT="[%Y-%m-%d %H:%M…