shell基础、变量、相关脚本

目录

• 一、shell基础
  • 书写规范
  • 引号
  • 配置文件
  • read交互
  • 脚本调式
  • 小节总结
• 二、变量
  • 变量类型
  • 位置变量
  • 状态变量
  • 替换和删除
  • 变量补充
  • 变量运算
  • 小节总结
• 三、相关脚本面试题
  • 统计history的top10
  • 备份
  • 内存用量报警
  • 取各种值
  • 无聊的题目
  • 反复更名

我叫张贺，贪财好色。一名合格的LINUX运维工程师，专注于LINUX的学习和研究，曾负责某中型企业的网站运维工作，爱好佛学和跑步。

个人博客：传送阵

笔者微信：zhanghe15069028807，非诚勿扰。

一、shell基础

书写规范

1. 脚本要放在同一个目录里面：/server/scripts
2. 开头加解释器
3. 脚本的注释尽量全面：作者、用途、创建时间，联系方式
4. 尽量全部使用英文，逼格整的高高的。
5. 成对的符号，成对的格式一次性写完。

引号

双引号：会翻译变量

单引号：所见即所得

反引号：赋值命令的结果，而不是赋值命令，可用$()代替。

//这脚本执行为空
[root@nginx tmp]# vim test.sh
#!/bin/bash
start=`systemctl start nginx`   #这里用的是反引号，这条命令执行的结果就是空的，start也是空的。
$start                          

//这样才正常
[root@nginx tmp]# vim test.sh
#!/bin/bash
start='systemctl start nginx'  #这里用的单引号，是把内容赋值给start
$star

配置文件

其实我们只要记住四个文件的启动顺序即可。

/etc/profile

~/.profile

~/.bashrc

/etc/bashrc

read交互

//ip探测脚本

[root@nginx tmp]# cat ping.sh
#!/bin/bash
read -p "Please IP: " IP
ping -c 1 -W 1 $IP &>/dev/null   #ping一个包，等待1秒
if [ $? -eq 0 ];then
	echo "$IP is active!"
else
	echo "$IP is down!"
fi

使用read命令写一个脚本修改主机名和IP地址，提示用户输入主机名称和IP，询问用户是否确认此操作，然后执行。

[root@nginx tmp]# vim ChangeNetworkConfig.sh 

#!/bin/bash
read -p "请输入IP地址：" IP
read -p "请输出主机名：" HOST

read -p "确定更改吗？yes or no: " I
if [ $I ==  no ];then
        exit 1
elif [ $I == yes ];then
        sed -i "/IPADDR/cIPADDR=$IP" /etc/sysconfig/network-scripts/ifcfg-eth0
        echo "$HOST" > /etc/hostname
else
        echo "please input yes or no!"
        exit 2
fi

脚本调式

sh -x 脚本名

小节总结

这一小节内容比较简单。

首先讲的就是脚本的书写规范，主要是帮我们减少书写时出错的机率、提高编写效率，养成好的习惯。

然后就是三种引号：双引号会解析变量的内容、单引号所见即所得、反引号和$()的效果相同，用于命令结果赋值。

再然后就是四个常见的配置文件，启动顺序是：/etc/profile、_/.profile、/.bashrc、/etc/bashrc

最后就是要记住read交互的格式：read -p "要提示的的内容" 变量名

二、变量

变量类型

变量就是一堆内容，用一个名字来代替，简单至极嘛！没啥好说的。

变量分为：环境变量、普通变量。普通变量当前shell生效，环境变量子shell也会继承，如下所示：

//普通变量
[root@nginx ~]# zh=zhanghe
[root@nginx ~]# echo $zh
zhanghe
[root@nginx ~]# bash
[root@nginx ~]# echo $zh  #结果为空

//环境变量
[root@nginx ~]# export zh=zhzhanghe
[root@nginx ~]# bash
[root@nginx ~]# echo $zh
zhzhanghe

注意：当执行shell脚本时，默认就是打开了一个新的shell,这个新的shell是当前shell的子shell.

假设脚本里面现在有一个普通变量zh=zhanghe，无论将其以脚本的方式运行还是用当前shell读取它，zh变量都不会在当前的shell里面生效。那脚本里面如果是环境变量：export zh=zhanghe，那这个脚本执行完成后，当前的shell是否有zh这个环境变量？肯定也不会有。因为变量只会向下继承，而不会向上继承，当前的shell是脚本执行用到shell的父shell.

那么怎样才能继承shell脚本里面的变量呢？通过source命令重读脚本即可，这个source就相当于在当前的shell里面执行一遍。

[root@nginx tmp]# cat test.sh
#!/bin/bash
user=hehe
[root@nginx tmp]# /bin/bash test.sh
[root@nginx tmp]# echo $user    #执行结果为空

[root@nginx tmp]# source test.sh   #重读
[root@nginx tmp]# echo $user       #当前sehll生效
hehe
[root@nginx tmp]# bash
[root@nginx tmp]# echo $user       #再打开一个子shell又失效了，因为这是普通变量

//再来试一试环境变量
[root@nginx tmp]# cat test.sh
#!/bin/bash
export user=hehe
[root@nginx tmp]# ./test.sh
[root@nginx tmp]# echo $user

[root@nginx tmp]# source test.sh
[root@nginx tmp]# echo $user
hehe
[root@nginx tmp]# bash
[root@nginx tmp]# echo $user  #当前shell和子shell都生效。
hehe

位置变量

$0获取当前执行脚本的文件名、如果执行脚本带路径，就包括脚本路径

[root@nginx tmp]# cat test.sh
#!/bin/bash
echo $0
[root@nginx tmp]# ./test.sh
./test.sh
[root@nginx tmp]# /tmp/test.sh
/tmp/test.sh

[root@nginx tmp]# basename /tmp/test.sh
test.sh

$n获取当前执行的第n个参数值

[root@nginx tmp]# cat test.sh
#!/bin/bash
echo $9
[root@nginx tmp]# ./test.sh 1 2 3 4 5 6 7 8 9
9

$#获取当前脚本后面接的参数的总个数

[root@nginx tmp]# cat test.sh
#!/bin/bash
if [ $# -ne 2 ];then
	echo "usage:需要两个参数"
	exit 2
fi
echo "succeeful!"
[root@nginx tmp]# ./test.sh 1
usage:需要两个参数
[root@nginx tmp]# ./test.sh 1 2
succeeful!

$*获取当前脚本后面则的所有参数，不加引号与$@相同，如果加 上双引号，则表示将所有的参数视为单个字符串，相当于$1$2$3

"$@"获取当前脚本所有的参数，不加引号同$*，加上双引号则表示的所有参数视为不同的独立字符串。

[root@nginx ~]# set -- zhanghe zhangjia zhangwei
[root@nginx ~]# for i in "$@";do echo $i;done
zhanghe
zhangjia
zhangwei
[root@nginx ~]# for i in "$*";do echo $i;done
zhanghe zhangjia zhangwei

状态变量

$？获取上一个命令是否执行成功

$$获取当前shell脚本的pid

[root@nginx tmp]# cat ./test.sh
#!/bin/bash
echo $$
[root@nginx tmp]# ./test.sh
7632

这个变量最常见的用法是将pid定向到一个文件当中，我们再杀进程的时候就不用再通过ps aux过滤了，直接通过kill -9 <进程号>干掉即可。

$!获取上一个在后台工作脚本的进程号，比如一个脚本运行起来有问题，我们直接在当前shell中就可以kill -9 $! 干掉上一个进程。

$_获取在此之前执行命令或脚本的最后一个参数

[root@nginx tmp]# echo 1 2 3
1 2 3
[root@nginx tmp]# echo $_
3

替换和删除

从前向后删除变量内容

[root@nginx ~]# url=www.sina.com.cn    #定义变量
[root@nginx ~]# echo ${url}
www.sina.com.cn
[root@nginx ~]# echo ${url#*.}   #从前向后，最短匹配
sina.com.cn
[root@nginx ~]# echo ${url##*.}  #最前向后，最长匹配
cn

从后向前删除变量内容

[root@nginx ~]# url=www.sina.com.cn
[root@nginx ~]# echo ${url}
www.sina.com.cn
[root@nginx ~]# echo ${url%.*}  #从后向前，最短匹配
www.sina.com
[root@nginx ~]# echo ${url%%.*} #从后向前，最长匹配
www

变量替换

[root@nginx ~]# echo ${url}
www.sina.com.cn
[root@nginx ~]# echo ${url/n/N}
www.siNa.com.cn
[root@nginx ~]# echo ${url//n/N}
www.siNa.com.cN

变量补充

根据系统的时间，打印今年的时候和明年时间

[root@nginx ~]# echo "this is $(date +%Y)"
this is 2019

//这是固定的格式，$((表达式))
[root@nginx ~]# echo "this is $(($(date +%Y+1)))"
this is 2020

逼格满满的命令嵌套：找到/backup所有以.txt结尾的文件并以当前时间打包

db=$(tar -czf backup.tar.gz $(find /backup -name *.txt))

变量运算

整数运算，三种表达式expr、$(())、$[]

操作符	含义
num1+num2	加
num1+num2	减
num1*num2	乘（需要转义）
num1/num2	除
num1% num2	取余

以上这些运算只能运算整数，运算小数（也叫浮点数）就会出错。

//演示三种运算表达式和三种运算符，可以直接放数值
[root@nginx ~]# echo $((1+2))
3
[root@nginx ~]# echo $[ 1 - 2 ]
-1
[root@nginx ~]# expr 2 \* 8
16

//演示三种运算表达式，可以直接放变量
[root@nginx ~]# a=2
[root@nginx ~]# b=8
[root@nginx ~]# expr $a + $b
10
[root@nginx ~]# echo $(( $a - $b ))
-6
[root@nginx ~]# echo $[ $b / $a ]
4

//测试一下用整数运算表达式运算小数会有什么结果
[root@nginx ~]# a=1.2
[root@nginx ~]# b=2.2
[root@nginx ~]# expr $a + $b  #会报错，提示非整数参数
expr: non-integer argument

浮点运算

浮点运算就是小数运算，小数的运算要借助bc命令实现。

[root@zhanghe ~]# yum -y install bc
[root@zhanghe ~]# a=1.2
[root@zhanghe ~]# b=2.2
[root@zhanghe ~]# echo "$a + $b" | bc
3.4
[root@zhanghe ~]# echo "scale=2;6/4" | bc  #取两位小数
1.50
[root@zhanghe ~]# awk 'BEGIN{print 1/2}'  #还可以用awk的运算表达式
0.5

小节总结

这一小节就是讲变量，变量一点儿也不神秘，我们一定要记住的一个变量就是$?，我们以后写脚本的时候会经常用到。

再有就是记住变量的替换和删除，替换比较简单替换分为最短替换和最长替换，主要是记住其格式。删除了分为两种：从前向后删除和从后向前删除，每一种删除又分最短匹配和最长匹配。

最后是变量的运算，其实表达式内也可以直接放数值 ，注意，有的地方要加空格，乘号要转义。

整数运算很简单，小数运算要通过echo将数据传递到bc才可以进行浮点数的运算。

三、相关脚本面试题

统计history的top10

思路：

先列出命令历史

仅显示第二列

然后按首字母排序

统计每个命令出现的次数

再按数字的大小排序，逆序

取出排名前10的。

[root@nginx ~]# history | awk '{print $2}' | sort | uniq -c | sort -rn | head
     15 echo
     11 vim
     11 clear
     10 yum
      9 ls
      6 history
      5 cd
      4 systemctl
      4 shutdown
      4 cat

备份

每月的第一天备份并压缩/etc目录里面所有的内容，存放在/root/bak目录里面，备份完成的文件格式为：“yymmdd_etc”，脚本名称为backup.sh存放在/server/scripts目录下。

其实这个脚本写起来非常的简单，关键是思路，确认自己的写脚本的风格，推荐的"套路"是先把脚本的架构给搭起来，然后再优化脚本。

vim /server/scripts/backup.sh
#!/bin/bash
DestPath=/root/bak
[ ！-d $DestPath ] && mkdir /root/bak
tar -zcvf $DestPath/$(date +%F)_etc.tar.gz /etc/*

//写定时任务,0 0　*/1 * * 是每个月的第一天，如果是0 0 1 * * 就是每个月的一号。
crontab -e
0 0　*/1 * * /bin/bash /server/scripts/backup.sh &>/dev/null

内存用量报警

编写一个脚本，当内存用量达到80%的时候触发邮件报警。

提示：内存的用量百分比就用已经用的内存除以总大小然后乘以100.

#!/bin/bash
MEM=$(free -m | awk '/^Mem:/ {print $3/$2*100}')
if [ ${MEM%.*} -gt 80 ] ;then
        echo "current host_mem is $MEM" | mail -s "current host_mem" 746620446@qq.com
fi

取各种值

编写一个脚本，静态主机名、打印系统版本，内核版本、虚拟平台、eth0的IP，外网的IP。

#!/bin/bash
HOSTNAME=$(hostnamectl | awk '/Static hostname/ {print $3}')
SYSTEM=$(hostnamectl | awk -F: '/Operating System:/ {print $2}')
KERNEL=$(hostnamectl | awk -F: '/Kernel:/ {print $2}')
VM=$(hostnamectl | awk -F: '/Virtualization:/ {print $2}')
IP=$(ifconfig eth0 | awk '/netmask/ {print $2}')
PUB_IP=$(curl -s icanhazip.com)
echo "host_name：$HOSTNAME"
echo "system_version：$SYSTEM"
echo "kernel_version：$KERNEL"
echo “vm：$VM”
echo "IP_adress：$IP"
echo "PUB_IP: $PUB_IP"

无聊的题目

需求:变量string=“Bigdata process is Hadoop,Hadoop is open source project”，执行脚本之前打印输入string字符串的变量，并给出用户以下选项：

1）、打印string长度

2）、删除字符串所有的Hadoop

3）、替换第一个Hadoop为linux

4)、替换全部Hadoop为Linux

用户输入数据1|2|3|4，可以执行对应项的功能，退出交互模式。

#!/bin/bash
string="Bigdata process is Hadoop,Hadoop is open source project"
echo $string
cat << EOF
1).
2).
3).
4).
EOF

read -p "please input 1|2|3|4,or q|Q: " var
if [ $var -eq 1 ];then
        echo "1:lenth:${#string}"
elif [ $var -eq 2 ];then
        echo "2:${string//Hadoop}"
elif [ $var -eq 3 ];then
        echo "${string/Hadoop/Linux}"
elif [ $var -eq 4 ];then
        echo ${string//Hadoop/Linux}
fi

这个脚本其实不很不完善，我们后面会不断用多种方法写这个脚本。

反复更名

在/backup/下创建10个txt文件，找到/backup目录下所有后缀名为.txt的文件。

先批量修改txt为txt.bak

然后把所有的bak文件打包压缩为123.tar.gz

批量还原文件的名字，把新增加的.bak再删除

//第一种方法
find /backup/ -iname *.txt | sed -r 's@(.*)@\1 \1.bak@g' | bash
find czf /backup/123.tar.gz $(find /backup/ -iname *.bak)
find /backup/ -iname *.bak | sed -r 's@(.*).bak@mv \1.bak \1@g' | bash

//第二种方法
#!/bin/bash

#定义变量
T=txt
B=bak

#把backup目录下，txt结尾的文件修改成txt.bak
cd /backup && rename $T $T\.$B *.txt

#还原文件的名字
rename $T\.$B $T *.bak

for i in $(ls *.txt);do mv $i ${i%.*}.bak;done

批量改名首推rename

批量做别的事情可以使用find和sed的后向引用配合

最后才是for循环