Linux基础篇–shell脚本编程基础

本章内容概要
 编程基础
 脚本基本格式
 变量
 运算
 条件测试

 配置用户环境

7.1 编程基础
程序：指令+数据
程序编程风格：
  过程式：以指令为中心，数据服务于指令
  对象式：以数据为中心，指令服务于数据
shell程序：提供了编程能力，解释执行

7.1.1 程序的执行方式
计算机：运行二进制指令
编程语言：
  低级：汇编
  高级：
   编译：高级语言–>编译器–>目标代码
    如:java,c#
   解释：高级语言–>解释器–>机器代码
    如：shell,perl,python

7.1.2 编程基本概念
编程逻辑处理方式：
  顺序执行
  循环执行
  选择执行
shell编程：过程式
  编程语言的基本结构：
   各种系统命令的组合
   数据存储：变量、数组
   表达式：a+b
   语句：if

7.2 脚本基本格式

7.2.1 shell脚本基础
shell脚本：
  包含一些命令或生命，并符合一定格式的文本文件
格式要求：首行shebang机制
  #!/bin/bash    使用shell编程
  #!/bin/bin/python 使用python语言编程
  #!/usr/bin/perl  使用perl语言编程
shell脚本的用途：
 * 自动化常用命令
 * 执行系统管理和故障排除
 * 创建简单的应用程序
 * 处理文本或文件

7.2.2 创建shell脚本
第一步：使用文本编辑器来创建文本文件
 * 第一行必须包括shell声明序列：#!
  #!/bin/bash
 * 添加注释
  注释以#开头
第二步：运行脚本
 * 给予执行权限，在命令行上指定脚本的绝对或相对路径
 * 直接运行解释器，将脚本作为解释器程序的参数运行
7.2.3 脚本规范
脚本代码开头约定
 1、第一行一般为调用使用的语言
 2、程序名，避免更改文件名为无法找到正确的文件
 3、版本号
 4、更改后的时间
 5、作者相关信息
 6、该程序的作用，及注意事项
 7、最后是各版本的更新简要说明

7.2.4 脚本的基本结构
脚本的基本结构
#!SHEBANG shebang机制
CONFIGURATION_VARIABLES 配置变量
FUNCTION_DEFINITIONS 函数定义
MAIN_CODE 主要程序代码

示例：

#!/bin/bash
# ------------------------------------------
# Filename: hello.sh
# Revision: 1.1
# Date: 2017/06/01
# Author: wang
# Email: wang@gmail.com
# Website: www.magedu.com
# Description: This is the first script
# ------------------------------------------
# Copyright: 2017 wang
# License: GPL
echo “hello world

7.2.5 脚本调试
执行一个脚本
 首先要给文件赋予执行（x）权限
 其次要把脚本加入PATH变量路径中
 或者直接写出脚本的绝对路径或相对路径
 或者source(.) /path/to/some_script
* 检测脚本中的语法错误
  bash -n /path/to/some_script
* 调试执行
  bash -x /path/to/some_script
练习：
1、显示hello world

#!/bin/bash
echo "hello world"

7.3 变量
变量：命名的内存空间
  数据存储方式：
  字符：
  数值：整型，浮点型
变量：变量类型
  作用：
   1、数据存储格式
   2、参与的运算
   3、表示的数据范围
  类型：
   字符
   数值：整型、浮点型
   强类型：变量不经过强制转换，它永远是这个数据类型，不允许隐式的类型转换。一般定义变量时必须指定类型、参与运算必须符合类型要求；调用未声明变量会产生错误
    如：java，c#
   弱类型：语言的运行时会隐式做数据类型转换。无须指定类型，默认均为字符型；参与运算会自动进行隐式类型转换；变量无须事先定义可直接调用
    如：bash 不支持浮点数(即小数)，php
变量命名法则：
  1、不能使程序中的保留字：例如if, for
  2、只能使用数字、字母及下划线，且不能以数字开头
  3、见名知义
  4、统一命名规则：驼峰命名法（包括小驼峰和大驼峰）
   如：studentName；小驼峰命名，第一个单词首字母不大写，后续单词首字母全部大写
     StudentName;大驼峰命名，第一个单词首字母大写，后续单词首字母全部大写

7.3.1 bash中变量的种类
根据变量的生效范围等标准划分下面变量类型：
  局部变量：生效范围为当前shell进程；对当前shell之外的其它shell进程，包括当前shell的子shell进程均无效
  环境（全局）变量：生效范围为当前shell进程及其子进程
  本地变量：生效范围为当前shell进程中某代码片断，通常指函数
  只读变量：该变量只读，不能被删除，用于某些重要不能被删除的变量
  位置变量：$1, $2, …来表示，用于让脚本在脚本代码中调用通过命令行传递给它的参数
  特殊变量：$?, $0, $*, $@, $#,$$
局部变量
  生效范围为当前shell进程；对当前shell之外的其它shell进程，包括当前shell的子shell进程均无效
* 变量赋值：name=’value’,赋予的值要用’ ‘括起来
* 可以使用引用value：
  (1) 可以是直接字串; name=“root”
  (2) 变量引用：name=”$USER”
  (3) 命令引用：name=`COMMAND` name=$(COMMAND)

知识小扩展：
title=”ceo”;name=$title
echo $name;结果显示为ceo
如果把title=boss；那么echo \$name;结果显示还是ceo
因为把title=boss，就是另外开辟一个内存空间存放boss；
而name仍然指向ceo，因此当title更改赋值内容，name的赋值内容不变
* 变量引用：\${name} \$name
  ” “：弱引用，其中的变量引用会被替换为变量值
  ’ ‘：强引用，其中的变量引用不会被替换为变量值，而保持原字符串
* 显示已定义的所有变量：set

* 删除变量：unset
练习：
1、显示系统信息（包括操作系统版本、内核版本、cpu型号、内存大小、硬盘大小、ip地址、用户名、主机名）

#!/bin/bash
echo "os version is:^[[1;31m `cat /etc/centos-release`^[[m"
#^[[1;31m ^[[m 是给输出结果添加颜色
echo "kernel version is^[[1;31m `uname -r`^[[m"
echo "cpu type is ^[[1;31m`lscpu |grep -s "Model name"|tr -s " " |cut -d: -f2`^[[m"
echo "^[[1;31m`cat /proc/meminfo |head -n1`^[[m"
echo "Disk:^[[1;31m`lsblk |grep "^sd"|tr -s " "|cut -d" " -f1,4`^[[m"
echo "Network ip: ^[[1;31m`ifconfig ens33 |grep -w "inet"|grep -Eo '([0-9]{1,3}\.){3}[ 0-9]{1,3}'|head -n1`^[[m"
echo "My username is ^[[1;31m$USER^[[m"
echo "My hostname is ^[[1;31m`hostname`^[[m"

2、编写脚本/root/bin/backup.sh，可实现每日将/etc/目录备份到/root/etcYYYY-mm-dd中

#!/bin/bash
cp -a /etc/ /root/etc`date "+%F"`

3、编写脚本/root/bin/disk.sh,显示当前硬盘分区中空间利用率最大的值

#!/bin/bash
df |grep "/dev/sd" |tr -s " " %|cut -d% -f5|sort -nr|head -n1

4、编写脚本/root/bin/links.sh,显示正连接本主机的每个远程主机的IPv4地址和连接数，并按连接数从大到小排序

#!/bin/bash
netstat -nt |tr -s " " :|cut -d: -f6 |sort|uniq -c |sort -nr

环境(全局)变量
  生效范围为当前shell进程及其子进程
* 变量声明、赋值:
  export name=VAULE
  declare -x name=VALUE
* 变量引用：$name,${name}
显示所有环境变量：
  env
  printenv
  export
  declare -x
* 删除变量：unset name

知识小扩展：
使用source . bash /path/to/some_script，可以使脚本立即生效
这三者的区别是：
bash /path/to/some_script
  调试脚本时，开启子进程运行脚本，不影响当前进程的环境变量（一般情况下，不使用source命令启用脚本）
source 脚本（相当于. 脚本）
  在当前进程中运行脚本（更改配置文件时，使用该命令），会对当前的变量产生影响。
  如果脚本运行完毕以后，对当前运行环境产生影响，这些改变会持续下去，除非手动更改回来，因此一般情况下，不推荐使用source(.)
* bash内建的环境变量：
 PATH、SHELL、USER、UID、HOME、PWD、SHLVL、LANG、MAIL、HOSTNAME、HISTSIZE、-

只读和位置变量
* 只读变量
 * 声明只读变量：
  readonly name
  declare -r name
 * 查看只读变量：
  readonly -p或declare -r
* 位置变量
  $1, $2, …：对应第1、第2等参数，shift [n]换位置
  $0: 命令本身
  $*: 传递给脚本的所有参数，全部参数合为一个字符串
  $@: 传递给脚本的所有参数，每个参数为独立字符串
  $#: 传递给脚本的参数的个数
    $@ $* 只在被双引号包起来的时候才会有差异
  set – 清空所有位置变量
当位置变量参数数量达到10以上$后面的变量需要用{}括起来，否则第10个以后的变量会被当成两个参数，如$10会被当成$1和0

7.3.2 退出状态
进程使用退出状态来报告成功或失败
 * 代表成功，1-255代表失败
 * $?保存最近的命令退出状态，使用echo $?查看退出状态值
示例：
ping -c1 -W1 hostdown &> /dev/null
echo $?
练习
1、创建用户 设置初始口令magedu 并且初次登录提醒更改口令

#!/bin/bash
useradd $1
echo magedu |passwd --stdin $1 >> /dev/null
echo "password is changed"
passwd -e $1 >> /dev/null
echo "please change password"

2、创建模板；并且输入什么，就创建以什么为名字的模板，并且给自己加执行权限，进入文件后，光标自动放在最后一行

#!/bin/bash
#Date:2018-08-02
name=yuandangsheng
qq=957464230
cat > $1 <<EOF
#!/bin/bash
#Author: $name
#QQ: $qq
#Date: `date "+%F %T"`
#Filename $1
#URL http://www.magedu.com

EOF
chmod a+x $1
vim + $1

 退出状态码
* bash自定义退出状态码
exit [n]：自定义退出状态码
注意：脚本中一旦遇到exit命令，脚本会立即终止；终止退出状态取决于exit命令后面的数字
注意：如果未给脚本指定退出状态码，整个脚本的退出状态码取决于脚本中执行的最后一条命令的状态码

7.4 算术运算
bash中的算术运算：help let（查看let用法帮助）
  +, -, *, /, %取模（取余）, **（乘方）
  实现算术运算：
  (1) let var=算术表达式
  (2) var=$[算术表达式]
  (3) var=$((算术表达式))
  (4) var=$(expr arg1 arg2 arg3 …)
  (5) declare –i var = 数值
  (6) echo ‘算术表达式’ | bc
乘法符号有些场景需要转移，如*
bash有内建的随机数生成器：$RANDOM(0-32767)
 echo $[$RANDOM%50] ：0-49之间随机数(50%是指50取余，余数为0-49)
赋值
* 增强型赋值：
  +=,-=,*=,/=,%=
* let varPOERvalue
  例如：let count+=3 自加3后自赋值
*自增，自减：
  let var+=1
  let var++
  let var-=1
  let var–

练习
1、编写脚本/root/bin/sumid.sh，计算/etc/passwd文件中的第10个用户和第20用户的ID之和

#!/bin/bash
uid10=`cat /etc/passwd |head -n10 |tail -n1|cut -d: -f3`
uid20=`cat /etc/passwd |head -n20 |tail -n1|cut -d: -f3`
echo $[uid10+uid20]

2、编写脚本/root/bin/sumspace.sh，传递两个文件路径作为参数给脚本，计算这两个文件中所有空白行之和

#!/bin/bash
space1=`grep "^[[:space:]]*$" $1 |wc -l`
space2=`grep "^[[:space:]]*$" $2 |wc -l`
echo "sumspace is $[ $space1+$space2 ]"

3、编写脚本/root/bin/sumfile.sh,统计/etc, /var, /usr目录中共有多少个一级子目录和文件

#!/bin/bash
file1=`tree -L 1 $1 | wc -l`
file2=`tree -L 1 $2 | wc -l`
file3=`tree -L 1 $3 | wc -l`
echo "sumfile is $[ $file1+$file2+$file3]"

7.4.1 逻辑运算
真（true） 表达为1
假（false） 表达为0
与运算
  1 与 1 = 1
  1 与 0 = 0
  0 与 1 = 0
  0 与 0 = 0
总结：(后面的值)和1相与，保留原值；和0相与，结果都为0
或运算
  1 或 1 = 1
  1 或 0 = 1
  0 或 1 = 1
  0 或 0 = 0
总结：(后面的值)和1相或，结果都为1；和0相或，保留原值
非运算
  ! 1 = 0
  ! 0 = 1
短路运算
短路与
  第一个为0，结果必定为0
  第一个为1，第二个必须要参与运算
短路或
  第一个为1，结果必定为1
  第一个为0，第二个必须要参与运算
异或
  异或的两个值,相同为假，不同为真
abc之间异或
a^b=c
c^a=b
c^b=a
知识扩展：a、b值互换
a=10;b=7;a=$[a^b];b=$[a^b];a=[a^b]
a=$[a^b](此时a等于a和b异或的值);
b=$[a\^b](此时b等于a\^b的值再和b异或所得到的值，应该为a原本的值
a=$[a^b](同理，a的值应该为7)
7.5 条件测试
7.5.1 条件测试
判断某需求是否满足，需要由测试机制来实现
 专用的测试表达式需要由测试命令辅助完成测试过程
评估布尔声明，以便用在条件性执行中
 若真，则返回0
 若假，则返回1
测试命令：
  test EXPRESSION
  [ EXPRESSION ]
  [[ EXPRESSION ]]
  注意：EXPRESSION前后必须有空白字符
条件性的执行操作符
* 根据退出状态而定，命令可以有条件地运行
 && 代表条件性的AND THEN
 || 代表条件性的OR ELSE
使用短路与和短路或进行条件判断
cmd1 && cmd2 || cmd3
如果cmd1成功，就执行cmd2（假设cmd2总成功）
如果cmd2失败，就执行cmd3
示例：
1、id -u $name &> /dev/null && echo $name is exist || echo $name is not exist
给变量name赋值，用户如果存在，结果为真；如果不存在，结果为假
2、ip=192.168.32.128;ping -c1 $ip &>/dev/null && echo $ip is up || echo $ip is down
ping其他ip地址，变量ip赋值的地址如果能通，则结果为ip地址is up；否则，结果为ip地址 is down
3、name=user2; id $name &> /dev/null && echo $name is exist || ( useradd \$name ; echo \$name is created )
根据用户是否存在并作出提示
练习
检查磁盘利用率是否大于80，大于80就报警，低于80不报警（可以吧节点编号也加入检测项）

#!/bin/bash
n=`df | grep "/dev/sd"|tr -s " " %|cut -d% -f5 |sort -nr |head -n1`
Inode=`df -i | grep "/dev/sd"|tr -s " " |cut -d" " -f2 |sort -nr|head -n1`
#把磁盘inode值取出
export m=80
[ $n -gt $m ] && echo `wall disk will be full`
[ $Inode -gt $m ] && echo `wall inode will be full`
#把inode值与80作比较，如果大于80就做出报警

bash的数值测试
* -v VAR
  变量VAR是否设置
* 数值测试
  -gt 是否大于
  -ge 是否大于等于
  -eq 是否等于
  -ne 是否不等于
  -lt 是否小于
  -le 是否小于等于

bash的字符串测试
  = 是否等于
  > ascii码是否大于ascii码
  < 是否小于
  != 是否不等于
  =~ 左侧字符串是否能够被右侧的PATTERN所匹配
    注意: 此表达式一般用于[[ ]]中；扩展的正则表达式
  -z “STRING“ 字符串是否为空，空为真，不空为假
  -n “STRING“ 字符串是否不空，不空为真，空为假
  注意：用于字符串比较时的用到的操作数都应该使用引号

bash的文件测试
* 存在性测试
  -a FILE：同-e
  -e FILE: 文件存在性测试，存在为真，否则为假
* 存在性及类别测试
  -b FILE：是否存在且为块设备文件
  -c FILE：是否存在且为字符设备文件
  -d FILE：是否存在且为目录文件
  -f FILE：是否存在且为普通文件
  -h FILE 或 -L FILE：存在且为符号链接文件
  -p FILE：是否存在且为命名管道文件
  -S FILE：是否存在且为套接字文件
判断文件状态
要首先判断该文件是否为软链接，然后在判断文件其他类型
如果文件是一个软链接，需要用-h或-L判断，否则会判断软链接指向的文件类型

bash的文件权限测试
* 文件权限测试
  -r FILE：是否存在且可读
  -w FILE: 是否存在且可写
  -x FILE: 是否存在且可执行
* 文件特殊权限测试
  -u FILE：是否存在且拥有suid权限
  -g FILE：是否存在且拥有sgid权限
  -k FILE：是否存在且拥有sticky权限

bash的文件属性测试
* 文件大小测试：
  -s FILE：是否存在且非空
* 文件是否打开：
  -t fd: fd 文件描述符是否在某终端已经打开
  -N FILE：文件自从上一次被读取之后是否被修改过
  -O FILE：当前有效用户是否为文件属主
  -G FILE：当前有效用户是否为文件属组
* 双目测试：
  FILE1 -ef FILE2: FILE1是否是FILE2的硬链接
  FILE1 -nt FILE2: FILE1是否新于FILE2（mtime）
  FILE1 -ot FILE2: FILE1是否旧于FILE2

bash的组合测试条件
* 第一种方式：
  COMMAND1 && COMMAND2 并且
  COMMAND1 || COMMAND2 或者
  ! COMMAND 非
  如：[[ -r FILE ]] && [[ -w FILE ]]
* 第二种方式
  EXPRESSION1 -a EXPRESSION2 并且
   -o EXPRESSION2 或者
  ! EXPRESSION
  必须使用测试命令进行
示例：
判断变量HOSTNAME非空或等于localhost.localdomain，如果满足该条件则执行localhost.localdomain命令
[ -z “$HOSTNAME” -o $HOSTNAME “==\”localhost.localdomain” ] && hostname www.magedu.com
判断/bin/cat为普通文件并且有执行权限，如果满足则执行cat /etc/fstab
[ -f /bin/cat -a -x /bin/cat ] && cat /etc/fstab
判断ip地址：如果是ip地址，则输出true，否则为false
ip=331.1.1.1;[[ “$ip” =~ ^(([0-9][1-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5]).){3}([0-9][1-9]?|1[0-9]{2}|2[0-4][0-9]|25[0-5])$ ]] && echo true ||echo false

练习
1、输入ip地址，如果存在，写入ip.conf；如果不存在，做出提醒

#!/bin/bash
read -p "please input your ipaddr:" ip
[[ "$ip" =~ ^(([1-9]?[0-9]|1[1-9]?[0-9]|2[0-4][0-9]|25[0-5])\.){3}([1-9]?[0-9]|[1-9]?[0-9]|2[0-4][0-9]|25[0-5])$ ]] && echo "IPADDR = $ip" >> ip.txt ||echo "IPADDR is not ok"

2、鸡兔同笼：假设笼中有35个头，94只脚，计算出笼中鸡和兔子各有多少只？
（输入头的数量和脚的数量，可以计算出鸡和兔子的数量）

#!/bin/bash
read -p "please input num of head:" head
[[ ! $head =~ ^[[:digit:]]+$ ]] && { echo "请输入数字";exit; }
#判断输入内容是否为数字
read -p "please input num of feet:" feet
[[ ! $head =~ ^[[:digit:]]+$ ]] && { echo "请输入数字";exit; }
#判断输入内容是否为数字
(( rabbit = $feet/2-$head )) && echo "the num of chook is $rabbit"
(( chook = $head-$rabbit )) && echo "the num of rabbit is $chook"

3、输入yes或no，如果输入的是yes或no，提示答案正确；如果输入不是yes或no，提示输入错误（要求yes可以是y，大小写混用的yes，no可以是n，也可以大小写混用）

#!/bin/bash
read -p "Please input yes or no: " answer
[[ "$answer" =~ ^[Yy]([Ee][Ss])?$ ]] && echo Your answer is YES && exit
[[ "$answer" =~ ^[Nn][Oo]?$ ]] && echo Your answer is NO && exit
echo "Your answer is false,please input yes or no

7.4.3 使用read命令来接受输入
使用read来把输入值分配给一个或多个shell变量
  -p 指定要显示的提示
  -s 静默输入，一般用于密码
  -n N 指定输入的字符长度N
  -d ‘字符’ 输入结束符
  -t N TIMEOUT为N秒
  read 从标准输入中读取值，给每个单词分配一个变量，所有剩余单词都被分配给最后一个变量
注意：-p 输入提示信息，后面要紧跟描述信息，不能跟其他选项
如： read -t 30 -p “please input your name: ” name
输入提示信息，30秒超时断开（name是一个变量，相当于read name中的$name变量）
read不支持管道复制
如：cat f1 |read x y z
可以用<<<对多个变量赋值
如：read x y z <<< “aa bb cc”
7.5 配置用户环境
7.5.1 bash的配置文件
按生效范围划分，存在两类：
 * 全局配置：
  /etc/profile
  /etc/profile.d/*.sh
  /etc/bashrc
 * 个人配置：
  ~/.bash_profile
  ~/.bashrc
shell登录两种方式
* 交互式登录（命令行界面）
  (1)直接通过终端输入账号密码登录
  (2)使用“su - UserName” 切换的用户
  执行顺序：/etc/profile –> /etc/profile.d/*.sh –> ~/.bash_profile –> ~/.bashrc –> /etc/bashrc
* 非交互式登录（图形界面）
  (1)su UserName
  (2)图形界面下打开的终端
  (3)执行脚本
  (4)任何其它的bash实例
  执行顺序： ~/.bashrc –> /etc/bashrc –> /etc/profile.d/*.sh

按功能划分，存在两类：
  profile类和bashrc类
 * profile类：为交互式登录的shell提供配置
  全局：/etc/profile, /etc/profile.d/*.sh
  个人：~/.bash_profile
  功用：
  (1) 用于定义环境变量
  (2) 运行命令或脚本
 * bashrc类：为分交互式和交互式登录的shell提供配置
  全局：/etc/bashrc
  个人：~/.bashrc
  功用：
  (1) 定义命令别名和函数
  (2) 定义本地变量
编辑配置文件生效
* 修改profile和bashrc文件后需立即生效
  两种方法:
  1重新启动shell进程
  2 . 或source（不推荐使用，全局变量生效会对当前环境产生影响）
  例:
  . ~/.bashrc

bash退出任务
* 保存在~/.bash_logout文件中
* 在退出登录shell时运行
* 用于：
 * 创建自动备份
 * 清除临时文件

$-变量
h：hashall，打开这个选项后，Shell会将命令所在的路径hash下来，避免每次都要查询。通过set +h将h选项关闭
i：interactive-comments，包含这个选项说明当前的 shell是一个交互式的 shell。所谓的交互式shell,在脚本中，i选项是关闭的。
m：monitor，打开监控模式，就可以通过Job control来控制进程的停止、继续，后台或者前台执行等。
B：braceexpand，大括号扩展
H：history，H选项打开，可以展开历史列表中的命令，可以通过!感叹号来完成，例如“!!”返回上最近的一个历史命令，“!n”返回第 n 个历史命令