Bash Shell编程简记

Shell编程简记

　　经常在linux环境下开发的同学，难免要使用shell的一些命令或者编写小的脚本，我这里也总结和整理下，自己对Shell的理解和常用的一些shell脚本。

　　按照目录分为如下3个节：

1. shell的简介和常用的两种方式
2. shell的语法，包括变量，循环，条件判断，运行终端命令
3. 我常用的一些shell

Shell简介

　　shell可以看作是一种命令脚本语言，属于解释性的语言。主要运行在linux, unix ,mac 等平台下。 具有的特点是：简单易懂，并且编写开发速度块。

语法也比较通俗易懂。

我使用shell的地方，主要是包括两个方面

第一方面：在终端里，运行简单的linux的shell命令，查看和修改配置文件，查看环境变量，解压缩和上传和下载软件，切分文件，这方面主要使用的是一些常用的linux命令。

第二方面：就是编写简单的shell脚本，比如运行spark的脚本，执行批量的下载和压缩命令等。 这里就涉及到

shell的一些语法和程序设计了，之前看shell的书籍，基于shell的程序设计，可以写一本书，我使用的主要是自己常用的一些脚本，所以比较简单。

只涉及 shell的运行，shell的注释， shell命令行参数， shell中执行终端命令，shell循环， shell条件判断语句， 以及shell的函数。这几个。下面分别介绍。

Shell的运行

shell脚本文件，一般以*.sh作为文件后缀。在文件内容中，

行首以 # 开头(除#!之外)的是注释。#!是用于指定当前脚本的解释器

一般如下所示：

 #!/bin/bash
 echo "hello world"

脚本执行：一般可以为：

　　sh  filename

　　bash  filename ;

./ filename

注意给脚本添加执行权限：chmod  +x hello.sh

Shell的基本语法

　　shell的语句，一般不需要分号； 只有一行有多个命令时，需要分号，比如：

 #!/bin/bash

  echo hello; echo there

Shell的变量

　　Shell中的变量只有两种类型，一种为字符串类型，一种为整形，不需要声明。 变量的赋值通过=赋值，如下语法：

#!/bin/bash
 a="asbc"
 b=
 echo $a
 echo $b

变量一般通过$美元符号引用， $var或者 ${var}的形式

shell中定义的变量一般作用域为全局变量，

从命令行传递到脚本的参数：$0，$1，$2，$3...$0就是脚本文件自身的名字，$1 是第一个参数，$2 是第二个参数，$3 是第三个参数

shell的条件判断和循环

　　shell中的if判断格式为：

if

then

fi

举例如：

  #!/bin/bash
   a="asbc"
   if a="asbc"
   then echo "a equals asbc"
   fi

　写的时候，一定要注意fi的结束标识符。

shell中的条件判断, 可以使用

一对方括号包含条件测试[ ] 或者 test 关键字；

需要注意的是，方括号中的内容，两边必须有空格，具体的一个例子，如下图，个人感觉用 test 关键字比较好理解一些；

 #!/bin/bash
  if [ $# -eq  ]
   then
       echo "no parameter "
   fi
   if test $# -eq
   then
     echo "use test formate no paramter "
   fi

在bash shell中对文件的判断是非常方便的， 可以使用如下的关键字：

-e  -f  -d  等。

举例如： if test -e $filename 等

对于字符串的判断，可以使用 =, == , != 等关键字符号

对于整数，可以使用 -eq -ne, -lt 等关键字

if [ "$a" -eq "$b" ]

逻辑与 操作为  -a

逻辑或， 操作为  -o

Shell 中的 循环语句

shell中的循环包括 for , while 等形式，这里只介绍 for循环的使用

for 循环形式包括如下三种形式：

#数字段形式
　

　for i in {..}
　　do
　　echo $i
　done

#详细列出（字符且项数不多）

for File in
do
    echo $File
done

#对存在的文件进行循环

for shname in `ls *.sh`
do
          name=`echo "$shname" | awk -F. '{print $1}'`
          echo $name
done

在第三种可以看到，bash shell 中可以嵌入awk的语法处理文字信息

shell中定义函数

shell函数的定义可以有两种形式，

第一种形式：

函数名(){
    command1
    command2
    ...
    commandN
    [ return value ]
}

第二种形式：

function 函数名(){
    command1
    command2
    ...
    commandN
    [ return value ]
}

具体里的一个例子：

   function traversedir(){
       for element in ` ls $ `
       do
           dir_or_file=$"/"$element
           if test -d $dir_or_file
           then
              traversedir $dir_or_file
           else
             echo $dir_or_file
         fi
          #   echo $"/"$element
       done
       for i  in {..}
       do
         echo $i
       done
  }

Shell的函数调用

函数名  参数， 举例如：

tranversedir   "/home/wang/test"

自己常用的几个Shell

1  遍历文件夹的脚本

 #!/bin/bash
 function traversedir(){
      for element in ` ls $ `
      do
          dir_or_file=$"/"$element
           if test -d $dir_or_file
           then
             traversedir $dir_or_file
          else
             echo $dir_or_file
          fi
          #   echo $"/"$element
       done
   }
 root_dir='/Users/wanggang09/exercise/helloPython'
 traversedir $root_dir

2 spark的提交脚本

#!/bin/bash
num_executor=
executor_memory=64G
src_file='hdfs://test_imei'
imei_file='hdfs:/sample_wifi_list_simular_2'
spark-submit --master yarn --deploy-mode client --py-files geohash.py  wifi_list_simular.py  $src_file $imei_file