Shell简易学习练习

1.Linux Shell入门

Quiz 1 一个接受命令行参数的shell脚本

任务 编写一个shell脚本1.sh，这个脚本接受一个命令行参数，并把这个参数打印两次到标准输出。 如果输入没有参数输入或者有多于一个参数输入，输出"error"。

if [ $# != 1 ] ; then
	echo "error"
else
	echo $1$1
fi

Quiz 2 生成时间相关文件夹

任务 编写一个shell脚本2.sh，无论脚本在任何位置用绝对路径执行都能完成这样的任务，在脚本2.sh所在目录新建一个空文件tmp_YYYYMMDD YYYYMMDD为当前日期

a=`date +%Y%m%d`
b="tmp_"$a
touch $b

2.学习Grep

题目
你需要用grep脚本(或者用grep和其他shell命令配合)实现如下一些功能
任务

Quiz 1

请完成脚本1.sh，统计文件中的空行个数并输出
数据 1.dat

grep -c "^$" 1.dat

Quiz 2

任务 请完成脚本2.sh，统计文件中不包含".txt"的行的行数并输出

数据 2.dat

grep -c -v "[.]txt" 2.dat

Quiz 3

任务 请完成脚本3.sh，求两个文件的差集(3a.txt-3b.txt)并排序输出到标准io中

数据 3a.dat,3b.dat

grep -F -v -f 3a.dat 3b.dat | sort | uniq
grep -F -v -f 3b.dat 3a.dat | sort | uniq

Quiz 4
任务 在log文件中，有表示各轮迭代模型性能的报告（如下所示），

Total:      P=0.97198463(7841/8067) R=0.97914585(7841/8008) F=0.97555210

请将他们提取出来，并以如下格式输出。

P=0.97 R=0.98 F=0.98

for LINE in `grep "^* Total:" 4.dat`
do
	if [[ $LINE == "P="* ]];then
	p=${LINE:0:6}
fi
	if [[ $LINE == "R="* ]];then
	r=${LINE:0:6}
fi
	if [[ $LINE == "F="* ]];then
	f=${LINE:0:6}
fi
	# the new line parameter is -e,the other is -n
	if [[ $p == "P="* ]] && [[ $r == "R="* ]] && [[ $f == "F="* ]];then
	echo -n $p
	echo -n "  "
	echo -n $r
	echo -n "  "
	echo -n $f
	echo ""
	p=""
	r=""
	f=""
fi
done

3.学习Awk

Quiz1：输出一个文件所有的偶数行，数据1.dat

awk 'NR%2==0' 1.dat

Quiz2: 对于一个保存单词 频率的文件，要同时计算它的累积频率，并将它填在第三列。 举例如下，输入文件是

the 100
i 50
is 45
...

输出文件是：

the 100 100
i 50 150
is 45 195
...

i=1
THIRD=0
for ID in $(cat 2.dat)
do
	NUM=$i
	FIRST=$(awk 'NR=='$NUM' {print $1}' 2.dat)
	SECOND=$(awk 'NR=='$NUM' {print $2}' 2.dat)
	THIRD=$((THIRD+SECOND))
	echo -n $FIRST
	echo -n "  "
	echo -n $SECOND
	echo -n "  "
	echo -n $THIRD
	echo ""
	i=$((i+1))
done

Quiz3:读入一个包含词性的文件，从中提取出原始句子。 输入文件格式：

石家庄_ns 空气_n 污染_vn 排_v 第一_m
潘石屹_ns 遭遇_v 被_p 代言_n
...

输出文件：

石家庄空气污染排第一
潘石屹遭遇被代言
...

sed 's/[ _a-zA-Z ]//g' 3.dat

4.学习Sed

Quize 1
任务 去掉文件中的空行
数据1.dat

sed '/^$/d' 1.dat

Quiz 2

任务某个文件包含三列，第三列是文本，但是文本被'扩了起来，请用提取出这一列并去掉开头和结尾的'符号。

数据2.dat

sed "s/.*[ \t]\{1,\}'//;s/'//" 2.dat

Quiz 3 Sed批量去拓展名

请用sed和for配合，将文件名的后缀.raw去掉

#delete file's extension
for file in `ls`; do mv $file `echo $file | sed 's/\.raw$//'`; done
#add file's extension
#for file in `ls`; do mv $file `echo $file | sed 's/$/\.raw//'`; done

5.Sort

Question:
Find out the most frequency 100 queries from the query log 有用户日志文件，每行记录了一个用户查询串，长度为1-255字节，共1千万行，请排出查询最多的前100条。

#!/bin/bash
file=query_log.txt
line=100
cat $file|
tr -cs  "\n" |
    tr A-Z a-z |
        sort |
            uniq -c |
                sort -k1nr -k2 |
                    head -n$line