shell关于文件操作

一、如何将一个十进制的整数用2进制表示出来？

echo "obase=2;50" | bc

二、Linux下经常需要删除空白行，grep，sed，awk，tr等工具均可实现　

grep -v '^$' filename
sed '/^$/d' filename
awk '{if($0!="") print $0}' filename
tr -s '\n' < filename

三、shell中if 判断语句中的匹配模式

　=~　表示匹配

if [[ $slave =~ "140$" ]]
then
    echo "end with 140"
fi

四、awk中split的用法

　有一个文件存在两域，第一域是基因名字，第二域是别名，别名存在多个，以|分割，要求将基因名和别名一一对应，如将下图转换成下下图的结果

　　

awk -F"\t" -v OFS="\t" '{if($2~/\|/){len=split($2,a,"|");for(i=1;i<=len;i++)print $1,a[i]}else print $0}' input > result
#~表示第二域匹配到|，按|分割保存到数组a
#split()返回a的长度，并遍历a
#else未匹配到|则直接输出

 五、join对两个文件相同域进行合并操作

　现在有两个文件，其中两个文件有部分相同的域，如何筛选出这些域相同的记录，如A，B文件如下图：

　从上可以看出两个文件前四行有相同的域，那么我想把这些相同域的记录筛选出来，即前四行筛选出来，该怎么做呢？注意：join操作必须按指定的域进行排过序

join -1 1 -2 4 file_one file_two
'''
1:3113245|3144862 intergenic_region 1 3113245 3144862
1:3121377|3144862 intergenic_region 1 3121377 3144862
1:3404029|3404480 intron 1 3404029 3404480
1:3420575|3421901 intron 1 3420575 3421901
'''

#-1和-2指定连接的域

join -1 4 -2 1 two one
'''
1:3113245|3144862 1 3113245 3144862 intergenic_region
1:3121377|3144862 1 3121377 3144862 intergenic_region
1:3404029|3404480 1 3404029 3404480 intron
1:3420575|3421901 1 3420575 3421901 intron
'''

六、有两个关键词，如何将这两个关键词之间的行打印出来？

: comment
file:
1
2
3
3
4
5
6
7
7
8
9
10
comment

#将3和7之间的行打印出来
awk '/3/,/7/{print $0}' file
'''
3
3
4
5
6
7
'''
#可见将3和7之间的行一块儿打印出来了，其中3有2行，7只打印出一行
#如果不想打印出3和7关键词行
awk '/3/,/7/{if(i>1)print x;x=$0;i++}' file
'''
3
4
5
6
'''

awk '/3/,/7/{if(i>2)print x;x=$0;i++}' file
'''
4
5
6
'''

七、awk中substr()函数使用

　substr()：截取字符串，返回从起始位置起，指定长度之子字符串；若未指定长度，则返回从起始位置到字符串末尾的子字符串。

　格式：

　　substr(s,p) 返回字符串s中从p开始的后缀部分

　　substr(s,p,n) 返回字符串s中从p开始长度为n的后缀部分

#将fastq转换为fasta
awk '{if(NR%4 == 1){print ">" substr($0, 2)}}{if(NR%4 == 2){print}}' fastq > fasta

八、有一文件

　如何根据红框中的值是否相同，将两行或者多行变成一行，GENE_ID列按逗号分隔，结果如下：

awk -F"GENE_ID=" 'BEGIN{tem=0}{split($2,array,";"); if($1!=tem){printf("\n%sGENE_ID=%s",$1,array[1]);tem=$1}else{printf(",%s",array[1])}}' paragon | sed '/^$/d'

#coding=utf-8
import sys
in_file = sys.argv[1]
#需要保存上一行的name和line
#注意输入文件bed要先排序：sort -V your_bed
name_before = ''
line_before = ''
with open(in_file) as f1:
        for eachline in f1:
                array = eachline.strip().split('\t')
                if array[3] != name_before:
                        if line_before:
                                print line_before
                        gene_id = array[-1].strip().split(';')[0]
                        new_line = '\t'.join((array[0:-1] +  [gene_id]))
                        name_before = array[3]
                        line_before = new_line

                else:
                        gene_id = array[-1].strip().split(';')[0].split('=')[-1]
                        line_before = line_before + ',' + gene_id

        #print the last line
        print line_before

 九、如何提取字符串中的数字部分

　如执行上面的命令，想提取其中的数字部分：

pstree -Ap |  tr -cd "[0-9])" | sed 's/)/\n/g' | less

　-d表示删除，[0-9]表示所有数字，-c表示对条件取反，所以tr -cd "[0-9]"这句话的意思就是，剔除非数字的字符

十、一个文件vim编辑中文显示正常，more或者less显示乱码

　执行下面的命令试试：

cat data_20190306.csv | iconv -f GBK -t UTF-8 > data_20190306_new.csv

　如果vi中文乱码：

vi ~/.vimrc
#添加:set fileencodings=utf-8,gbk

　如果使用python打开文件报UnicodeDecodeError错误，则可以再linux下使用file命令，查看文件编码格式，然后open时候指定encoding参数，如：

Little-endian UTF-16 Unicode text, with CRLF, CR line terminators

说明文件是utf-16编码，并且是\n\r换行

十一、windows文件转换unix文件

　vi一个文件：

set ff?     #显示当前文件格式
set ff=unix     #设置成unix格式
set ff=dos #设置成dos格式

　或者dos2unix命令，但是得先安装