Linux 按照第一列去重

linux环境下根据文件的某一列进行去重

momo@ubuntu:~/user/txt$ cat test.txt1 chen nihao2 chen hello3 li nimenhao4 he dajiahao5 li nimenhaomomo@ubuntu:~/user/txt$ sort -k2,2 -u test.txt1 chen nihao4 he dajiahao3 li nimenhao momo@ubuntu:~/user/txt$ cat test1.txt1 chen nihao2 chen hello3 li

linux提取第一列且删除第一行（awk函数）

如下文件所示,只想提取红框中的内容,即进行提取第一列,且去除第一行的操作则用到下列命令行: awk 'NR == 1 {next} {print $1}' file.txt > file_col1.txt #NR==1指的是不打印第一行,print $1指的是打印第一列得到如下图:

awk批量处理文件，对第一列去重并，累加第二列数值，打印一二列存入新文件

awk '{if(NR>1)a[$1]+=$2}END{for(i in a)printf "%s\t %d\n",i,a[i]}' querylog* > total.txt

删除文件的第一列 -Linux

删除文件 text中第一列方式一 awk '{$1="";print $0}' text 方式二 sed -e 's/[^ ]* //' text

linux shell文件合并去重分割

1,合并+去重+分割转载:shell 文件合并,去重,分割 - kakaisgood - 博客园 (cnblogs.com) 第一:两个文件的交集,并集前提条件:每个文件中不得有重复行1. 取出两个文件的并集(重复的行只保留一份)2. 取出两个文件的交集(只留下同时存在于两个文件中的文件)3. 删除交集,留下其他的行1. cat file1 file2 | sort | uniq > file32. cat file1 file2 | sort | uniq -d > file33. cat

linux sort 多列正排序，倒排序

转载:https://segmentfault.com/a/1190000005713784 sort是在Linux里非常常用的一个命令,管排序 sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出. 使用方法:sort [选项]... [文件]... 长选项必须用的參数在使用短选项时也是必须的.顺序选项: -b, --ignore-leading-blanks ignore leading blanks -d, --dicti

(linux shell)第一章--小试牛刀(下)

文章来源: (linux shell)第一章--小试牛刀(下) 1.6 数组和关联数组 1.6.1 预备知识 Bash同一时候支持普通数组和关联数组.普通数组仅仅能使用整数作为数组索引,而关联数组能够使用字符串作为数组索引.关联数组在非常多操作中相当实用. 1.6.2 实战演练定义数组的方法有非常多,能够在单行中使用一列值来定义一个数组: array_var=(1,2,3,4,5,6) #这些值将会存储在以0为起始索引的连续位置上另外.还能够将数组定义成一组索引-值: array_var

awk删除文件第一列

awk删除文件第一列 1.采用awk awk '{$1="";print $0}' file 2.采用sed sed -e 's/[^]* //' file sort -R file 随机排列文件

[问题2014A01] 解答一（第一列拆分法，由张钧瑞同学提供）

[问题2014A01] 解答一(第一列拆分法,由张钧瑞同学提供) (1) 当 $a=0$ 时,这是高代书复习题一第 33 题,可用升阶法和 Vander Monde 行列式来求解,其结果为 \[|A|=\prod_{1\leq i<j\leq n}(x_j-x_i)\Big(\sum_{i=1}^nx_1\cdots\hat{x}_i\cdots x_n\Big),\] 其中 $\hat{x}_i$ 表示 $x_i$ 不在其中. (2) 当 $a\neq 0$ 时,我们有 \

(转)supertable像excel那样固定table的表头和第一列

<!DOCTYPE HTML> <html> <head> <meta charset="utf-8"/> <title>像excel那样固定table的表头和第一列</title> <style type="text/css"> .left,.right{float: left;height: 297px;background-color: #ccc;} #left_topic{h

C# Listview 第一列不能居中

/********************************************************************** * C# Listview 第一列不能居中 * 说明: * 在进行Listview布局的时候,发现第一列不能居中,最后发现本来就是 * 这样,解决办法是将第一列宽度设为0,从第二列开始使用. * * 2016-12-8 深圳南山平山村曾剑锋 *******************************************************

(linux shell)第一章--小试牛刀(上)

来源:(linux shell)第一章--小试牛刀(上) 从今天開始,我们一起来学习<linux shell脚本攻略>这本书. 1.1简单介绍 shell脚本一般是一个以#!起始的文本文件,例如以下所看到的: #!/bin/bash 有两种运行shell脚本的方式,分别例如以下: sh script.sh 或者./script.sh 可是在运行脚本曾经,我们须要给脚本运行权限才行,不然脚本无法运行 chmod a+x script.sh 在命令中行中,假设须要同一时候运行多个命令,能够使用 c

jquery中table里面的tr里的input添加一行，并且第一列autoincrement

实现添加一行并且第一列由A0开始autoincrement,代码如下(在文件的同一个文件夹下添加一个jquery.js文件): <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"> <html> <head> <meta http-equiv="Content-Ty

利用jquery表格添加一行并在每行第一列大写字母显示实现方法

表格添加一行并在每行第一列大写字母显示jquery实现方法 <!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd"><html><head><meta http-equiv="Content-Type" content="text/html; cha

word中表格第一列序号的设置

表格中序号问题 1.新建一个表格.第一列选择编号后,编号后有tab,如下图 2.选中表格的编号,点击新建列表样式, 3.将编号后的字符改成nothing,在将单元格改成居中即可 4.在将单元格改成居中即可

学习excel的使用技巧复制一列文本成新列去重

学习excel的使用技巧复制一列文本成新列去重其实比较简单的技巧知道了就会不知道就比较麻烦直接复制到一列找到数据选项删除重复项

如何在EXCEL中找出第一列中不包含的第二列数据

1.找出第一列中不包含的第二列数据:=IFERROR(VLOOKUP(A:A,B:B,1,0),"无") 2.A列相同,B列相加:＝SUMIF(G:G,G1,J:J)

data.frame类型数据如何将第一列值替换为行号

data.frame类型数据如何将第一列值替换为行号 row.names(data) <- data[, 1]data <- data[, -1]

【awk】提取文件第一列

生信数据文件一般是按列分开的,如果我们只想简单的提取一列而不是费尽周折写个程序提取哪一列的话,awk作为一个非常好用的文档处理工具,我们现在来简单看一下他的一些功能: awk '{print $1}' ./Input.txt > ./out.txt 这里' '中是要输出的表达式,$1代表第一列,Input.txt是输入文件. awk '{print $1,$2}' 提取前两列. 提取之后的文件就可以用sort等命令进行操作: sort ./out.txt | uniq out 排序并删除重复行.

java poi excel操作把第一列放到最后去

@Override public void adjustExcleColumnPosition(String filePath,int col) throws Exception{ File file=new File(filePath); InputStream inputStream=new FileInputStream(file); HSSFWorkbook workBook=new HSSFWorkbook(inputStream); HSSFSheet firstSheet=work

linux提取指定列字符并打印所有内容（awk）

假设有文件长如下样子: CHROM POS ID REF ALT QUAL FILTER INFO FORMAT samplename 1 3552841 . G . 32.995 . DP=1;MQ0F=0;AF1=0;AC1=0;DP4=1,0,0,0;MQ=40;FQ=-29.9912 GT:PL:DP 0/0:0:1 1 3552842 . T . 32.995 . DP=1;MQ0F=0;AF1=0;AC1=0;DP4=1,0,0,0

Linux 按照第一列去重

热门专题