awk 分组求和

分组求和
awk  '{s[substr($2,1,6)] += $1} END{for(i in s) {print i, s[i]/(1024*1024*1024)} }' file_to_read.txt |sort -n

这里面用到了awk的知识和字典的知识。AWK 中需要了解的就是$N 代表所读取内容的第N 列。

可能有人对字典不太了解. s={'name':'halberd'} ,这就是一个字典，是Key-value的组合。

在上面的字典示例中，key 是 'name'，value 是 'halberd'。s[name] 的值 就是 'halberd'。

返回上面的AWK示例， s[substr($2,1,6)] += $1 代表把文件 file_to_read.txt 每行中第二列的前6个字符作为 字典 s 的key 。

当substr($2,1,6) 的值第一次出现时，s[substr($2,1,6)] = $1。

当substr($2,1,6) 的值重复出现时时, s[substr($2,1,6)] += $1 代表，把$1 的值 加到 原来s[substr($2,1,6)]上，也就是s[substr($2,1,6)] = s[substr($2,1,6)] + $1。通过字典的管理方式，进行数据的求和。

file_to_read.txt 部分内容如下:

.........

1125017 20180820174000

277 20180820174000

1491471 20180820175000

663 20180820175000

1429371 20180920170000

3716506 20181020170000

21055029 20181020170000

2218546 20181020171000

4650637 20181020174000

23847465 20181020174000

5341238 20181020175000

24666314 20181020175000

1621883 20181120170000

20620952 20181120170000

1756716 20181120171000

21409188 20181120171000

23085774 20190920174000

1126625 20190920175000

24564610 20190920175000

583910 20191020170000

22511935 20191020170000

921893 20191020171000

23906308 20191020171000

629943 20191020172000

25916302 20191020172000

1063984 20191020173000

25617169 20191020173000

780478 20191020174000

................
结果示例
201808 2.50172

201809 6.61726

201810 66.528

201811 84.6913

201812 91.871

201901 115.439

201902 124.768

201903 115.127

201904 91.7492

201905 93.8242

201906 92.1708

201907 83.1374

201908 95.1076

201909 85.789

201910 80.9189

Author: halberd.lee

Created: 2019-10-28 Mon 17:30

Validate

awk 分组求和的更多相关文章

  1. Oracle函数over(),rank()over()作用及用法--分区(分组)求和& 不连续/连续排名

    (1)   函数:  over()的作用及用法:    -- 分区(分组)求和. RANK ( ) OVER ( [query_partition_clause] order_by_clause )D ...

  2. linq分组求和_实体类和datatable

    1.数据分组求合,分别用的实体类以及datatable来分组求合,还有分组求和之后的如何取值 //实体类版本 List<ProgramTimeModel> TotalAllList = G ...

  3. Oracle分析函数及常用函数： over(),rank()over()作用及用法--分区(分组)求和& 不连续/连续排名

    (1)   函数:  over()的作用及用法:    -- 分区(分组)求和. sum() over( partition by column1 order by column2 )主要用来对某个字 ...

  4. Mysql分组求和&LIMIT

    分组求和mysql> SELECT coalesce(name, '总数'), SUM(singin) as singin_count FROM employee_tbl GROUP BY na ...

  5. JDK8：Lambda根据 单个字段、多个字段，分组求和

    使用lambda表达式分别 根据 单个字段.多个字段,分组求和 示意图: 1.根据 单个字段,分组求和:根据2019这个字段,计算一个list集合里,同属于2019的某个字段累加和 2.根据 多个字段 ...

  6. 查询统计SQL分组求和使用小技巧

    我们在做查询统计时,肯定会遇到将查询结果再次分组求和这种需求,但是往往查询的sql本身就比较复杂,再使用分组函数不太可能,那么这时候我们就想到了用临时表的办法,通过联合临时表我们就可以获得想要的分组求 ...

  7. java8 stream自定义分组求和并排序

    public static void main(String[] args) { List<GroupDetailDTO> list = new ArrayList<>(); ...

  8. Excel+Python：分组求和

    Excel选中区域,排除序号.姓名等列,复制Ctrl+C. Python,import pandas as pd,读取剪切板并赋值给变量df,df.groupby('部门').sum().若要避免部门 ...

  9. Laravel/Lumen 分组求和问题 where groupBy sum

    在Laravel中使用分组求和,如果直接使用Laravel各数据库操作方法,应该会得出来如下代码式: DB::table('table_a') ->where('a','=',1) ->g ...

随机推荐

  1. C#面向对象 （访问修饰符、封装、继承、多态）

    先看一下创建一个新项目时的基本格式 using System; using System.Collections.Generic; using System.Linq; //引用的命名空间 using ...

  2. shell脚本——作业二（循环作业）

    1.通过位置变量创建linux系统账户及密码 $1 是执行脚本的第一个参数,$2 是执行脚本的第二个参数 #!/bin/bash #创建用户与密码 declare -i c=0 if [ -z $1 ...

  3. django的几种缓存配置

    前言 首先说,为什么要用缓存的,由于Django是动态网站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加明显,最简单解决方式是使用:缓存,缓存将一个某个views的返回值保存 ...

  4. Django：常用字段、手动自动第三张表单、元信息

    一.常用字段和非常用字段 二.手动,自动创建第三张表 三.元信息 四.defer和only 一.常用字段和非常用字段 -常用字段 AutoField int自增列,必须填入参数 primary_key ...

  5. web开发：javascript案例

    一.浮动与定位复习 二.小米菜单案例 三.轮播图 四.滚动轮播 一.浮动与定位复习 - 浮动与相对定位 ```js// 1.两者均参与布局// 2.主浮动布局, 相对布局辅助完成布局微调// 3.相对 ...

  6. golang结构体json格式化的时间格式

    golang结构体json格式化的时间格式 在我们开发中,经常会解析time.Time 往往前台传过来的时候,是个string 但是我们希望在结构体转成time.Time type Param str ...

  7. es的相关知识二（检索文档）

    一.es的使用 1.检索文档: 想要从Elasticsearch中获取文档,我们使用同样的 _index  . _type  . _id  ,但是HTTP方法改为 GET  : GET /{index ...

  8. vector和list插入性能对比

    int main() { clock_t t1 =clock(); vector<string> vec_Str; ;i<;i++) { vec_Str.push_back(&quo ...

  9. Bootstrap-轮播图-No.7

    <!DOCTYPE html> <html lang="zh"> <head> <meta charset="UTF-8&quo ...

  10. NPM全局安装软件包时解决EACCES权限错误

    NPM全局安装软件包时解决EACCES权限错误 Resolving EACCES permissions errors when installing packages globally npm WA ...