记一次Linux下数据统计】的更多相关文章

需求: 服务端有应用访问日志,需要统计某一个API,访问top N的通道. 统计思路: 1.筛选/过滤待统计API: 2.分割,获取待统计具体字段: 3.计数: 4.按照计数结果降序排序: 5.截取top N. 最终命令如下: grep "API name" access.log | awk -F'{' '{print $4}' | awk -F',' '{print $5}' | sort -r | uniq -c | sort -rn | head N 各个命令详细用法见下文: a…
一.前言在linux2.6.32之前,linux下数据同步是基于pdflush线程机制来实现的,在linux2.6.32以上的版本,内核彻底删掉了pdflush机制,改为了基于per-bdi线程来实现数据同步,与pdflush线程相比,在per-bdi线程机制中,每个后备存储器拥有自己唯一的回写线程,数据同步时需要更少的线程.也不会有多个pdflush对同一个后备存储器进行回写的竞态问题,回写的效率更高. 二.初始化默认的后备存储器default_backing_dev_info static…
今天重装了腾讯云VPS的系统,那么几乎所有运行环境都要重新部署了.过程不难懂,但是也比较繁琐,这次就写下来,方便他人也方便自己日后参考参考. 我采用的是JDK+Tomcat的形式来进行JavaWeb初级环境的搭建. 首先准备好需要的软件,建议去官网下载,JDK注意选择适合自己系统的版本.这是我本次准备的软件: 1.JDK的安装 在Linux下安装JDK的过程和Windows下安装JDK的过程几乎是一样的,本次安装的是tar版本,也就是解压版. 利用WinSCP连接到服务器,将JDK.Tomcat…
wc(world count)是一个统计文件字词,字节,行数的命令,它可以帮我们非常方便的统计以上信息. 主要参数 常见参数如下: -c 统计字节数. -l 统计行数. -m 统计字符数.这个标志不能与 -c 标志一起使用. -w 统计字数.注意,这里的字指的是由空格,换行符等分隔的字符串. 我们接下来直接看几个实例. 统计文件行数,词数和字节数 $ wc test.txt  1 1 7 test.txt 打印结果表明该文件有1行,1个词,7字节. 要特别提醒的是,这里的词是以空格,换行符等分隔…
功能,统计某一目录下所有文件代码行数: 例如统计某一目录下所有.c结尾的文件代码行数:find . -name "*.c"|xargs cat|grep -v ^$|wc -l ^C 使用方法:打开终端,cd至要统计代码的文件目录下,运行此命令即可.…
进程(执行的程序)会占用一定数量的内存,它或是用来存放从磁盘载入的程序代码,或是存放取自用户输入的数据等等.不过进程对这些内存的管理方式因内存用途 不一而不尽相同,有些内存是事先静态分配和统一回收的,而有些却是按需要动态分配和回收的.对任何一个普通进程来讲,它都会涉及到5种不同的数据段. Linux进程的五个段 下面我们来简单归纳一下进程对应的内存空间中所包含的5种不同的数据区都是干什么的. BSS段:BSS段(bss segment)通常是指用来存放程序中未初始化的全局变量的一块内存区域.BS…
今天找到一张旧TF卡,2G的,正好拿来练习下建立分区 插上orangepi后,fdisk -l看看,可以看到多了一个新的存储设备 /dev/mmcblk1 用fdisk打开它: fdisk /dev/mmcblk1 进入fdisk命令模式,按g把它格式化为GPT格式分区表. 接着n新建一个分区,会让输入分区编号,直接回车会默认为1. 初始扇区号.默认2048,结束扇区号这里默认最大,我输入了一半,先试试格式化为FAT32,晚些再用另一半做EXT4试试.(有一种输入方式是在前面带个加号,能直接输字…
一. redis的安装 cd /opt                                                                                # 切换至opt目录下 wget http://download.redis.io/releases/redis-3.2.9.tar.gz       # 指定版本下载redis tar xzf redis-3.2.9.tar.gz                                   …
三三两两,试了几次就出来了,挺开心的 linux安装vsftpd,请自行百度 贴出部分配置点 阿里云服务器,开发相关端口以及部分区域端口访问 /etc/pad.d/vsftpd添加部分注释 #%PAM-1.0 session optional pam_keyinit.so force revoke #auth required pam_listfile.so item=user sense=deny file=/etc/vsftpd/ftpusers onerr=succeed #auth re…
2017-04-03 最近深入研究了下Linux线程的问题,发现自己之前一直有些许误解,特记之…… 关于Linux下的线程,各种介绍Linux的书籍都没有深入去解释的,或许真的如书上所述,Linux本质上不存在线程的概念!在某种程度上的确是这样,但是难道LInux就只有一种进程的东西么??答案肯定是否定的!下面咱们慢慢分析 说起Linux下的线程,的确不如windows下来的直接,windwos中进程和线程有着明确的区分,各自有自己代表的数据结构.操作API,进程享有资源和线程参加调度.一切都是…