Shell 命令行统计 apache 网站日志访问IP以及IP归属地 我的一个站点用 apache 服务跑着,积攒了很多的日志.我想用 shell 看看有哪些人访问过我的站点,并且他来自哪里. 因为日志太长了,所以我没跑完就放弃了,因为跑起来太慢了... 分析 apache 日志 140.205.16.220 - - [26/Jun/2017:03:49:51 +0800] "GET /content_article_3.html HTTP/1.1" 200 3 日志内容如上,这个很简…

Shell 命令行,实现对若干网站状态批量查询是否正常的脚本 如果你有比较多的网站,这些网站的运行状态是否正常则是一件需要关心的事情.但是逐一打开检查那简直是一件太糟心的事情了.所以,我想写一个 shell 脚本来实现对若干网站进行批量状态查询的脚本. 原理没什么要解释的,就是使用 curl -I 对网站的状态码进行查询.轮着查就是了. 文件准备 在要执行的脚本文件夹下面创建两个文件和一个文件夹,分别是 文件.文件夹 说明 ./watch.sh 我们的批量查询脚本文件 ./siteList.tx…

前言:python统计apache.nginx访问日志IP访问次数并且排序(显示前20条).其实用awk+sort等命令可以实现,用awk数组也可以实现,这里只是用python尝试下.   apache脚本: ips = {} with open("/root/mail_access_log-20180629") as fh: for line in fh: ip = line.split(" ")[0] if 6 < len(ip) <=15: ips…

Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件 前面我写了一篇博文Shell 从日志文件中选择时间段内的日志输出到另一个文件,利用循环实现了我想要实现的内容. 但是用这个脚本的同事很郁闷,因为执行时间比较长,越大的文件越长.于是找我,问我能不能实现一个更快的方案. 我想了一下,觉得之前的设计是脱裤子放屁,明明有更加简单的实现方法. 想办法获得我要截取的内容的开始的行号,然后再想办法获得我想截取的文件的结尾的行号,然后用两个行号来进行截断文件并输出.就可以实现这个效果了. 不…

hadoop学习及实践笔记—— HDFS shell命令行常见操作 附:HDFS shell guide文档地址 http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-common/FileSystemShell.html 启动HDFS后,输入hadoop fs命令,即可显示HDFS常用命令的用法 [hadoop@localhost hadoop-2.5.2]$ hadoop fs Usage: hadoop fs [ge…

我们在Android开发中总能看到程序的log日志内容充满了屏幕,而真正对开发者有意义的信息被淹没在洪流之中,让开发者无所适从,严重影响开发效率.本文就具体介绍几种在shell命令行中过滤adblogcat输出的方法. 1.只显示需要的输出(白名单) 最方便的当然是通过管道使用 grep 过滤了,这样可以使用 grep 强大的正则表达式匹配.简单的匹配一行当中的某个字符串,例如 MyApp: adb logcat | grep MyApp adb logcat | grep -i myapp #…

点击返回 自学Linux命令行与Shell脚本之路 2.1-进入shell命令行 进入文本命令行界面(CLI)两种方法: 控制台终端 图形化终端 1. 通过Linux控制台终端访问CLI 按下Ctrl+Alt组合健,然后按功能健(F1~F7)进入要使用的虚拟控制台.功能键F1生成虚拟控制台1,F2生成虚拟控制台2,依次类推 Linux发行版通常使用Ctrl+Alt组合健+F1/F7进入图形界面,Ubuntu使用F7,RHEL使用F1 知识点: 将终端背景色设置成白色   方法一:setterm…

HDFS的shell(命令行客户端)操作实例 3.2 常用命令参数介绍 -help 功能:输出这个命令参数手册 -ls                  功能:显示目录信息 示例: hadoop fs -ls hdfs://hadoop-server01:9000/ 备注:这些参数中,所有的hdfs路径都可以简写 -->hadoop fs -ls /   等同于上一条命令的效果 -mkdir              功能:在hdfs上创建目录 示例:hadoop fs  -mkdir  -p …

Shell 命令行实现将一个站点页面全部下载到本地并替换其中链接的脚本 不知道为什么,我总想用 Shell 脚本来实现把一个站点内容给下载下来.但是下载什么站点我确不知道.今天尝试了一下利用 curl 实现了下载一个站点列表的 demo 算是小试牛刀. 当脚本成功之后,我知道,要把这个站点完全下载下来也是没有问题的.不过是需要更加复杂的循环和匹配而已. 接下来有工作要做,所以 shell 的学习暂时先告一段落. 实现代码 #!/bin/bash echo '--开始下载首页--' curl -s…

前言 除了手动添加你的文章后外,你还可以用命令行来添加,python 自带了一种命令行 就是 shell 快速添加博文:Shell命令行模式 在你的目录下:mysite python manage.py shell 导入Blog模型: >>> from blog.models import Blog 验证是否成功引用: >>> dir() 查看所有博文: >>> Blog.objects.all() 查看博文数量: >>> Blog.…