基本概况: 我有一台服务器每天每个小时都会生成一个日志文件,这些日志文件会被保留2天,超过2天会被一个程序压缩放到备份目录,日志文件的文件名是有命名要求的,例如:project_log.20130101.01, project_log.20130101.02 意思即:2013年1月1日1点和2点生成的日志文件,他们被备份后的文件名是:project_log.20130101.01.gz, project_log.20130101.02.gz 另外有一台服务器可从这台服务器上抓取文件,它即可以抓取…

push.sh #!/bin/bash function push() { local ip=$ local user=$ local password=$ local path=$ local localPath=$ local error=$ :>$error export RSYNC_PASSWORD="$password" rsync -Cavz $user@$ip::$path $localPath > $error >& # 判断是否发送错误 gr…

Windows 10家庭中文版,Python 3.6.3,Scrapy 1.5.0, 时隔一月,再次玩Scrapy项目,希望这次可以玩的更进一步. 本文展示使用在 Scrapy项目内.项目外scrapy shell命令抓取知乎首页的初步情况,重要的一点是,在项目内抓取时,没有response可用. 在项目[外]执行抓取命令 scrapy shell https://www.zhihu.com 得到结果(部分):因为知乎的反爬虫功能,得到了400错误,访问失败. INFO: Overridden…

一.Windows系统的任务管理器里抓dump 启动任务管理器,选中某个进程,右键,弹出菜单"创建转储文件" 注意事项: 当你在64位Windows系统上抓32位进程的dmup文件时,如果用的是64位任务管理器,那么在用Windbg加载后,要用!wow64exts.sw切换到X86模式下,如果不想做这步切换,就要用32位的任务管理器来生成dmp文件.32位任务管理器在C:\Windows\SysWOW64\Taskmgr.exe 适合的场景:在任务管理器里还能看到进程,当程序出现业务问…

在安卓应用的测试过程中,遇到 Crash 或者 ANR 后,想必大家都会通过 adb logcat 命令来抓取日志定位问题.如果直接使用 logcat 命令的话,默认抓取出的 log 文件包含安卓运行时产生的所有日志,给快速定位问题增加了时间成本. 这个问题可以通过一个简单的 Shell 脚本来解决,依然只有区区 20 行左右的代码. 脚本的编写思路是这样的: 1.通过 date 命令获取当前时间并赋值给变量 "DATE",格式为 "year/month/day/hour/m…

应用程序发生异常时抓取dmp: adplus.vbs -crash -pn w3wp.exe -y srv*c:\symbols*http://msdl.microsoft.com/download/symbols 关于w3wp进程抓取不到dump文件,可参考: http://blogs.msdn.com/b/stuartleeks/archive/2009/07/22/adplus-windows-7-and-asp-net.aspx 对adplus.vbs作如下修改: if g_Curren…

下载远程(第三方服务器)文件.图片,保存到本地(服务器)的方法.保存抓取远程文件.图片   将一台服务器的文件.图片,保存(下载)到另外一台服务器进行保存的方法: 1 #region 图片下载 2 3 #region 图片下载[使用流.WebRequest进行保存] 4 /// <summary> 5 /// 图片下载[使用流.WebRequest进行保存] 6 /// </summary> 7 /// <param name="fileUrl">图…

使用echo命令清空日志文件echo -n "" > /server/tomcat/logs/catalina.out ==>要加上"-n"参数,默认情况下会"\n",也就是回车符du -h /server/tomcat/logs/catalina.out使用echo命令清空tomcat日志文件测试实例:[root@zdz ~]# echo -n "" > /server/tomcat/logs/catali…

一.背景: ADT-Bundlee for Windows 是由GoogleAndroid官方提供的集成式IDE,已经包含了Eclipse,你无需再去下载Eclipse,并且里面已集成了插件,它解决大部分新手通过eclipse来配置Android开发环境的复杂问题.有了ADT-Bundle,新涉足安卓开发的同学也无需再像以前那样在网上参考繁琐的配置教程,可以轻松一步到位进行Android应用开发. 下面给大家附上下载地址:网盘地址:链接: https://pan.baidu.com/s/1bLx…

Shell 命令行 从日志文件中根据将符合内容的日志输出到另一个文件 前面我写了一篇博文Shell 从日志文件中选择时间段内的日志输出到另一个文件,利用循环实现了我想要实现的内容. 但是用这个脚本的同事很郁闷,因为执行时间比较长,越大的文件越长.于是找我,问我能不能实现一个更快的方案. 我想了一下,觉得之前的设计是脱裤子放屁,明明有更加简单的实现方法. 想办法获得我要截取的内容的开始的行号,然后再想办法获得我想截取的文件的结尾的行号,然后用两个行号来进行截断文件并输出.就可以实现这个效果了. 不…

 oracle 10g/11g  命令对照,日志文件夹对照 oracle 11g 中不再建议使用的命令 Deprecated Command Replacement Commands crs_stat crsctl check cluster -all crsctl stat res -t crs_register crsctl add resource crsctl add type crsctl modify resource crsctl modify type crs_unregis…

getLog.bat: adb root adb remount adb wait-for-device adb logcat -v time > C:\log.txt 在Android中不同的log写到不同的设备中,共有/dev/log/system, /dev/log/main, /dev/log/radion, /dev/log/events四中类型.其中默认Log.v等写入/dev/log/main中.Slog写入/dev/log/system中. adb logcat -b <sys…

二:抓取分支: 多人协作时,大家都会往master分支上推送各自的修改.现在我们可以模拟另外一个同事,可以在另一台电脑上(注意要把SSH key添加到github上)或者同一台电脑上另外一个目录克隆,新建一个目录名字叫testgit2 但是我首先要把dev分支也要推送到远程去,如下 (这个图是参考别人的,我的图是works目录的那个) 接着进入testgit2目录,进行克隆远程的库到本地来,如下: 现在目录下生成有如下所示: 现在我们的小伙伴要在dev分支上做开发,就必须把远程的origin的d…

最近有用户反馈,应用有崩溃的情况,可是本地调试却无法重现问题,理所当然的,我想到了微软的开发者仪表盘,可以查看一段时间内的carsh记录,不过仪表盘生成carsh记录不是实时的,而且生成的报告查看非常不便,是否有其他方法抓取应用的崩溃记录呢? 其实目前已经有一些第三方提供了相应的工具插件,如国外的uTest(http://www.utest.com/),mtiks(http://www.mtiks.com/),国内的九幽(http://www.windows.sc)等等,小弟英语比较烂,就只研究…

这要分两种情况:第一种情况:如果是Vista或者是Windows2008操作系统就是一个简单的事情,在任务管理器中,切换到"进程"选项卡,右键点击你想要创建dump文件的进程,然后选择"Create Dump File"即可.如果你想要创建dump文件的进程是w3wp.exe,可能会看到有很多w3wp,但不知道哪一个是你要要抓的网站,可以通过下需的命令查看,对于vista或win2008系统使用:%windir%/system32/inetsrv/appcmd li…

paramiko 源码修改 paramiko主要用来实现ssh客户端.服务端链接,上一节我们说到了堡垒机,堡垒机内有一个需求是“用户行为审计”,在这里我们就可以通过修改paramiko内文件的源码来实现相关要求. paramiko 源码包安装测试 下载地址:https://github.com/ 下载源码包paramiko 解压源码包 paramiko-master.zip 使用目录:paramiko-master\paramiko-master\demos python3启动:python p…

题外话 我第一次听说Python是在大二的时候,那个时候C语言都没有学好,于是就没有心思学其他的编程语言.现在,我的毕业设计要用到爬虫技术,在网上搜索了一下,Python语言在爬虫技术这方面获得一致好评. 所以从昨天开始就在网上查找各种Python爬虫小程序的源码,可是一天过去了,不仅没有写出一个简单的爬虫程序,反而对Python要引入的各种包和语法越来越迷糊了.去菜鸟教程一看,Python语言相对来讲还是蛮复杂的(虽然它的语法很简单,但是对于初学者,很多封装在一个包里的东西都非常陌生),我恶补…

#include <string> #include <cstdio> #include <log4cplus/logger.h> #include <log4cplus/configurator.h> #include <log4cplus/appender.h> #include <log4cplus/loggingmacros.h> #include <log4cplus/loglevel.h> #include &…

curl --verbose  --data "Password=123&Username=158101068&url=http://m.vancl.com/" "https://m.vancl.com/user/UserLogin"…

在软件编程中,崩溃的场景比较常见的.且说微软技术再牛X,也是会出现崩溃的场景.网上有一段Win98当着比尔盖茨蓝屏的视频非常有意思. (转载请指明出于breaksoftware的csdn博客)         我们身边的很多软件都引入了dump生成和收集机制.但是一般情况下,它们都是生成minidump.因为minidump文件相对来说很小,方面我们收集上来进行分析.但是Minidump保存了很少的信息,在一些场景下,可能不能协助我们准确快速定位问题. 但是,如果我们在测试过程中,发生了必现崩溃…

1. Log信息级别 Log.v- VERBOSE  : 黑色 Log.d- DEBUG  : 蓝色 Log.i- INFO  : 绿色 Log.w- WARN  : 橙色 Log.e- ERROR  : 红色 从上而下级别逐次增加 2. 过滤:指定标签,指定级别 adb logcat [TAG:LEVEL ] [TAG:LEVEL ] ... 标签TAG: 在进行log输出时需要指定标签 Log.v("Test", info ); LEVEL: 可以选择:[V D I W E S]中…

在linux系统中,last与lastb命令用来列出目前与过去登录系统的用户相关信息.指令英文原义: last, lastb - show listing of last logged in users 单独执行last指令时,它会读取位于/var/log/wtmp的文件,并把该给文件的内容记录的登录系统的用户名单全部显示出来. 单独执行lastb指令,它会读取位于/var/log/btmp的文件,并把该文件内容记录的登入系统失败的用户名单,全部显示出来. 第一列信息:用户名,或者显示reboo…

[Shell] 纯文本查看 复制代码 ? 1 tail -f /日志文件 好了.就这样用.简单吧    退出ctrl+C…

用urllib下载远程文件并转存到hdfs服务器,在下载时,下载地址中不一定包含文件名,需要从连接信息中获取. 1 file_url = request.form.get('file_url') 2 fo = urllib.urlopen(file_url) 3 blob = fo.read() 4 file_size = len(blob) 5 if fo.info().has_key('Content-Disposition'): 6 file_name = fo.info()['Conte…

程序崩溃的两种主要现象: a. 程序在运行中的时候,突然弹出错误窗口,然后点错误窗口的确定时,程序直接关闭 例如: “应用程序错误” “C++错误之类的窗口” “程序无响应” “假死”等 此种崩溃特点:程序已异常,在你未点出错窗口的确定或其他按,所有错误信息都还保留在PC的内存中,可以直接抓取Dump文件.当然,如果你知道 怎么样操作可以让程序崩溃,也可以用守株待兔的抓取方法抓Dump文件. b.程序在运行中的时候,窗口和进程突然消失,没有任何错误窗体 典型的现象:程序自动关闭 或者玩游戏时,游…

以前一直使用中国天气网的天气预报组件都挺好,可是自从他们升级组件后数据加载变得非常不稳定,因为JS的阻塞常常导致网站打开速度很慢.为了解决这个问题决定现学现用python编写一个抓取程序,每天定时抓取最新的天气情况并生成静态JS供网站调用.由于初学python,程序有些地方写得不是很优雅,还望高手指正. 代码如下: #!/usr/bin/env python#coding:UTF-8 import urllib,os,datetime def GetWeather(cityid):  "获取指定…

(1)报文抓取 Solaris中自带有snoop抓包工具,通过执行相应的命令抓取. 抓取目的地址为10.8.3.250的数据包,并存放到/opt/cap250的文件里 snoop -o /opt/cap250 host 10.8.3.250 (2)报文下载 方法1:使用scp命令,将当前设备上/下的test.cap文件传输到IP为10.8.12.90设备/mnt/hfs1目录下 -bash-3.2# scp /test.cap root@10.8.12.90:/mnt/hfs1/test.cap…

!rsync同步模式sync在进行同步或备份时,使用远程shell,或TCP连接远程daemon,有两种途经连接远程主机.shell模式,不需要使用配置文件,也不需要启动远端rsync.远程传输时一般使用ssh作为传输工具.daemon模式,但必须在一台机器上启动rsync. !rsync命令调用格式本地文件同步:    rsync [OPTION...] SRC... [DEST]示例:rsync -a /home/back1 /home/back2 基于远程shell同步:  拉取: rsy…

首先得到要抓取的进程号 cd %windir%\syswow64\inetsrvappcmd list wp得到pid之后, 在任务管理器里发现w3wp.exe的CPU总在49%-60%左右, 间歇性地会下降一些. 我们需要在w3wp.exe的CPU在50%以上并能维持三秒钟的情形下抓取两组dump. 如果使用debug diag或adplus的话, 会比较困难, 因为这需要等待时机并手动抓取. 容易出现抓到的dump里不包含那些引发异常的动作的情况. 解决方案 - 救世主procdump ==…

前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 王平 源自:猿人学Python PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 前一两年抓过某工商信息网站,几三周时间大约抓了过千万多万张页面.那时由于公司没啥经费,报销又拖得很久,不想花钱在很多机器和带宽上…