import urllib2 from urllib import quote f = open("data.in", "r") out = file("data2.out","w+") a = 1.0 for line in f: #print line stri = quote(line) url ='*******'+stri #print url try: data = urllib2.urlopen(url) exc

Python3 自定义请求头消息headers 使用python爬虫爬取数据的时候,经常会遇到一些网站的反爬虫措施,一般就是针对于headers中的User-Agent,如果没有对headers进行设置,User-Agent会声明自己是python脚本,而如果网站有反爬虫的想法的话,必然会拒绝这样的连接.而修改headers可以将自己的爬虫脚本伪装成浏览器的正常访问,来避免这一问题. 一.使用urllib请求页面时 import urllib, urllib2 def get_page_sour

本文参考:charles 高级批量请求 这个我感觉有点鸡肋,真正的批量请求,推荐使用JMter charles 高级批量请求就是下面这种简单的设置的 简单的使用还是可以的; 比如简单的测试下,向某一个网站一次性发10000个请求,作为测试使用: 备注:这里写的同时发送,因为机器的原因,可能不是真正的同时发送 本文参考:https://www.axihe.com/

python3批量删除豆瓣分组下的好友 """ python3批量删除豆瓣分组下的好友 2016年6月7日 03:43:42 codegay 我两年前一时冲动在豆瓣关注了很多豆瓣的员工,好多,有四百个. 我现在一时冲动想取消关注...,写这么一个脚本可以用来加快删除的速度. cookies还是直接从chrome读取出来用, 参考我之前刚写的代码 python3从chrome浏览器读取cookie, """ import os import sql

IIS6.0有个导出配置的功能,但你却找不到界面上的直接导入配置功能,需要用到操作系统自带的iiscnfg.vbs脚本. 1.导出当前的IIS网站配置 打开Internet信息服务(IIS)--->右键“网站”--->“所有任务”--->弹出的保存窗口,填写文件名和路径,将IIS的配置保存一份.     然后,将这份备份,上传到另一台服务器上,比如我放在迁移服务器的d:\iisbak.xml 下面开始在迁移服务器上做还原操作了: 2.导入配置文件 “开始”---“运行”---输入“cmd

Python3 批量更改文件后缀名 示例: # coding:utf8 import os import sys def Rename(): #Path = "F:\\test\\" # windows下的文件目录 #Path = input("请输入你需要操作的目录(格式如'F:\\test'):") Path = r"E:\hs08-oracle\py\\"; filelist = os.listdir(Path) for files in

Python3 批量替换文本内容 示例: # coding:utf8 import os; def reset(): i = 0 path = r"H:\asDemo\workdemo\awesome-android-ui-master\pages\\"; filelist = os.listdir(path) # 该文件夹下所有的文件(包括文件夹) for files in filelist: # 遍历所有文件 i = i + 1 Olddir = os.path.join(path

 Python Socket请求网站获取数据 ---阻塞 I/O     ->收快递,快递如果不到,就干不了其他的活 ---非阻塞I/0 ->收快递,不断的去问,有没有送到,有没有送到,...如果送到了就接收 ---I/O多路复用 ->找个代理人(select), 去收快递.快递到了,就通知用户.   一 . 阻塞方式 blocking IO 会一直block 对应的进程,直到操作完成 # 客户端请求网站-阻塞实现(一次一次的请求) import socket import time #

引子 在 批量下载网站图片的Python实用小工具 一文中,讲解了开发一个Python小工具来实现网站图片的并发批量拉取.不过那个工具仅限于特定网站的特定规则,本文将基于其代码实现,开发一个更加通用的图片下载工具. 通用版 思路 我们可以做成一个下载图片资源的通用框架: 制定生成网页资源的规则集合 PageRules: 根据 PageRules 抓取网站的网页内容集合 PageContents: 制定从网页内容集合 PageContents 获取资源真实地址的规则集合或路径集合 Resource

1.要下载的页面 http://www.howsoftworks.net/javaapi/ 2. 下载Teleport Ultra 3.使用Teleport Ultra批量克隆网站 4.下载Easy CHM 5.使用Easy CHM合并生成chm文件

private void callApibjhb() { //输出执行的开始时间 Console.WriteLine(string.Format("Bind {0}", DateTime.Now)); Thread T = new Thread(() => { //表示不停刷新,如果不需要可以删除 while (true) { string strURL = ""; try { System.GC.Collect(); string strURL =“你请求的

shell批量监控网站状态码脚本,使用curl很慢.等我学完其他方式,在来更新. #!/bin/bash #GuoYabin yuming=`/bin/cat yuming.txt` for i in $yuming do result=`/usr/bin/curl -I $i 2>/dev/null|awk '/HTTP/{print $2}'` res=$[result+1] #这个方法很烂,浮点数要过滤成整数. res=`echo $res |awk -F '.' '{print $1}'

工作中,经常要给多个用户创建账号,为了减少工作量,写了个自动化脚本来帮助我批量创建用户 代码如下: """自动创建Jira的学生账号""" from selenium import webdriver from time import sleep import csv driver = webdriver.Chrome(r'D:\selenium\tools\chromedriver.exe') driver.get("http://x

定位 本文适合于熟悉Python编程且对互联网高清图片饶有兴趣的筒鞋.读完本文后,将学会如何使用Python库批量并发地抓取网页和下载图片资源.只要懂得如何安装Python库以及运行Python程序,就能使用本文给出的程序批量下载指定图片啦!   在网上冲浪的时候,总有些“小浪花”令人喜悦.没错,小浪花就是美图啦.边浏览边下载,自然是不错的:不过,好花不常开,好景不常在,想要便捷地保存下来,一个个地另存为还是很麻烦的.能不能批量下载呢? 目标  太平洋摄影网, 一个不错的摄影网站. 如果你喜欢自

最近学习python,因经常登录公积金网站查看公积金缴存还款情况,so网上找了写脚本,修改了一下,方便获取网页中的数据. 使用谷歌浏览器F12查看登录请求内容 1.request header需要参数:User-Agent.Referer等. 2.post内容. python 3.x中urllib库和urilib2库合并成了urllib库. urllib2.urlopen()变成了urllib.request.urlopen() urllib2.Request()变成了urllib.reques

使用 cmd 运行如下命令 > %windir%\system32\inetsrv\appcmd list site /config /xml > d:\sites.xml 修改 d 盘 下的 sites.xml 文件 包括批量新增的网站项目 在 cmd 中 使用如下命令导入 > %windir%\system32\inetsrv\appcmd add site /in < d:\sites.xml 在 cmd 中 使用 如下命令重启IIS > iisreset 刷新你的 i

今天整了一天这个AWVS批量扫描脚本,主要是下了好几个版本的AWVS,都不稳定,一次次删除又一次次安装. 做这件事儿目的就是为了批量刷漏洞,不过弄好之后又不打算刷漏洞了,不太喜欢无脑刷漏洞,没什么意义,并且现在水平也不是很高,先踏实学习吧. 这个文章目的就是记录一下整体的思路. 要想较为高效的刷漏洞(这里指的是和菜鸟相比),需要两步,一 : 获取大量的网页链接  : 二 : 误报率低,比较牛逼一点的漏洞扫描工具 一 :获取大量的网页链接 这个有三种方法: ① fofa 这个有前提 ,必须得有 f

域名批量解析,快速确认域名的存活性及IP地址,脚本中包含了具体的用法和简要说明 #!/usr/bin/env python # -*- coding:utf-8 -*- # python3.6 from socket import gethostbyname import argparse def domain_ip(openfile,out1,out2,out3): with open(openfile, 'r') as f: for line in f.readlines(): try: h

所谓爬取其实就是获取链接的内容保存到本地.所以爬之前需要先知道要爬的链接是什么. 要爬取的页面是这个:http://findicons.com/pack/2787/beautiful_flat_icons 里面有很多不错的图标,目标就是把这些文件图片爬下来,保存成本地图片. 用python3怎么做呢? 第一步:获取要爬取的母网页的内容 import urllib.request import re url = "http://findicons.com/pack/2787/beautiful_f

Python资源大全 http://python.jobbole.com/84464/ https://github.com/jobbole/awesome-python-cn   scrapy: https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/tutorial.html https://scrapy.org/ h

最近公司在做工程项目,实现文件批量下载. 网上找了很久,发现网上的代码都有相似的问题,不过最终还是让我找到了一个符合的项目. 工程: 进行项目文件下载功能分析,弄清楚文件批量下载的原理,提供的数据支持. 运行: 设置下载目录,让文件下载至规定的目录:C:\Users\liu\Desktop\工程项目 开始批量下载文件: 这里的文件都是通过网页链接下载的,可以自己去替换文件链接: 文件已完成下载,去文件目录中看看: 很显然,文件已在目录中了,这样的文件批量下载极大方便了我们的传输效果,这里点个赞!