python 网络下载的三种风格 未完成
import osimport timeimport sys
import requests#依序下载POP20_CC = ('CN IN US ID BR PK NG BD RU JP' 'MX PH VN ET EG DE IR TE CD TR').split()BASE_URL = 'http://flupy.org/data/flags'DEST_DIR = 'downloads/'
def save_flag(img, filename): path = os.path.join(DEST_DIR, filename) if not os.path.isdir(DEST_DIR): os.mkdir(DEST_DIR)
with open(path, 'wb') as fp: if fp.writable(): fp.write(img)
def get_flag(cc):#下载内容 url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower()) # 格式化字符串{BASE_URL}/{cc}/{cc} print(url) resp = requests.get(url)#以二进制形式下载 return resp.content#返回二进制数据
def show(text): print(text,end=' ') sys.stdout.flush()#在liunx系统下,不加这句,打印时间不是立刻打印的。假如在windows中不存在这个问题(正常情况遇到换行才会刷新stdout缓冲)
def download_many(cc_list): for cc in sorted(cc_list):#sorted()这个排序的结果和作用是什么? image=get_flag(cc) show(cc)
save_flag(image,cc.lower()+'.gif') return len(cc_list)
def main_n(download_many): t1=time.time() count=download_many(POP20_CC) elapsed=time.time()-t1 msg='\n{} flags download in {:.2f}s' print(msg.format(count,elapsed))
if __name__ == '__main__': main_n(download_many)#BD BR CD CN DE EG ET ID IN IR JPMX NG PH PK RU TE TR US VN# 19 flags download in 8.57s
#concurrent.futures 模块下载
from concurrent import futuresimport osimport timeimport requestsimport sys
MAX_WORKERS = 20POP20_CC = ('CN IN US ID BR PK NG BD RU JP' 'MX PH VN ET EG DE IR TE CD TR').split()BASE_URL = 'http://flupy.org/data/flags'DEST_DIR = 'downloads/'
def save_flag(img, filename): path = os.path.join(DEST_DIR, filename) if not os.path.isdir(DEST_DIR): os.mkdir(DEST_DIR)
with open(path, 'wb') as fp: if fp.writable(): fp.write(img)
def get_flag(cc): url = '{}/{cc}/{cc}.gif'.format(BASE_URL, cc=cc.lower()) resp = requests.get(url) return resp.content
def show(text): print(text, end=' ') sys.stdout.flush()
def main_n(download_many): t1 = time.time() count = download_many(POP20_CC) elapsed = time.time() - t1 msg = '\n{} flags download in {:.2f}s' print(msg.format(count, elapsed))
def download_one(cc): image = get_flag(cc) show(cc) save_flag(image, cc.lower() + '.gif') return cc
def download_many(cc_list): workers = min(MAX_WORKERS, len(cc_list)) # 设置最大线程数
with futures.ThreadPoolExecutor(workers) as executor: res = executor.map(download_one, sorted(cc_list)) return len(list(res))
# BD BR CN ID EG JPMX IN NG RU TE ET CD IR PH PK VN DE US TR# 19 flags download in 2.44sif __name__ == '__main__': main_n(download_many)
python 网络下载的三种风格 未完成的更多相关文章
- [转]VMware Workstation网络连接的三种模式
经常要使用VMWare Workstation来在本地测试不同的操作系统,以前也搞不清楚网络连接三种模式,最近看了几篇文章才算明白.现总结如下: 1. VMware Workstation的虚拟网络组 ...
- python实现单例模式的三种方式及相关知识解释
python实现单例模式的三种方式及相关知识解释 模块模式 装饰器模式 父类重写new继承 单例模式作为最常用的设计模式,在面试中很可能遇到要求手写.从最近的学习python的经验而言,singlet ...
- Python实现定时执行任务的三种方式简单示例
本文实例讲述了Python实现定时执行任务的三种方式.分享给大家供大家参考,具体如下: 1.定时任务代码 import time,os,sched schedule = sched.scheduler ...
- Python格式化输出的三种方式
Python格式化输出的三种方式 一.占位符 程序中经常会有这样场景:要求用户输入信息,然后打印成固定的格式比如要求用户输入用户名和年龄,然后打印如下格式:My name is xxx,my age ...
- 辛星跟您玩转vim第一节之vim的下载与三种模式
首先值得一提的是,我的vim教程pdf版本号已经写完了,大家能够去下载,这里是csdn的下载地址:点此下载 ,假设左边的下载地址挂掉了,也能够自行在浏览器以下输入例如以下地址进行下载:http://d ...
- python字符串连接的三种方法及其效率、适用场景详解
python字符串连接的方法,一般有以下三种:方法1:直接通过加号(+)操作符连接website=& 39;python& 39;+& 39;tab& 39;+& ...
- Python 列表(List) 的三种遍历(序号和值)方法
三种遍历列表里面序号和值的方法: 最近学习python这门语言,感觉到其对自己的工作效率有很大的提升,特在情人节这一天写下了这篇博客,下面废话不多说,直接贴代码 #!/usr/bin/env pyth ...
- 记住 Python 变量类型的三种方式
title: 记住变量类型的三种方式 date: 2017-06-11 15:25:03 tags: ['Python'] category: ['Python'] toc: true comment ...
- python更新数据库脚本三种方法
最近项目的两次版本迭代中,根据业务需求的变化,需要对数据库进行更新,两次分别使用了不同的方式进行更新. 第一种:使用python的MySQLdb模块利用原生的sql语句进行更新 import MySQ ...
随机推荐
- webpack异步加载业务模块
虽然把我们用到的JS文件全部打包一个可以节省请求数,但如果打包后的JS文件过大,那么也容易出现白屏现象,许多操作失灵.而且一些区域是点到才出现,那么相关的JS其实可以剥离出这个大JS文件外.这就涉及到 ...
- TLS协议工作过程;如何应用TLS/SSL协议为WEB流量提供安全
SSL/TLS协议的基本过程是这样的: 客户端向服务器端索要并验证公钥. 双方协商生成"对话密钥". 双方采用"对话密钥"进行加密通信. 上面过程的前两 ...
- python中的文件的读写
python中的 w+ 的使用方法:不能直接 write() 后,在进行读取,这样试读不到数据的,因为数据对象到达的地方为文件最后,读取是向后读的,因此,会读到空白,应该先把文件对象移到文件首位. f ...
- 使用tor网络
在www.torproject.org/projects/torbrowser.html.en上找到合适的版本下载 下载好tor浏览器之后,解压双击Tor Browser,出现这个错误 这是因为kal ...
- 解题3(CoordinateCalculate)
题目描述 开发一个坐标计算工具, A表示向左移动,D表示向右移动,W表示向上移动,S表示向下移动.从(0,0)点开始移动,从输入字符串里面读取一些坐标,并将最终输入结果输出到输出文件里面. 输入: 合 ...
- flashfxp key密钥
flashfxp3.41中文版注册码:(适合最新版本) 推荐(尚未被封的 Realkey) FLASHFXPvACq2ssbvAAAAAC1W7cJKQTzmx77zmqJICvA7d3WnUtWNX ...
- 【scrapy_redis】调试后爬取了部分数据,然后重新调试时,直接被去重机制过滤掉无法重头开始爬取
这2天遇到一个问题,之前调试的时候爬取了一些数据,结果第二天重新调试的时候发现爬虫很快结束,而且还没有报错.后来从日志里看到这个: no more duplicates will be shown ( ...
- IMPDP NETWORK_LINK参数
在<[IMPDP]同一数据库实例不同用户间数据迁移复制—— NETWORK_LINK参数>(http://space.itpub.net/519536/viewspace-631571)文 ...
- python计算两个数的百分比
a和b是整数,计算a/b的百分比 a=3 b=7 a=float(a) b=float(b) 保留百分比后2位小数 print "%.2f%%" % (a/b*100) '42. ...
- oracle连接错误:ORA-12514: TNS: 监听程序当前无法识别连接描述符中请求的服务解决
自己的解决办法是,把数据库连接字符串的默认SID_NAME = ORCL改为 sid_name =test(自己安装数据库时候改的名字).即可正常连接. 网上搜罗的其他问题:把监听服务重启下.(自己的 ...