深夜Python - 第2夜 - 爬行
深夜Python - 第2夜 - 爬行
我曾经幻想自己是一只蜗牛,有自己的一只小壳,不怕风,不怕雨,浪荡江湖,游历四方……夜猫兄一如既往地打断了我不切实际的幻想:“浪荡?游历?等你退休了都爬不出家门口!”我知道夜猫兄要说什么,所以趁机话题一转:“Python不也是爬行动物么?”(注:Python=巨蟒)
“呵,英语不错啊。”
“你这是夸我么?”哇,得到夜猫兄的表扬,我开心到感觉头发多了3成。
夜猫兄正好闲着,给我来了段set、tuple、list运行速度对比的程序:
# !/usr/bin/env python3
# -*- coding=utf-8 -*-
import timeit def func_use_set():
N = 1000
numbers = set(range(N))
for number1 in numbers:
for number2 in numbers:
pass def func_use_tuple():
N = 1000
numbers = tuple(range(N))
for number1 in numbers:
for number2 in numbers:
pass def func_use_list():
N = 1000
numbers = list(range(N))
for number1 in numbers:
for number2 in numbers:
pass if __name__ == '__main__':
print('set:', timeit.timeit(stmt=func_use_set, number=10), 's')
print('tuple:', timeit.timeit(stmt=func_use_tuple, number=10), 's')
print('list:', timeit.timeit(stmt=func_use_list, number=10), 's')
在给出这段代码的时候,夜猫兄问我,你猜速度排名如何?
“当然是set最快了,遍历时间的话,set < tuple < list。”我脱口而出,或许有着天生的迷之自信吧。
“确定吗?嗯……”夜猫兄捻捻胡须,若有所思,“你试过?”
“没啊,网友说的。”
“靠!没试过你就信了??”夜猫兄猛地按下键盘上的Enter,简直要把键盘戳穿了。
几秒过后,控制台输出了下面的数据。
set: 0.5598647409997284 s
tuple: 0.5289756949996445 s
list: 0.4945050540000011 s
“啊?这都是啥?”我的世界观已经崩塌……
我尝试着加大规模,把N改成10000,还把三者执行的顺序调换了一下,夜猫兄的硬盘发出了吱吱呀呀的惨叫……很久没有出结果,我又把number改成5,就有了下面的数据。
list: 24.5941286340003 s
tuple: 24.454961858999923 s
set: 26.473167070000272 s
又试了很多次,结果都是set > tuple ≈ list。这下我傻眼了:“夜猫兄,你是不是偷偷把Python源码改了?”
“你丫想啥呢,回去拿你自己的 ‘蜗牛壳’ 试试看!”
这我就我想不明白了……我原以为在Python里常用的交通工具比如set、tuple、list、dict这些,我都了解它们了,也自以为我的代码可以上天下海无所不能了,结果,其实它还是一只驮着壳的小蜗牛,和蟒蛇没法比啊。
夜猫兄的键盘响起,程序变成了下面这样。
# !/usr/bin/env python3
# -*- coding=utf-8 -*-
import timeit
import random def func_use_set():
N = 5000
numbers = set(range(N))
for number1 in numbers:
_ = random.randint(0, N-1) in numbers def func_use_tuple():
N = 5000
numbers = tuple(range(N))
for number1 in numbers:
_ = random.randint(0, N-1) in numbers def func_use_list():
N = 5000
numbers = list(range(N))
for number1 in numbers:
_ = random.randint(0, N-1) in numbers if __name__ == '__main__':
print('list:', timeit.timeit(stmt=func_use_list, number=10), 's')
print('tuple:', timeit.timeit(stmt=func_use_tuple, number=10), 's')
print('set:', timeit.timeit(stmt=func_use_set, number=10), 's')
“现在再来猜猜,猜对有奖哦~”夜猫兄坏笑起来,那样子真诡异,像爱丽丝梦游仙境里那只妙妙猫。
“我……我……我……哇啊……”我变成了王司徒,直接摔下马去。程序的结果:
list: 2.305914190999829 s
tuple: 2.242317064999952 s
set: 0.49790156399831176 s
嗯,这次set终于争了一次光,以超过4倍的成绩把tuple和list斩于马下。试了好几次,tuple确实总比list快一点,不过还是在 “≈” 的水准。
“明白了吧。”夜猫兄嘿嘿一笑。
“明白什么?等你讲解啊……”我又开始迷惑了。
“还讲啥?实践出真知啊。我不知道别人那怎么样,不过我这测试的结果就是这样,你也可以去尝试别的方法,或许还可以推翻我的结论。总体来讲,set因为有哈希表,所以查找操作极快,但是遍历的话就不行了。把‘查找’和‘遍历’区分开,‘快’是有条件的,要付出代价,比如set不能存放相同的数据。”
“哦哦哦,学到了。不过……嘿嘿,我还是缩进蜗牛壳里睡觉去吧……”我打个哈欠,“我不是夜猫,我得睡觉了。”
“哼,难成大器!”
深夜Python,第2夜,2019.10.19。
深夜Python - 第2夜 - 爬行的更多相关文章
- 深夜Python - 第1夜 - for 迷 in 迷思
深夜Python - 第1夜 - for 迷 in 迷思 在一个月黑风高的夜晚,我悄悄打开编辑器,进入程序的世界.刚刚学会Python的我,由于一段时间的过度装B,被委托优化一段程序,我信心十足地接下 ...
- 【日语】日语单词N3_N4_N5
日语单词N3_N4_N5 单 词 讲 解 あ行单词 ああ:0[副]那样.那种 例句:ああ言うことはしないほうがいい.那样的事情最好不做. 電車の窓からごみを棄てているああ言うことはしないほうがいい. ...
- 日语单词N3_N4_N5
单 词 讲 解 あ行单词 ああ:0[副]那样.那种 例句:ああ言うことはしないほうがいい.那样的事情最好不做. 電車の窓からごみを棄てているああ言うことはしないほうがいい. 挨拶(あいさつ):① 寒暄 ...
- 女朋友让我深夜十二点催她睡觉,我有Python我就不干
事情是这样的:今天晚上,女朋友让我十二点催她睡觉. 不过,可是我实在太困了,熬不下去-- 是吧?女朋友哪有睡觉重要? 但,女朋友的命令,我是不敢违抗的-- 但是睡觉也不能缺! 这时候我们该怎么办呢?是 ...
- 『Python』爬行搜索引擎结果获得指定主机二级域名及IP信息
0x 00 前言 前天自己在玩的时候,自己通过百度搜索主机的二级域名感觉好麻烦,自已要一页页的去翻 而且人工识别是否是重复的二级域名也够蛋疼的,正好最近在学正则表达式,权当练手了 0x 00 代码 # ...
- python爬虫scrapy之如何同时执行多个scrapy爬行任务
背景: 刚开始学习scrapy爬虫框架的时候,就在想如果我在服务器上执行一个爬虫任务的话,还说的过去.但是我不能每个爬虫任务就新建一个项目吧.例如我建立了一个知乎的爬行任务,但是我在这个爬行任务中,写 ...
- Ubuntu下一个python的BeautifulSoup和rsa安装方法---信息检索project2部分:微博爬行要求python包裹
后果<信息检索>第二project,微博具有抓取数据,再处理.师兄给了代码.让慢慢爬.可是在ubuntu下.少了非常多python软件包.须要安装. 1.首先执行时.说少了python.B ...
- python夜记
关于多行字符串(multi-line strings)的表现: Python列表是基于0索引的.(zero-indexed). 晌午起床来嘞,再来些笔记: Treasures 1: 列表方法rever ...
- 深夜,我用python爬取了整个斗图网站,不服来斗
QQ.微信斗图总是斗不过,索性直接来爬斗图网,我有整个网站的图,不服来斗. 废话不多说,选取的网站为斗图啦,我们先简单来看一下网站的结构 网页信息 从上面这张图我们可以看出,一页有多套图,这个时候我们 ...
随机推荐
- 动态隐藏显示窗口的标题栏(同时保持窗口的sizeable性能
今天考虑作界面的时候,想去掉窗体的标题栏,但设置 Form.BorderStyle := bsNone; 会导致窗体不可再 Sizeable (通过鼠标操作改变窗体大小),仔细翻看了相关Help也没找 ...
- flume配置参数的意义
1.监控端口数据: flume启动: [bingo@hadoop102 flume]$ bin/flume-ng agent --conf conf/ --name a1 --conf-file jo ...
- 扩展BSGS-传送门
很好的讲解:ZigZagK 好的讲解:mjtcn 某个模板:here 模板题: BSGS:ZigZagK的poj2417 exBSGS:ZigZagK的poj3243 — AC_Gibson 一般的板 ...
- Python sorted list的实现
Python sorted list的实现 具体思路是用二分保list有序+插入 class SortedList(list): K = -1 def __init__(self, K=-1): li ...
- python爬虫教程之美丽汤(一)
python 爬虫之美丽汤 BeautifulSoup 作者: jwang106 1. 使用requests获取网页的html源码 import requests from bs4 import Be ...
- Greenplum(PostgreSql)使用 with recursive 实现树形结构递归查询并插入新表
本代码目的是替代Oracle的connect by语句,并实现后者的path和idleaf功能. 正文开始: 假设表org,字段有 id(编号),name(名称),pid(上级编号), 最上级的记录p ...
- Aizu - ALDS1_13_A-8 Queens Problem-八皇后的路径输出
The goal of Queens Problem is to put eight queens on a chess-board such that none of them threatens ...
- java时间工具类,时间相互转换
/* * @author XueWeiWei * @date 2019/8/26 16:22 */ package com.nps.utils; import java.text.ParseExcep ...
- Neo4j模糊查询及分页查询
Neo4j模糊查询:采用正则方式: MATCH (n:House) where n.Name =~ '李.*' RETURN n 分页: 使用skip 及 limit MATCH (n:House) ...
- scrapy不抓取重复的网页解决办法
1.scrapy爬虫遇到一个问题,有时候会对一个网页重复爬取提取不同的数据,这时候会发现,后面的那个重复爬取scrapy直接终止了. 原因: scrapy 的request逻辑里面 dont_fil ...