背景:现在这个时代,快递横飞。我们想寄一个快递,给出的选择也是多种多样的(根据快递的大小、送达的时间、寄送的距离及价格、公司服务质量,来选择不同的快递[物流]公司)。往往合适的事情选择合适的方式,这才是最完美的。

需求:想寄一个大概 20 kg左右的包裹,不知道选择哪个快递公司最合适,有个各大快递公司快递信息以及价格目录表就爽歪歪了。

思路:获取各大快递物流公司查询接口,传入寄件地和目的地,以及重量。解析查询的返回结果,打印相关信息就ok了。

撸起袖子干,找到了一个各大快递公司运费价格查询的网址 快递窝(窃喜~~由于本人比较懒,省了好多事)

一、获取查询接口

F12 打开调试工具,选择NetWork选项,在对应输入框内输入相关信息,点击结果。查看 Request URL

二、获取相关数据

NetWork中查看 Form Data数据,分析数据所代表的含义

三、编写爬虫脚本

使用Python3.6编写脚本

"""
@author : zzw
@time : 2018/5/10 21:55
@file : queryprice.py
""" import urllib.request
import urllib.parse
import json
import re
import requests class QueryPrice(object):
# 初始化: who 对应的快递公司id; weight寄出物品的重量kg
def __init__(self, who, weight):
self.who = int(who)
self.weight = int(weight)
self.url = "http://www.kuaidiwo.cn/freight/ajaxjg.php" # 获取服务器响应
def get_response(self):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) Chrome/63.0.3239.26 QQBrowser/10.0.1125.400'
}
data = {
'expid': self.who,
'provinceid': 9, # 上海id
'cityid': 155, # 浦东id
'toprovinceid': 1, # 北京id
'tocityid': 41, # 朝阳id
'weight': self.weight
}
# 使用requests 更加简洁
html = requests.post(self.url, data, headers).text
'''data = urllib.parse.urlencode(data, encoding='utf-8') # 将data数据编码为 utf-8
req = urllib.request.Request(self.url, data, headers) # 封装请求信息
resp = urllib.request.urlopen(req) # 发送请求
html = resp.read().decode('utf-8') # 将utf-8解码为 Unicode
'''
# print(html)
return html # 解析返回的结果
def get_result(self):
first = '上海浦东--> 北京朝阳 %dkg物品运费为:' % self.weight
html = self.get_response()
info = json.loads(html)
if info['data'] and info['jg']:
result1 = first + "%s 元\t%s " % (info['jg'], info['data'][0]['name'])
# print(result)
return result1
else:
result2 = first + "{0} 元\t未查询到此快递公司 id={1}".format(info['jg'], self.who)
return str(result2) if __name__ == '__main__':
prices = []
for i in range(1, 50):
q = QueryPrice(i, 20)
result = q.get_result()
price = int(re.findall(r'(\d+)\s元', result)[0])
if price != 0:
print(result)
prices.append(price)
print('最便宜价格为:%s \n最贵的价格为:%s' % (min(prices), max(prices)))

四、查看查询效果

查询的是前50个id(快递公司)的价格目录表,有些便宜的无法想象,有些贵的离谱。当然还是那句话,合适的服务合适的价格才是我们最合适的选择。





写在最后: 虽然查询出了这么多快递公司,甚至还有些听都没听过,但是这些快递(物流)公司的的价格也有些偏差。这里又要说到一些快递公司的乱收取费用的事了,有些公司在官网连个明码标价的都没有,个别区域就看心情和情况收费。

Python爬取指定重量的快递价格的更多相关文章

  1. python爬取指定新闻

    作业的要求来自于:https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2894 给定一篇新闻的链接newsUrl,获取该新闻的全部信息 标题 ...

  2. Python爬取豆瓣指定书籍的短评

    Python爬取豆瓣指定书籍的短评 #!/usr/bin/python # coding=utf-8 import re import sys import time import random im ...

  3. python爬取京东价格

    昨天准备爬取一个京东商品的价格,正则写好了一直是空的 后来我去页面里面看了下,价格标签里果然是空的 百度了下,大家都说是js来控制显示价格的 于是去抓包试试,找到了一条mgets的请求 中间很多参数不 ...

  4. Python 爬取所有51VOA网站的Learn a words文本及mp3音频

    Python 爬取所有51VOA网站的Learn a words文本及mp3音频 #!/usr/bin/env python # -*- coding: utf-8 -*- #Python 爬取所有5 ...

  5. python爬取网站数据

    开学前接了一个任务,内容是从网上爬取特定属性的数据.正好之前学了python,练练手. 编码问题 因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了. 问题要从文字的编码讲 ...

  6. Python-定时爬取指定城市天气(二)-邮件提醒

    目录 一.概述 二.模块重新划分 三.优化定时任务 四.发送邮件 五.源代码 一.概述 上一篇文章python-定时爬取指定城市天气(一)-发送给关心的微信好友中我们讲述了怎么定时爬取城市天气,并发送 ...

  7. Python-定时爬取指定城市天气(一)-发送给关心的微信好友

    一.背景 上班的日子总是3点一线,家里,公司和上班的路径,对于一个特别懒得我来说,经常遇到上班路上下雨了,而我却没带伞,多么痛的领悟.最近对python有一种狂热的学习热情,写了4年多的C++代码,对 ...

  8. python爬取网易云音乐歌曲评论信息

    网易云音乐是广大网友喜闻乐见的音乐平台,区别于别的音乐平台的最大特点,除了“它比我还懂我的音乐喜好”.“小清新的界面设计”就是它独有的评论区了——————各种故事汇,各种金句频出.我们可以透过歌曲的评 ...

  9. 利用Python爬取豆瓣电影

    目标:使用Python爬取豆瓣电影并保存MongoDB数据库中 我们先来看一下通过浏览器的方式来筛选某些特定的电影: 我们把URL来复制出来分析分析: https://movie.douban.com ...

随机推荐

  1. 从JS的深拷贝与浅拷贝到jq的$.extend()方法

    一.堆内存与栈内存 堆和栈都是内存中划分出来的用来存储的区域,栈为自动分配的内存空间,它由系统自动释放,堆为动态分配的内存,大小不定也不会自动释放. 二.js基本数据类型与引用类型的不同 基本数据类型 ...

  2. django rest framework pagination

    REST framework 包含对可定制分页样式的支持.这使你可以将较大的结果集分成单独的数据页面. 分页 API 支持: 以分页链接的形式作为响应内容的一部分. 以分页链接的形式包含在响应的 he ...

  3. PWN! 第一次测试答案及讲解

    题目链接:https://vjudge.net/contest/279567#overview 题目密码:190118 1.A+B:(考察点:EOF输入.加法运算) Topic: Calculate ...

  4. ubuntu下adb的使用以及开启黑域

    ubuntu使用adb开启黑域 刷了原生后经好友推荐, 黑域对于App的管控效果还是很不错的 adb的安装 此处顺带着就把fastboot也安装了 sudo apt update sudo apt i ...

  5. (转)Java回收对象的标记 和 对象的二次标记过程

    Java回收对象的标记 和 对象的二次标记过程 二次标记 针对这个问题,虚拟机的做法是进行两次标记,即第一次标记不在“关系网”中的对象.第二次的话就要先判断该对象有没有实现finalize()方法了, ...

  6. java线程池与五种常用线程池策略使用与解析

    背景:面试中会要求对5中线程池作分析.所以要熟知线程池的运行细节,如CachedThreadPool会引发oom吗? java线程池与五种常用线程池策略使用与解析 可选择的阻塞队列BlockingQu ...

  7. python全栈开发中级班全程笔记(第二模块、第四章)(常用模块导入)

    python全栈开发笔记第二模块 第四章 :常用模块(第二部分)     一.os 模块的 详解 1.os.getcwd()    :得到当前工作目录,即当前python解释器所在目录路径 impor ...

  8. 你不得不用的MAC软件开发工具软件,个个万里挑一

    作为软件行业,尤其是程序员,Mac上都不得不安装一些必备的MAC软件开发工具软件,下面给大家分享一些必装的MAC软件开发工具软件,以备日后之需,有备无患. 其中,包含各种语言的主流 IDE.开发辅助. ...

  9. XSS绕过小结

    0x00前言 我们友情进行XSS检查,偶然跳出个小弹窗,其中我们总结了一些平时可能用到的XSS插入方式,方便我们以后进行快速检查,也提供了一定的思路,其中XSS有反射.存储.DOM这三类,至于具体每个 ...

  10. [算法竞赛入门经典]Ancient Cipher, NEERC 2004,UVa1339

    Description Ancient Roman empire had a strong government system with various departments, including ...