本文仅供学习交流使用,如侵立删!联系方式及demo下载见文末

汽车之家2021 全系车型参数(包含历史停售车型)


2021.10.21更新

  • 增加参数:电动扰流板、无框设计车门、隐藏电动门把手、自动驾驶芯片、芯片总算力...


2021.8.12更新

  • 最新官网数据(共57380款车型数据)

2021.7.8更新

  • 最新官网数据(新增或修改共1098款车型数据)


打包成了采集器,需要的自行下载。


2021.5.17更新

  • 更新最新官网数据:新增821款车型参数及图片


2021.4.14更新

  • 最新官网数据
  • 更改解析,保存更多参数
  • 增加:logo、车型图片






2021.3.7更新最新数据


2021.1.29更新

全系车辆十年保值率数据


2021.1.17更新

汽车之家全系车型图片:576149张原图(50.5G)


2021.1.8更新

增加:品牌LOGO


2021.1.6更新

更新:最新2021官网数据




2020.5.9更新

增加:选装包、外观颜色、内饰颜色参数

修复:多行数据存储不完整问题



2020.4.15更新

更新最新官网数据


2020.3.22更新

新增:途虎养车 车型、保养 数据

https://blog.csdn.net/qq_38154948/article/details/104700905


2020.1.9更新

增加:品牌首字母,品牌ID,品牌名称,车系ID,车系名称,车型ID,车型名称 字段数据




2019.12.25更新

很多网友留言说需要车标logo,果断满足需求

1. 车标logo页面

只需要车标logo和品牌参数,从移动端页面直接获取比较方便

https://car.m.autohome.com.cn/

2.解析车标图片url和品牌名称

response = requests.get("https://car.m.autohome.com.cn/")
response.encoding = 'UTF-8'
html = etree.HTML(response.text)
items = html.xpath('//*[@class="item"]')
for item in items:
logo_url = item.xpath('./img/@data-src')
if not logo_url:
continue
text = item.xpath('./span')[0].text
downLoadImage(text, logo_url[0])

3.根据url下载图片

def downLoadImage(fileName, downLoadUrl):
r = requests.get(downLoadUrl)
fileName = fileName + ".jpg"
print("正在下载 " + fileName)
with open("img/" + fileName, 'wb') as f:
f.write(r.content)

4.运行结果


2019.12.17更新

闲来无事研究了一下*车之家页面class 字体混淆



思路:

  1. 获取车型参数页面源码
  2. 解析车型混淆字体js数据
  3. 解析车型参数json数据
  4. 匹配样式文件与json数据
  5. 将混淆后的字体替换为正常字体

效果:



途中碰到问题:

  • 历史车型的获取
  • 全部参数的解析
  • 数据错位问题

2019.10.12更新

有人反馈数据不全刚抽出时间看了一下,原来之前只取了在售车型没有获取停售的车型数据,本次更新后数据为国内在售(停售)全系车型数据包含历史数据


2019.9.29更新

闲来无事把脚本更新了一下用selenium,获取了全系全车型详细参数,主要这次包含了停售车型数据,所有历史车型数据


所有车型数据



分析发现所有车型数据在一个js文件中:

ps:当然也可通过解析网页 xpath提取,或通过接口,获取方式有很多种,此文主要需要seriesId 车型ID 这一项数据 为获取车型价格做准备 顾用此方法。

 def get_model(self):
"""获取所有车型数据"""
# 所有车型js文件
url = '~~删除线格式~~ '
response = self._parse_url(url)
# GBK解码
content = response.content.decode('GBK')
# 剔除开头和结尾处多余字符 转换为json
content = content.replace('var listCompare$100= ', '').replace(';', '')
content = json.loads(content)
for i in content:
# 品牌首字母,名称,车系列表
brand_l, brand_n, brand_list, = i['L'], i['N'], i['List']
for q in brand_list:
# 车系名称,车型列表
car_l, car_list = q['N'], q['List']
for t in car_list:
# 车型ID, 车型名称
model_l = t['I']
model_n = t['N']
yield brand_l, brand_n, car_l, model_n, model_l

获取价格



价格接口需要两个参数:dealerId 经销商ID 和 seriesId 车型ID



经销商接口需要两个参数:seriesId 车型ID 和 cityId 区域代码

    def get_price(self, dealerId, seriesId):
"""获取价格"""
url = ‘~~删除线格式~~ ’
# 根据经销商ID 和 车型ID 获取车型价格
response = self._parse_url(url)
# 无数据跳过
if not response.json()['result']['list']:
print('暂无经销商信息')
return
# 获取经销商信息 主要取经销商ID 用来获取价格
contents = response.json()['result']['list']
for con in contents:
# 汽车型号
SpecName = con['SpecName']
# 指导价
OriginalPrice = con['OriginalPrice']
# 参考价
Price = con['Price']
print('{}数据请求中'.format(SpecName))
yield SpecName, OriginalPrice, Price


数据DEMO

链接:https://pan.baidu.com/s/1aQMR_2ix_ANK7DkujxaAwg

提取码:cmwi

如需完整源码或完整数据资料联系我


本文仅供学习交流使用,如侵立删!
企鹅 、WX: 1033383881

Python 汽车之家 全系车型参数(包含历史停售车型) 最全的更多相关文章

  1. Python 车主之家全系车型(包含历史停售车型)配置参数爬虫

    本文仅供学习交流使用,如侵立删!demo下载见文末 车主之家全系车型(包含历史停售车型)配置参数爬虫 先上效果图 环境: win10 ,Contos7.4 python3.9.4 pycharm202 ...

  2. nodejs爬虫——汽车之家所有车型数据

    应用介绍 项目Github地址:https://github.com/iNuanfeng/node-spider/ nodejs爬虫,爬取汽车之家(http://www.autohome.com.cn ...

  3. Python 爬取途虎养车 全系车型 轮胎 保养 数据

    Python 爬取途虎养车 全系车型 轮胎 保养 数据 2021.7.27 更新 增加标题.发布时间参数 demo文末自行下载,需要完整数据私聊我 2021.2.19 更新 增加大保养数据 2020. ...

  4. python 爬虫 汽车之家车辆参数反爬

    水平有限,仅供参考. 如图所示,汽车之家的车辆详情里的数据做了反爬对策,数据被CSS伪类替换. 观察 Sources 发现数据就在当前页面. 发现若干条进行CSS替换的js 继续深入此JS 知道了数据 ...

  5. Python爬虫——使用 lxml 解析器爬取汽车之家二手车信息

    本次爬虫的目标是汽车之家的二手车销售信息,范围是全国,不过很可惜,汽车之家只显示100页信息,每页48条,也就是说最多只能够爬取4800条信息. 由于这次爬虫的主要目的是使用lxml解析器,所以在信息 ...

  6. Python 爬取汽车之家口碑数据

    本文仅供学习交流使用,如侵立删!联系方式见文末 汽车之家口碑数据 2021.8.3 更新 增加用户信息参数.认证车辆信息等 2021.3.24 更新 更新最新数据接口 2020.12.25 更新 添加 ...

  7. Python爬虫入门教程 64-100 反爬教科书级别的网站-汽车之家,字体反爬之二

    说说这个网站 汽车之家,反爬神一般的存在,字体反爬的鼻祖网站,这个网站的开发团队,一定擅长前端吧,2019年4月19日开始写这篇博客,不保证这个代码可以存活到月底,希望后来爬虫coder,继续和汽车之 ...

  8. python3 爬取汽车之家所有车型数据操作步骤(更新版)

    题记: 互联网上关于使用python3去爬取汽车之家的汽车数据(主要是汽车基本参数,配置参数,颜色参数,内饰参数)的教程已经非常多了,但大体的方案分两种: 1.解析出汽车之家某个车型的网页,然后正则表 ...

  9. python爬虫——汽车之家数据

    相信很多买车的朋友,首先会在网上查资料,对比车型价格等,首选就是"汽车之家",于是,今天我就给大家扒一扒汽车之家的数据: 一.汽车价格: 首先获取的数据是各款汽车名称.价格范围以及 ...

随机推荐

  1. unity---光照基础

    发射光源类型 光照参数介绍 让摄像头看到Flare 耀斑 改变影子

  2. [C++STL] 迭代器 iterator 的使用

    定义 迭代器是一种检查容器内元素并遍历元素的数据类型,表现的像指针. 基本声明方式 容器::iterator it = v.begin();//例:vector<int>::iterato ...

  3. QC快速充电

    QC快充 一.高通QC快充的介绍 二.识别充电类型的芯片介绍 三.QC充电曲线 四.如何在log中看QC充电类型 五.QC3识别错误 六.波形图 一.高通QC快充的介绍 高通QC快充技术,又称Quic ...

  4. 1.3温度转换(中国大学Mooc-Python 语言程序设计)

    温度转换 温度刻画的两种不同体系 1.摄氏度:(中国等世界大多数国家使用) 以1标准大气压下水的结冰点为0度,沸点为100度,将温度进行等分刻画  2.华氏度:(美国.英国等国家使用) 以1标准大气压 ...

  5. Java内存分析——JavaSE基础

    内存分析 堆:存放new的对象和数组,可以被所有线程共享,不会存放别的对象引用 栈 存放基本变量类型(会包含这个基本类型的具体数值) 引用对象的变量(会存放这个引用在堆里的具体地址) 方法区(属于堆的 ...

  6. Spring IOC源码研究笔记(2)——ApplicationContext系列

    1. Spring IOC源码研究笔记(2)--ApplicationContext系列 1.1. 继承关系 非web环境下,一般来说常用的就两类ApplicationContext: 配置形式为XM ...

  7. 从零开始构建并编写神经网络---Keras【学习笔记】[1/2]

    Keras简介:   Keras是由纯python编写的基于theano/tensorflow的深度学习框架.   Keras是一个高层神经网络API,支持快速实验,能够把你的idea迅速转换为结果, ...

  8. JavaScript之parseInt()方法

    parseInt(string, radix):用于解析一个字符串并返回指定基数的十进制整数或者NaN string参数为被解析的值,如果该值不是一个字符串,则会隐式的使用toString()方法转化 ...

  9. Windows系统重置用户登录密码

    更新记录 2022年4月16日:本文迁移自Panda666原博客,原发布时间:2021年8月23日. 方法一.使用带有密码恢复功能的PE盘 买一张 PE光盘 或 自制PE启动盘,这里推荐微PE. 准备 ...

  10. generatorConfig.xml自动生成实体类,dao和xml

    <?xml version="1.0" encoding="UTF-8"?><!DOCTYPE generatorConfiguration ...