有一件物品，你想看看它在京东下所有搜索结果的价格，要怎么办呢？

京东这个网站还是很好爬的，所有价格信息都写在了Html里面，而且跳到第二页之后，url也是有规律的，基本没有什么技术难度。

例如：想找ipad这个商品

在搜索栏输入后显示商品的列表，虽然URL很复杂，但可以简化为：

http://search.jd.com/Search?keyword=ipad

换页的话，只要在最后加上一些参数（Get方法）：

http://search.jd.com/Search?keyword=ipad&page=3

page的数字以奇数方式递增的。

所以只要连上这个url，再返回html，再解析html就能获得价格和商品名了。

我是用Jsoup解析的：

Elements p_name = doc.select("div.p-name");

Iterator<Element> name = p_name.iterator();

这里有必要说明下：

Elements这个类，其实是一个集合，是Jsoup解析html时，获得的所有"div.p-name"的元素的集合

所有用一个迭代器来遍历。

效果大概这样：

Apple iPad mini 2 7.9英寸平板电脑 银色（16G WLAN版/A7芯片/Retina显示屏 ME279CH/A） ¥1988.00 货到付款
Apple iPad Air 9.7英寸平板电脑 银色（16G WLAN版/A7芯片/Retina显示屏 MD788CH/A） ¥2888.00 货到付款
Apple iPad mini 2 ME280CH/A （配备 Retina 显示屏 7.9英寸 32G WLAN 机型 银色） ¥2338.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 金色（16G WLAN版/A8X 芯片/Retina显示屏/Touch ID技术 MH0W2CH/A） ¥3588.00 货到付款
Apple iPad Air 9.7英寸平板电脑 银色（32G WLAN版/A7芯片/Retina显示屏 MD789CH/A） ¥3288.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 金色（64G WLAN版/A8X 芯片/Retina显示屏/Touch ID技术 MH182CH/A） ¥4288.00 货到付款
Apple iPad mini 4 7.9英寸平板电脑 金色（16G WLAN版/A8芯片/Retina显示屏/Touch ID技术 MK6L2CH/A） ¥2888.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 银色（16G WLAN版/A8X 芯片/Retina显示屏/Touch ID技术 MGLW2CH/A ） ¥3588.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 银色（64G WLAN版/A8X 芯片/Retina显示屏/Touch ID技术 MGKM2CH/A ） ¥4288.00 货到付款
Apple iPad mini 4 7.9英寸平板电脑 金色（64G WLAN版/A8芯片/Retina显示屏/Touch ID技术 MK9J2CH/A） ¥3588.00 货到付款
Apple iPad mini 2 7.9英寸平板电脑 深空灰色（16G WLAN版/A7芯片/Retina显示屏 ME276CH/A） ¥1988.00 货到付款
Apple iPad mini 7.9英寸平板电脑 黑色（16G WiFi+Cellular版MD540CH/A） ¥1499.00 货到付款
Apple iPad mini 2 7.9英寸平板电脑 深空灰色（32G WLAN版/A7芯片/Retina屏 ME277CH/A） ¥2388.00 货到付款
Apple iPad Air 9.7英寸平板电脑 深空灰色（16G WLAN版/A7芯片/Retina显示屏 MD785CH/A） ¥2888.00 货到付款
Apple iPad mini 4 7.9英寸平板电脑 银色（16G WLAN版/A8芯片/Retina显示屏/Touch ID技术 MK6K2CH/A） ¥2888.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 深空灰色（64G WLAN版/A8X芯片/Retina屏/Touch ID技术 MGKL2CH/A ） ¥4288.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 深空灰色（16G WLAN版/A8X芯片/Retina屏/Touch ID技术 MGL12CH/A ） ¥3588.00 货到付款
Apple iPad Pro 12.9英寸平板电脑 金色（32G WLAN版/A9X芯片/Retina显示屏/Multi-Touch技术 ML0H2CH/A） ¥5888.00 货到付款
Apple iPad Air 9.7英寸平板电脑 深空灰色（32G WLAN版/A7芯片/Retina显示屏 MD786CH/A） ¥3288.00 货到付款
Apple iPad Air 2 MH172CH/A （9.7英寸 64G WLAN+Cellular 机型 金色） ¥5188.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 金色（128G WLAN版/A8X 芯片/Retina显示屏/Touch ID技术 MH1J2CH/A ） ¥4988.00 货到付款
Apple iPad mini 2 ME280CH/A （配备 Retina 显示屏 7.9英寸 32G WLAN 银色） ¥2388.00 货到付款
Apple iPad Pro 12.9英寸平板电脑 金色（128G WLAN版/A9X芯片/Retina显示屏/Multi-Touch技术 ML0R2CH/A） ¥6888.00 货到付款
Apple iPad mini 4 7.9英寸平板电脑 深空灰色（16G WLAN版/A8芯片/Retina显示屏/Touch ID技术 MK6J2CH/A） ¥2888.00 货到付款
Apple iPad mini 4 7.9英寸平板电脑 金色（128G WLAN版/A8芯片/Retina显示屏/Touch ID技术 MK9Q2CH/A） ¥4288.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 深空灰色（128G WLAN版/A8X芯片/Retina屏/Touch ID技术 MGTX2CH/A） ¥4988.00 货到付款
Apple iPad Air 2 9.7英寸平板电脑 银色（128G WLAN版/A8X 芯片/Retina显示屏/Touch ID技术 MGTY2CH/A） ¥4988.00 货到付款
Apple iPad Air 2 MH1C2CH/A （9.7英寸 16G WLAN+Cellular 机型 金色） ¥4488.00 货到付款
Apple iPad Pro 12.9英寸平板电脑 银色（32G WLAN版/A9X芯片/Retina显示屏/Multi-Touch技术 ML0G2CH/A） ¥5888.00 货到付款
Apple iPad Pro 12.9英寸平板电脑 银色（128G WLAN版/A9X芯片/Retina显示屏/Multi-Touch技术 ML0Q2CH/A） ¥6888.00 货到付款

不一定和页面上的顺序对得上，但是名字对应的价格是对的。

总结一下：

商品的列表页面：

http://search.jd.com/Search?keyword=“商品名”&page=“页数”

真是太简单啦！

使用JAVA爬取京东商品价格的更多相关文章

  1. Java实现爬取京东手机数据

    Java实现爬取京东手机数据 最近看了某马的Java爬虫视频,看完后自己上手操作了下,基本达到了爬数据的要求,HTML页面源码也刚好复习了下,之前发布两篇关于简单爬虫的文章,也刚好用得上.项目没什么太 ...

  2. 分布式爬虫系统设计、实现与实战：爬取京东、苏宁易购全网手机商品数据+MySQL、HBase存储

    http://blog.51cto.com/xpleaf/2093952 1 概述 在不用爬虫框架的情况,经过多方学习,尝试实现了一个分布式爬虫系统,并且可以将数据保存到不同地方,类似MySQL.HB ...

  3. webMagic+RabbitMQ+ES爬取京东建材数据

    本次爬虫所要爬取的数据为京东建材数据,在爬取京东的过程中,发现京东并没有做反爬虫动作,所以爬取的过程还是比较顺利的. 为什么要用WebMagic: WebMagic作为一款轻量级的Java爬虫框架,可 ...

  4. 利用selenium爬取京东商品信息存放到mongodb

    利用selenium爬取京东商城的商品信息思路: 1.首先进入京东的搜索页面,分析搜索页面信息可以得到路由结构 2.根据页面信息可以看到京东在搜索页面使用了懒加载,所以为了解决这个问题,使用递归.等待 ...

  5. Scrapy实战篇（八）之Scrapy对接selenium爬取京东商城商品数据

    本篇目标:我们以爬取京东商城商品数据为例,展示Scrapy框架对接selenium爬取京东商城商品数据. 背景: 京东商城页面为js动态加载页面,直接使用request请求,无法得到我们想要的商品数据 ...

  6. 爬虫系列(十三) 用selenium爬取京东商品

    这篇文章,我们将通过 selenium 模拟用户使用浏览器的行为,爬取京东商品信息,还是先放上最终的效果图: 1.网页分析 (1)初步分析 原本博主打算写一个能够爬取所有商品信息的爬虫,可是在分析过程 ...

  7. 正则爬取京东商品信息并打包成.exe可执行程序。

    本文爬取内容,输入要搜索的关键字可自动爬取京东网站上相关商品的店铺名称,商品名称,价格,爬取100页(共100页) 代码如下: import requests import re # 请求头 head ...

  8. 正则爬取京东商品信息并打包成.exe可执行程序

    本文爬取内容,输入要搜索的关键字可自动爬取京东网站上相关商品的店铺名称,商品名称,价格,爬取100页(共100页) 代码如下: ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 1 ...

  9. JS+Selenium+excel追加写入，使用python成功爬取京东任何商品~

    之前一直是requests库做爬虫,这次尝试下使用selenium做爬虫,效率不高,但是却没有限制,文章是分别结合大牛的selenium爬虫以及excel追加写入操作而成,还有待优化,打算爬取更多信息 ...

随机推荐

  1. SQL Server 批量插入数据

    请看代码: 创建表值参数类型: 请看代码:

  2. Mysql Innodb 引擎优化 参数（innodb_buffer_pool_size）

    在mysql的学习过程中,要是不把一些基本概率弄的很清楚,难免显得过于不专业. 作用: 这个参数主要作用是缓存innodb表的索引,数据,插入数据时的缓冲 默认值:128M 专用mysql服务器设置的 ...

  3. HDU1800 hash+去前导0

    注意一:卡map的时间,但是好好写+运气还是可以卡过,哇...求人品爆发 注意二:去前导0,毕竟‘0’也有ASCII码 #include<cstdio> #include<cstdl ...

  4. Java并发--进程与线程由来

    下面是本文的目录大纲: 一.操作系统中为什么会出现进程? 二.为什么会出现线程? 三.多线程并发 一.操作系统中为什么会出现进程? 说起进程的由来,我们需要从操作系统的发展历史谈起. 也许在今天,我们 ...

  5. NET Core2基于RabbitMQ对Web前端实现推送功能

    NET Core2基于RabbitMQ对Web前端实现推送功能 https://www.cnblogs.com/Andre/p/10012329.html 在我们很多的Web应用中会遇到需要从后端将指 ...

  6. JavaScript 定时任务多事件冲突问题

    var iCount = setInterval(ChangeTime, 3500);//3.5秒请求一次函数 function ChangeTime() { $.ajax({ type: " ...

  7. [BZOJ5361][Lydsy1805月赛]对称数

    bzoj Description 给你一棵树,每个点有一个编号\(a_i\).\(Q\)组询问,每次问一条路径上最小的出现了偶数次的编号是多少(包括零次). 多组数据,\(T\le10,n,Q,a_i ...

  8. 使用gopherjs 进行web 应用开发

    1. 安装 go get -u github.com/gopherjs/gopherjs 2. 基本代码使用 备注: 这个只是一个简单的demo,进行pi 运算,结果还真是快 a. code gola ...

  9. Oracle之 等待事件log file sync + log file parallel write (awr优化)

    这是3月份某客户的情况,原因是server硬件故障后进行更换之后,业务翻译偶尔出现提交缓慢的情况.我们先来看下awr的情况. 我们能够看到,该系统的load profile信息事实上并不高,每秒才21 ...

  10. Java API 操作Redis

    针对Redis的Java客户端有很多种,具体查看官网信息:https://redis.io/clients#java 本次测试使用Jedis API,Jedis使用方便,其api方法名称与redis命 ...