from selenium import webdriver import os import json import time class Douyu: def __init__(self): # 1.发送首页的请求 self.driver = webdriver.Chrome('../chromedriver.exe') self.driver.get('https://www.douyu.com/g_yz') # 获取页面内容 def get_content(self): time.sle…

注: 上一篇<Python+Selenium爬取动态加载页面(1)>讲了基本地如何获取动态页面的数据,这里再讲一个稍微复杂一点的数据获取全国水雨情网.数据的获取过程跟人手动获取过程类似,所以也不会对服务器造成更大负荷.本文的代码见Selenium获取动态页面数据2.ipynb或Selenium获取动态页面数据2.py.同样在开始前需要准备环境,具体环境准备参考上一篇. 1.数据获取目标 全国水雨情网的数据同样是动态加载出来的,在浏览中打开网页后http://xxfb.hydroinfo.gov…

注: 最近有一小任务,需要收集水质和水雨信息,找了两个网站:国家地表水水质自动监测实时数据发布系统和全国水雨情网.由于这两个网站的数据都是动态加载出来的,所以我用了Selenium来完成我的数据获取.数据的获取过程跟人手动获取过程类似,所以也不会对服务器造成更大负荷.这是我写的第1个爬虫,初次接触,还请各位多多指教.本文的代码见Selenium获取动态页面数据1.ipynb或Selenium获取动态页面数据1.py. 1.准备环境 工欲善其事,必先装好环境,耐心地把下面的环境装好. 建议安装Py…

今日内容概要 selenium的使用 打码平台使用 xpath使用 爬取京东商品信息 scrapy 介绍和安装 内容详细 1.selenium模块的使用 # 之前咱们学requests,可以发送http请求,但是有的页面是由render+ajax渲染完的,如果只使用requestes,它只能执行render的请求,拿回数据,执行ajax的请求,需要你再去分析,再去发请求 # 使用selenium,控制浏览器,操作浏览器,完成人的行为-->自动化测试工具 # 本质是python通过代码,借助于浏览…

整个爬虫是基于selenium和Python来运行的,运行需要的包 mysql,matplotlib,selenium 需要安装selenium火狐浏览器驱动,百度的搜寻. 整个爬虫是模块化组织的,不同功能的函数和类放在不同文件中,最后将需要配置的常量放在constant.py中 项目地址:github(点击直达) 整个爬虫的主线程是Main.py文件,在设置好constant.py后就可以直接运行Main.py 从主线分析 Main.py # /bin/python # author:leoz…

利用selenium爬取京东商城的商品信息思路: 1.首先进入京东的搜索页面,分析搜索页面信息可以得到路由结构 2.根据页面信息可以看到京东在搜索页面使用了懒加载,所以为了解决这个问题,使用递归.等待数据全部加载完成. 3.创建下一页的函数去完成点击事件,获取下一页的数据 4.首页处理就直接放在脚本运行就好了. 5.将数据放到mongodb中 可以实现自己定义搜索内容,注意京东的页面数据最大为100页. 不完善的地方: 1.每次都是利用sleep等待加载.浪费时间 2.网速不好程序会因为没有获取…

之前我们使用了selenium加Firefox作为下载中间件来实现爬取京东的商品信息.但是在大规模的爬取的时候,Firefox消耗资源比较多,因此我们希望换一种资源消耗更小的方法来爬取相关的信息. 下面就使用selenium加PhantomJS来实现之前的相同的逻辑. 这里需要修改的就是spider.py文件,其余的部分并不需要做出修改,我们给phantomjs添加一个User-Agent信息,并且设置不加载图片,这样将会加快渲染的速度. spider.py from scrapy import…

最近在学Python的爬虫,顺便就练习了一下爬取淘宝上的淘女郎信息:手法简单,由于淘宝网站本上做了很多的防爬措施,应此效果不太好! 爬虫的入口:https://mm.taobao.com/json/request_top_list.htm?type=0&page=0 本人代码如下:请各位高人多指教,请留言,不胜感激!! #_*_coding:utf-8_*_ import unicodedata import urllib.request import re import os root_url…

一,抓取分析 本次目标是爬取京东商品信息,包括商品的图片,名称,价格,评价人数,店铺名称.抓取入口就是京东的搜索页面,这个链接可以通过直接构造参数访问https://search.jd.com/Search?keyword=iPhone,显示的就是第一页的搜索结果. 页面下方有一个分页导航,包括前7页的链接,下一页的链接和跳转任意页面的链接. 这里的商品显示结果一般都是100页,要获取每一页的内容只需要将页码从1到100遍历即可.所以,我们直接在页面输入框中输入要跳转的页面,点击确定按钮就跳转到…

原文链接:https://mp.weixin.qq.com/s/4EXgR4GkriTnAzVxluJxmg 「itchat」一个开源的微信个人接口,今天我们就用itchat爬取微信好友信息,无图言虚空 三张图分别是「微信好友头像拼接图」.「性别统计图」.「个性签名统计图」 「微信好友头像拼接图」 「性别统计图」 「个性签名统计图」 安装 pip3 install itchat 主要用到的方法: itchat.login() 微信扫描二维码登录 itchat.get_friends() 返回完整…

目的:按给定关键词爬取京东商品信息,并保存至mongodb. 字段:title.url.store.store_url.item_id.price.comments_count.comments 工具:requests.lxml.pymongo.concurrent 分析: 1.  https://search.jd.com/Search?keyword=耳机&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=er%27ji&…

1.先附上效果图(我偷懒只爬了4页)  2.京东的网址https://www.jd.com/ 3.我这里是不加载图片,加快爬取速度,也可以用Headless无弹窗模式 options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) #不加载图片 browser = webdriver.Chrome…

1.selenium Selenium 本是一个用于Web应用程序测试的工具.Selenium测试直接运行在浏览器中,就像真正的用户在操作一样.而这一特性为爬虫开发提供了一个选择及方向,由于其本身依赖于浏览器,所以使用Python的selenium库的前提是:需要下载相应的浏览器驱动程序,这里附上Chromedriver的下载地址:chromedriver:(64位的向下兼容,) 2.code: 说明: 1.多线程爬取(producer&consumer modal): 2.结果集的存取文件类型…

环境: windows,python3.4 参考链接: https://blog.csdn.net/weixin_36604953/article/details/78156605 代码:(亲测可以运行) import requests from bs4 import BeautifulSoup import re import random import time # 爬虫主函数 def mm(url): # 设置目标url,使用requests创建请求 header = { "User-Ag…

有些时候我们需要用到百度文库的某些文章时,却发现需要会员才能下载,很难受,其实我们可以通过爬虫的方式来获取到我们所需要的文本. 工具:python3.7+selenium+任意一款编辑器 前期准备:可以正常使用的浏览器,这里推荐chrome,一个与浏览器同版本的驱动,这里提供一个下载驱动的链接https://chromedriver.storage.googleapis.com/77.0.3865.40/chromedriver_win32.zip 首先我们来看一下百度文库中这一篇文章https…

还是分析一下大体的流程: 首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all 发现所有房间的信息都是保存在一个无序列表中的li中,所以我们可以先获取一个装有li的element对象的列表,然后在对每个element逐一操作 分析斗鱼的翻页,有一个下一页按钮,是个li,class="dy-Pagination-item-custom",但是当烦到最后一页的时候,class="dy-Pagination-dis…

--2013年10月10日23:54:43 今天需要获取机场信息,发现一个网站有数据,用爬虫趴下来了所有数据: 目标网址:http://www.feeyo.com/airport_code.asp?page=1 代码: #!/usr/bin/python #coding:gbk import urllib2 import re def op(page): url = "http://www.feeyo.com/airport_code.asp?page=%d" % page re_qb…

import json import time from selenium import webdriver """ 发送请求 1.1生成driver对象 2.1窗口最大化 2.2下拉滚动条(保证每个位置都刷新) 3.获取所有li标签列表 遍历li标签列表提取图片的连接以及主播的名字 保存图片 翻页 """ driver = webdriver.Chrome() driver.maximize_window() time.sleep(1) # 京…

# -*- coding:utf-8 -*- # author : yesehngbao # time:2018/3/29 import re import pymongo from lxml import etree from selenium import webdriver from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import We…

from selenium import webdriver import time # 打开浏览器 dr = webdriver.Chrome() # 打开某个网址 dr.get('https://user.qzone.qq.com/2330331400/main') # 切换框架 dr.switch_to_frame('login_frame') time.sleep(1) dr.find_element_by_link_text('帐号密码登录').click() # 输入账号 dr.fi…

# -*- coding: utf-8 -*-"""Created on Fri Aug 31  2018 @author: chenlinlab""" from selenium import webdriver from time import sleep options = webdriver.ChromeOptions() options.add_argument('disable-infobars') driver = webdrive…

这是我GitHub上简单的selenium介绍与简单使用:https://github.com/bwyt/spider/tree/master/selenium%E5%9F%BA%E7%A1%80 """ 发送请求 1.1生成driver对象 2.1窗口最大化 2.2下拉滚动条(保证每个位置都刷新) 3.获取所有li标签列表 遍历li标签列表提取图片的连接以及主播的名字 保存图片 翻页 """ import time import request…

# -*- coding: utf-8 -*- import json import os import time from multiprocessing import Pool import multiprocessing import requests from selenium import webdriver def get_image_links(keyword, num_requested = 1000): """get image links with sel…

使用scrapy框架之前,使用以下命令下载库: pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple 1.创建项目文件夹 scrapy startproject 项目名 2.用pyCharm查看生成的项目目录 项目创建成功之后,会得到图中的文件目录 3.创建爬虫 根据提示cd到创建的项目文件中 使用以下命令创建爬虫 说明: 51_job.com ---- ----主域名 scrapy genspider spider_51_…

import math import re import requests from lxml import etree type = "https://www.cnrepark.com/gyy/park{}/" urlList = [] for i in range(1,8): url = type.format(i) urlList.append(url) from time import sleep from selenium import webdriver from sele…

# 本程序亲测有效,用于理解爬虫相关的基础知识,不足之处希望大家批评指正from selenium import webdriver import time class Douyu: """爬取斗鱼房间信息""" def __init__(self): # 爬取目标 self.url = 'https://www.douyu.com/directory/all' # 获取浏览器对象 self.driver = webdriver.Chrome()…

本文转载自一下网站:Python爬虫(5):Selenium 爬取东方财富网股票财务报表 https://www.makcyun.top/web_scraping_withpython5.html 需要学习的地方: 1.Selenium的安装,配置 2.Selenium的初步使用(自动翻页) 利用Selenium爬取东方财富网各上市公司历年的财务报表数据. 摘要: 现在很多网页都采取JavaScript进行动态渲染,其中包括Ajax技术.上一篇文章通过分析Ajax接口数据,顺利爬取了澎湃新闻网动…

python 爬虫 爬取哈尔滨天气信息 - http://www.weather.com.cn/weather/101050101.shtml 环境: windows7 python3.4(pip install requests:pip install BeautifulSoup4) 代码:(亲测可以正确执行) # coding:utf-8 """ 总结一下,从网页上抓取内容大致分3步: 1.模拟浏览器访问,获取html源代码 2.通过正则匹配,获取指定标签中的内容 3.将…

转载自:http://blog.csdn.net/eastmount/article/details/51231852 一. 文章介绍 源码下载地址:http://download.csdn.net/detail/eastmount/9501273前一篇文章"[python爬虫] Selenium爬取新浪微博内容及用户信息"简单讲述了如何爬取新浪微博手机端用户信息和微博信息.用户信息:包括用户ID.用户名.微博数.粉丝数.关注数等.微博信息:包括转发或原创.点赞数.转发数.评论数.发布…

前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: python小爬虫 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 效果图,其中涉及一些真名我就打码了,还有qq号我也打码了,见谅 分析登陆的元素,下图一目了然,怎么获取这个登陆元素应该都知道了 代码奉上…