pyspider 简单应用之快速问医生药品抓取（一）

网址：http://yp.120ask.com/search/-0-0--0-0-0-0.html

from pyspider.libs.base_handler import *

class Handler(BaseHandler):

    crawl_config = {

    }

    @every(minutes=24 * 60)

    def on_start(self):

        #进入主页

        self.crawl('http://yp.120ask.com/search/-0-0--0-0-0-0.html', callback=self.list_page)

鼠标放在药品名字上面，右键审查元素

明显可以看到点击的网址在<a>标签里面右键 copy CSS选择器，如果想拿到这一页的所有点击的URL，多copy几个

#gallery > ul > li:nth-child(1) > dl > dd.s_dd1 > a

#gallery > ul > li:nth-child(2) > dl > dd.s_dd1 > a

#gallery > ul > li:nth-child(5) > dl > dd.s_dd1 > a

把不同的地方去掉

#gallery > ul > li > dl > dd.s_dd1 > a

拿到所有翻页的URL，右键审查下一页的元素，copy CSS选择器

body > div.g-index-con.m1100.clears > div.p_contright.fr > div.s_pagediv > div > a.page-next

或者写划横线的 a.page-next 也可以

 @config(age=10 * 24 * 60 * 60)

    def list_page(self, response):

        #模拟点击药品

        for each in response.doc('#gallery > ul > li > dl > dd.s_dd1 > a').items():

            self.crawl(each.attr.href, callback=self.index_page)

        #模拟点击下一页

        for each in response.doc('a.page-next').items():

            self.crawl(each.attr.href, callback=self.list_page)

所有的url 获取到后，抓取网页内的数据，使用pyquery 获取数据

    @config(age=10 * 24 * 60 * 60)

    def index_page(self, response):

        res={}

        #药品通用名称

        res['药品通用名称']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p.name.clears > var > i:nth-child(1)').text()

　　　　　　#商品名称
　　　　　　res['商品名称']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p.name.clears > var > i:nth-child(2)').text()

　　　　　　#汉语拼音
　　　　　　res['汉语拼音']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p.name.clears > var > i:nth-child(3)').text()

　　　　　　#药品主要成分
　　　　　　res['主要成分']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(2) > var').text()

　　　　　　#药品性状
　　　　　　res['药品性状']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(3) > var').text()

　　　　　　#试用症
　　　　　　res['试用症']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(4) > var').text()

　　　　　　#主治疾病
　　　　　　res['主治疾病']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(5) > var').text()

　　　　　　#规格型号
　　　　　　res['规格型号']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(6) > var').text()

　　　　　　#用法用量
　　　　　　res['用法用量']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(7) > var').text()

　　　　　　#不良反应
　　　　　　res['不良反应']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(8) > var').text()

　　　　　　#禁忌
　　　　　　res['禁忌']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(9) > var').text()

　　　　　　#注意事项
　　　　　　res['注意事项']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(10) > var').text()

　　　　　　#药物互相作用
　　　　　　res['药物互相作用']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(11) > var').text()

　　　　　　#贮藏
　　　　　　res['贮藏']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(12) > var').text()

　　　　　　#有效期
　　　　　　res['有效期']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(13) > var').text()

　　　　　　#执行标准
　　　　　　res['执行标准']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(14) > var').text()

　　　　　　#批准文号
　　　　　　res['批准文号']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(15) > var').text()

　　　　　　#生产企业
　　　　　　res['生产企业']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(16) > var').text()

这里博主把抓取到的数据存到mongo中，建立字典res

保存数据到 drugsss_information 集合里面

self.save_data('drugsss_information',res)

下面是存入到mongoDB中的函数

def save_data(self,table_name,result):

        conn = MongoClient("localhost",27017) 

        db = conn.Fast_ask_doctor_drugs

        print table_name

        posts = db[table_name]

        try:

            posts.insert(result)

        except Exception,e:

            print e

最后附上所有的代码

#!/usr/bin/env python

# -*- encoding: utf-8 -*-

# Created on 2016-10-18 11:09:15

# Project: Drug_information

from pyspider.libs.base_handler import *

from pymongo import MongoClient

class Handler(BaseHandler):

    crawl_config = {

    }

    @every(minutes=24 * 60)

    def on_start(self):

        #进入主页

        self.crawl('http://yp.120ask.com/search/-0-0--0-0-0-0.html', callback=self.list_page)

    @config(age=10 * 24 * 60 * 60)

    def list_page(self, response):

        #模拟点击药品

        for each in response.doc('#gallery > ul > li > dl > dd.s_dd1 > a').items():

            self.crawl(each.attr.href, callback=self.index_page)

        #模拟点击下一页

        for each in response.doc('a.page-next').items():

            self.crawl(each.attr.href, callback=self.list_page)

    @config(age=10 * 24 * 60 * 60)

    def index_page(self, response):

        res={}

        #药品通用名称

        res['药品通用名称']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p.name.clears > var > i:nth-child(1)').text()

        #商品名称

        res['商品名称']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p.name.clears > var > i:nth-child(2)').text()

        #汉语拼音

        res['汉语拼音']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p.name.clears > var > i:nth-child(3)').text()

        #药品主要成分

        res['主要成分']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(2) > var').text()

        #药品性状

        res['药品性状']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(3) > var').text()

        #试用症

        res['试用症']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(4) > var').text()

        #主治疾病

        res['主治疾病']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(5) > var').text()

        #规格型号

        res['规格型号']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(6) > var').text()

        #用法用量

        res['用法用量']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(7) > var').text()

        #不良反应

        res['不良反应']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(8) > var').text()

        #禁忌

        res['禁忌']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(9) > var').text()

        #注意事项

        res['注意事项']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(10) > var').text()

        #药物互相作用

        res['药物互相作用']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(11) > var').text()

        #贮藏

        res['贮藏']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(12) > var').text()

        #有效期

        res['有效期']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(13) > var').text()

        #执行标准

        res['执行标准']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(14) > var').text()

        #批准文号

        res['批准文号']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(15) > var').text()

        #生产企业

        res['生产企业']=response.doc('body > div.drugCont > div.partTwo.clears > div.partTwoLeft > div.drugDecri > div > p:nth-child(16) > var').text()

        #print res

        self.save_data('drugsss_information',res)

    def save_data(self,table_name,result):

        conn = MongoClient("localhost",27017) 

        db = conn.Fast_ask_doctor_drugs

        print table_name

        posts = db[table_name]

        try:

            posts.insert(result)

        except Exception,e:

            print e

pyspider 简单应用之快速问医生药品抓取（一）的更多相关文章

Python爬虫入门教程 24-100 微医挂号网医生数据抓取
1. 写在前面今天要抓取的一个网站叫做微医网站,地址为 https://www.guahao.com ,我们将通过python3爬虫抓取这个网址,然后数据存储到CSV里面,为后面的一些分析类的教程做 ...
使用Chrome快速实现数据的抓取（四）——优点
些一个抓取WEB页面的数据程序比较简单,大多数语言都有相应的HTTP库,一个简单的请求响应即可,程序发送Http请求给Web服务器,服务器返回HTML文件.交互方式如下: 在使用DevProtocol ...
使用Chrome快速实现数据的抓取（三）——JQuery
使用Chrome抓取页面一个非常方便的地方就是它可以执行JS,也就是说我们可以通过JS函数获取我们想要的数据.一个非常强大易用的库就是Jquery,本文就简单的介绍一下使用Chrome获取数据时Jqu ...
使用Chrome快速实现数据的抓取（五）—— puppeteer
如果要以自动化的方式驱动Chrome进行数据抓取,必须实现Chrome Dev Protocol协议的客户端.这个协议本身并不复杂,我在之前的文章中也简单的介绍过一下. Google本身有一个Node ...
使用Chrome快速实现数据的抓取（二）——协议
在前面的文章简单的介绍了一下Chrome调试模式的启动方式,但前面的API只能做到简单的打开,关闭标签操作,当我们需要对某个标签页进行详细的操作时,则需要用到页面管理API.首先我们还是来回顾下获取页 ...
使用Chrome快速实现数据的抓取（一）——概述
对于一些简单的网页,我们可以非常容易的通过Develop Tool来获取其请求报文规律,并仿照其构建报文来获取页面信息.但是,随着网页越来越复杂,许多页面是由js动态渲染生成的.要获取这类信息,则需要 ...
《编程快速上手》--web抓取--利用webbrowser模块的mapIT.py
1.代码如下 #! python3 # mapIT.py - Launches a map in the browser using an address from the # command lin ...
Python实现简单的网页抓取
现在开源的网页抓取程序有很多,各种语言应有尽有. 这里分享一下Python从零开始的网页抓取过程第一步:安装Python 点击下载适合的版本https://www.python.org/ 我这里选择 ...
利用JS跨域做一个简单的页面訪问统计系统
事实上在大部分互联网web产品中,我们一般会用百度统计或者谷歌统计分析系统,通过在程序中引入特定的JS脚本,然后便能够在这些统计系统中看到自己站点页面详细的訪问情况.可是有些时候,因为一些特殊情况,我 ...

随机推荐

clistctrl失去焦点高亮显示选中行
clistctrl失去焦点高亮显示选中行响应两个消息 NM_SETFOCUS,NM_KILLFOCUS void CDatabaseParseDlg::OnNMKillfocusListGroup( ...
truncate,delete,drop的异同点
说明:本文摘自oracle技术用户讨论组 truncate,delete,drop的异同点注意:这里说的delete是指不带where子句的delete语句相同点:truncate和不带w ...
C++数据类型和变量类型。
数据类型数字是自由的[不只属于某个类型]!但是它可以有不同的身份!int.char.float.double等身份.它以不同的身份[存储规则]存储在内存的某个位置内部! 变量类型内存编号是不会变的 ...
arduino--1s间隔闪烁灯
初始使用Arduino,写了这么个小功能:1s间隔闪烁灯 void setup() { pinMode(,OUTPUT);//Set 13Pin as OUTPUT } void loop() { d ...
2013年最棒的4个PHP框架
PHP 框架可以帮你编写简洁可重用的代码,遵循 MVC 模式,确保应用逻辑和展现分离.有很多很多的框架各有千秋,有的性能好,有的文档全,还有的提供大量的内建功能等等. 这里我们罗列的 2013 年最好 ...
Spark的Straggler深入学习（2）：思考Block和Partition的划分问题——以论文为参考
一.partition的划分问题如何划分partition对block数据的收集有很大影响.如果需要根据block来加速task的执行,partition应该满足什么条件? 参考思路1:range ...
为什么匿名内部类参数必须为final类型
1) 从程序设计语言的理论上:局部内部类(即:定义在方法中的内部类),由于本身就是在方法内部(可出现在形式参数定义处或者方法体处),因而访问方法中的局部变量(形式参数或局部变量)是天经地义的.是很自 ...
2016 - 1 - 25 第三方网络框架 AFN的简单使用
AFNetworking 底层是对NSURlSession 和对 NSURLConnect 的包装 1.具体使用方法可以参照github上的主页面,在这里只是举一个文件上传的简单列子 - (void) ...
javac找不到或无法加载主类 com.sun.tools.javac.Main
在安装jdk后或者以前安装了jdk某时使用javac编译java文件时出现找不到或无法加载主类com.sun.tools.javac.Main,这个问题时,网上一般都说是环境变量配置不对,这样的说法其 ...
centos7 系统初始化脚本
现在自己的本地虚拟机系统,直接安装的是centos7.2 mini版,安装完成发现好多东西都没有安装,所以写了一个简单的系统初始化脚本,让自己可以省一些力气,哈哈人懒主要是. 下面贴出写的脚本,脚本 ...

pyspider 简单应用之快速问医生药品抓取（一）

pyspider 简单应用之快速问医生药品抓取（一）的更多相关文章

随机推荐

热门专题