最近学习微信小程序,做一个类似"书库"的小demo,大致流程使用摄像头获取书本后面的isbn,通过豆瓣读书API得到书本介绍.豆瓣评分.图书评论等信息,然鹅https://api.douban.com/v2/book/isbn/:name停服了! 在网上找了一圈,有意思了,ISBN--国际标准书号(International Standard Book Number)这种理论上应该公开的信息却没有相关资源! 号称中国ISBN中心 - 中国版本图书馆,这个网站翻了一遍也没有能够查isbn…

登录/注册 下载豆瓣客户端 豆瓣 读书 电影 音乐 同城 小组 阅读 FM 时间 豆品 更多 豆瓣读书   购书单 电子图书 豆瓣书店 2018年度榜单 2018书影音报告 购物车 程序开发心理学 作者:  [美] 杰拉尔德·温伯格 出版社: 清华大学出版社 副标题: 软件与系统思想家温伯格精粹译丛 译者: 邓俊辉 出版年: 2004-1-1 页数: 424 定价: 39.00元 装帧: 平装(无盘) 丛书: 软件与系统思想家温伯格精粹译丛 ISBN: 9787302070269 豆瓣评分 8.…

#coding=utf-8from time import sleepimport unittestfrom selenium import webdriverfrom selenium.webdriver import Remotefrom selenium.webdriver.common.by import By#元素定位import sysdef browser():#启动浏览器驱动    '''    driver = Remote(command_executor='http://1…

抓取豆瓣读书中的(http://book.douban.com/)最受关注图书,按照评分排序,并保存至txt文件中,需要抓取书籍的名称,作者,评分,体裁和一句话评 方法一: #coding=utf-8 from selenium import webdriver from time import sleep class DoubanPopularBook: def __init__(self): self.dr = webdriver.Chrome() self.popular_books_li…

前面整理了一些爬虫的内容,今天写一个小小的栗子,内容不深,大佬请忽略.内容包括对豆瓣读书网站中的书籍的基本信息进行爬取,并整理,便于我们快速了解每本书的中心. 一.爬取信息 每当爬取某个网页的信息时,首先就是要进入到网页中,看看有没有什么爬取过程中的限制,可以查看网站的robots协议.就是在原网址的后面加上"/robots.txt".本网站中得到的结果是: User-agent: * Disallow: /subject_search Disallow: /search Disall…

我也是根据:http://blog.csdn.net/pleasecallmewhy/article/details/8927832 ,来写出豆瓣读书的爬虫,废话不说直接上代码: #!/usr/bin/env python #-*-coding=utf-8-*- import urllib2 #获取豆瓣读书的分页的页面 def doubanbook(url,begin,end): for i in range(begin,end+1): filename = str(i) + '.html' p…

说明 五一将至,又到了学习的季节.目前流行的各大书单主打的都是豆瓣8.0评分书籍,却很少有人来聊聊这9.0评分的书籍长什么样子.刚好最近学了学python爬虫,那就拿豆瓣读书来练练手. 爬虫 本来思路是直接爬豆瓣的书籍目录,将评分9.0以上的书筛选出来,一打开发现事情并不简单,几千万本书可不好爬 = =,于是转化一下思路,看有没有类似的书单. 一搜还真有,找到一个9.0评分的榜单,大大减少了工作量,这样就不用先爬一下整站书籍来筛选了.看了看榜单,应该是某位好心的书友手工整理的,更新时间为2018…

1.问题描述: 爬取豆瓣读书首页的图书的名称.链接.作者.出版日期,并将爬取的数据存储到Excel表格Douban_I.xlsx中 2.思路分析: 发送请求--获取数据--解析数据--存储数据 1.目标网址:https://book.douban.com/ 2.利用requests.get()方法向豆瓣读书首页发送请求,获取首页的HTML源代码 #目标网址 targetUrl = "https://book.douban.com/" #发送请求,获取响应 response = requ…

爬虫–scrapy 题目:根据豆瓣读书top250,根据出版社对书籍数量分类,绘制饼图 搭建环境 import scrapy import numpy as np import pandas as pd import matplotlib.pyplot as plt 加载scrapy框架 #terminal 终端实现 cd .. # 跳转到上一层目录 scrapy startproject booktop # 和项目同名的scrapy框架项目 setting配置 ROBOTSTXT_OBEY =…

豆瓣上面有很多电影,有时候要查看个电影信息,去豆瓣搜下还是很方便的,但是如何通过接口的形式来查看豆瓣电影,这对于很多网站.app其实是非常实用的功能,这里笔者附上一个java实现的豆瓣电影信息获取的代码,有兴趣的可以看看: package com.xiaocongjisuan.module.example; import java.io.BufferedReader; import java.io.DataOutputStream; import java.io.IOException; imp…