# coding:utf-8 import urllib2 import re import urllib import chardet from json import * category = '经典老歌' url = 'http://music.baidu.com/tag/' + category url_songs = 'http://play.baidu.com/data/music/songlink' try: request = urllib2.Request(url) respo…

之前用.Net做过一些自动化爬虫程序,听大牛们说使用python来写爬虫更便捷,按捺不住抽空试了一把,使用Python抓取百度街景影像. 这两天,武汉迎来了一个德国总理默克尔这位大人物,又刷了一把武汉长江大桥,今天就以武汉长江大桥为例,使用Python抓取该位置的街景影像. 百度街景URL分析 基于http抓包工具,可以很轻松的获取到浏览百度街景时的http请求数据.如下图所示,即是长江大桥某位置点街景影像切片: 该切片对应的URL请求为: 细致分析该URL请求,并经过模拟测试,可以总结出如下初…

参考了 http://blog.csdn.net/banguijun/article/details/11815263 后写了一个抓取fm音乐url的模块,得到所有频道歌曲的url.缺点是百度会变更url地址,失效后需要重新获取.话不多说上代码: # -*- coding: UTF-8 -*- ''' Created on 2013-12-3 从百度的频道中抓取歌曲的下载地址 @author: ''' import urllib import json SAVEPATH='/home/gfc/m…

前言 本文整理自慕课网<Python开发简单爬虫>,将会记录爬取百度百科"python"词条相关页面的整个过程. 抓取策略 确定目标:确定抓取哪个网站的哪些页面的哪部分数据.本实例抓取百度百科python词条页面以及python相关词条页面的标题和简介. 分析目标:分析要抓取的url的格式,限定抓取范围.分析要抓取的数据的格式,本实例中就要分析标题和简介这两个数据所在的标签的格式.分析要抓取的页面编码的格式,在网页解析器部分,要指定网页编码,然后才能进行正确的解析. 编写代…

[一.项目目标] 获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 由浅入深,层层递进,非常适合刚入门的同学练手. [二.需要的库] 主要涉及的库有:requests.json.openpyxl [三.项目实现] 1.了解 QQ 音乐网站的 robots 协议 只禁止播放列表,可以操作. 2.进入 QQ 音乐主页 https://y.qq.com/ 3.输入任意歌手,比如邓紫棋 4.打开审查元素(快捷键 Ctrl+Shift+I) 5.分析网页源代码 Elements,发…

[一.项目目标] 通过Python爬取QQ音乐数据(一)我们实现了获取 QQ 音乐指定歌手单曲排行指定页数的歌曲的歌名.专辑名.播放链接. 此次我们在之前的基础上获取QQ音乐指定歌曲的歌词及前15个精彩评论. [二.需要的库] 主要涉及的库有:requests.json.html [三.项目实现] 1.以歌曲"泡沫"为例,查看该界面的XHR 2.通过对XHR的Size进行排序,逐个查看(参考英文含义),我们看到第一个红框内是歌曲评论,第二个框内是歌词! 3.分别查看这两条数据Heade…

由于实验的要求,需要统计一系列的字符串通过百度搜索得到的关键词个数,于是使用python写了一个相关的脚本. 在写这个脚本的过程中遇到了很多的问题,下面会一一道来. ps:我并没有系统地学习过python,只是很久之前用过它,感觉用起来还比较方便,于是这回又把它拾起来使用了.当然这也是考虑到手上有python机器学习的实战书籍,所以估计一段时间后还会再用的缘故. 思路:首先使用python的库函数把网页的内容爬下来,然后使用正则表达式去匹配想要的字符串,最后进行字符串处理就能得到想要的东西了.…

利用selenium 模拟浏览器打开页面,加载后抓取数据 #!/usr/bin/env python # coding=utf-8 import urllib2 import re from bs4 import BeautifulSoup from selenium import webdriver import time import sys reload(sys) sys.setdefaultencoding('utf-8') class BaikeSpider(): def __init…

偶然发现百度汉语里面,有一笔一划的汉字顺序:          觉得这个动态的图片,等以后娃长大了,可以用这个教写字.然后就去找找常用汉字,现代汉语常用字表 .拿到这里面的汉字,做两个数组出来,一共是3500个汉字: ['一','乙','二','十','丁','厂','七','卜','人','入','八','九','几','儿','了','力','乃','刀','又','三','于','干','亏','士','工','土','才','寸','下','大','丈','与','万','上','小',…

#baidu_hotword.py #get baidu hotword in news.baidu.com import urllib2 import os import re def getHtml(url): page = urllib2.urlopen(url) html = page.read() page.close() return html def getHotWord(html): reg = '<li.*?hotwords_li_a.*?title="(.*?)&quo…