Python股票信息抓取(二)

在一的基础上,想着把所有的折线图放在一个图中,然后图的结果如图所示: 不是略丑,是很丑~ 依然的单进程,只是将图标结果放在了一张图里代码如下: #-*-coding:utf-8 -*- import urllib import re import json import urllib2 from lxml import etree import requests import time from Queue import Queue import matplotlib.pyplot as pl…

Python股票信息抓取(三)

最近在看mongodb,然后会用了一些最简单的mongodb的操作,然后想着结合股票信息的数据的抓取,然后将数据存储在mongodb中,对于mongo和数据库的最大的区别是,mongo不需要建表,直接进行存储,然后在选择数据表的时候在进行插入数据的时候要将str格式的字符串转换成json的格式进行插入,这个我在插入数据的时候调试了十多分钟,一直以为是自己字符串的原因,然后看了看插入数据的格式和百度,然后才发现这点.然后我是插入在本机的test.Share表中的,然后其他的注重点就没有什么了-代码…

Python股票信息抓取~

本来想把股票的涨跌抓取出来,用汇通网的股票为例,就找了国际外汇为例. 页面里有xhr请求,并且每个xhr的url请求的 http://api.q.fx678.com/history.php?symbol=USD&limit=288&resolution=5&codeType=8100&st=0.43342772855649625 然后请求里面哟一个limit=288表示288个时间段,汇通网里面将5分钟为一个时间段,所以一天的话有288个时间间隔. xhr请求中的st参数好…

python requests抓取NBA球员数据，pandas进行数据分析，echarts进行可视化 (前言)

python requests抓取NBA球员数据,pandas进行数据分析,echarts进行可视化 (前言) 感觉要总结总结了,希望这次能写个系列文章分享分享心得,和大神们交流交流,提升提升. 因为半桶子水的水平,一直在想写什么,为什么写,怎么写. 直到现在找到了一种好的办法: 1.写什么自己手上掌握的,工作中经常用到的,从数据源到最后可视化所有一套流程. 2.为什么写因为很长一段时间没有进行总结和梳理了,总感觉很多东西很零散,另一方面,写写笔记也是对那些东西的一次巩固. 3.怎么写…

Python爬虫抓取东方财富网股票数据并实现MySQL数据库存储

Python爬虫可以说是好玩又好用了.现想利用Python爬取网页股票数据保存到本地csv数据文件中,同时想把股票数据保存到MySQL数据库中.需求有了,剩下的就是实现了. 在开始之前,保证已经安装好了MySQL并需要启动本地MySQL数据库服务.提到安装MySQL数据库,前两天在一台电脑上安装MySQL5.7时,死活装不上,总是提示缺少Visual Studio 2013 Redistributable,但是很疑惑,明明已经安装了呀,原来问题出在版本上,更换一个版本后就可以了.小问题大苦恼,不…

python Web抓取（一）[没写完]

需要的模块: python web抓取通过: webbrowser:是python自带的,打开浏览器获取指定页面 requests:从因特网上下载文件和网页 Beautiful Soup:解析HTML Selenium:启动并控制一个Web浏览器.selenium能够填写表单,并模拟鼠标在这个浏览器中点击 >>>这个在这里一.项目:利用Webbrowser模块的快速翻译脚本 webbrowser.open(url) 会在默认浏览器中打开这个地址 >>> impo…

Python数据抓取技术与实战 pdf

Python数据抓取技术与实战目录 D11章Python基础1.1Python安装1.2安装pip1.3如何查看帮助1.4D1一个实例1.5文件操作1.6循环1.7异常1.8元组1.9列表1.10字典1.11集合1.12随机数1.13enumerate的使用1.14D1二个实例D12章字符串解析2.1常用函数2.2正则表达式2.3BeautifulSoup2.4json结构D13章单机数据抓取3.1单机顺序抓取3.2requests3.3并发和并行抓取D14章分布式数据抓取4.1RPC的使用4…

python 爬虫抓取心得

quanwei9958 转自 python 爬虫抓取心得分享 urllib.quote('要编码的字符串') 如果你要在url请求里面放入中文,对相应的中文进行编码的话,可以用: urllib.quote('要编码的字符串') query = urllib.quote(singername) url = 'http://music.baidu.com/search?key='+query response = urllib.urlopen(url) text = response.read()…

python数据抓取分析（python + mongodb）

分享点干货!!! Python数据抓取分析编程模块:requests,lxml,pymongo,time,BeautifulSoup 首先获取所有产品的分类网址: def step(): try: headers = { ..... } r = requests.get(url,headers,timeout=30) html = r.content soup = BeautifulSoup(html,"lxml") url = soup.find_all(正则表达式) for i…

python 处理抓取网页乱码

python 处理抓取网页乱码问题一招鲜相信用python的人一定在抓取网页时,被编码问题弄晕过一阵前几天写了一个测试网页的小脚本,并查找是否包含指定的信息. 在html = urllib2.open(url).read() 时,打印到控制台始终出现乱码. 一般的解决办法就是html.decode('utf-8').encode('gb2312'),不过这个即使用了,也没能解决我的问题这里有两个问题,第一个你要知道网页的编码格式是utf-8 第二你得确定你的系统是gb2312…

Python爬虫----抓取豆瓣电影Top250

有了上次利用python爬虫抓取糗事百科的经验,这次自己动手写了个爬虫抓取豆瓣电影Top250的简要信息. 1.观察url 首先观察一下网址的结构 http://movie.douban.com/top250?start=0&filter=&type= : 可以看到,问号?后有三个参数 start.filter.type,其中start代表页码,每页展示25部电影,0代表第一页,以此类推25代表第二页,50代表第三页... filter顾名思义,是过滤已经看过的电影,filter和type…

抓取二维数组某值出来,到一维数组---array_column

/*** * '抓取二维数组某值出来,到一维数组' * @param $arr * @param $item * @return array */ function get_arr_item_val($arr,$item){ if (!$arr){ return []; } $res = []; foreach ($arr as $v){ $res[] = $v[$item]; } return $res; } <?php// 可能从数据库中返回数组$a = array( array( …

python 爬虫抓取 MOOC 中国课程的讨论区内容

一:selenium 库 selenium 每次模拟浏览器打开页面,xpath 匹配需要抓取的内容.可以,但是特别慢,相当慢.作为一个对技术有追求的爬虫菜鸡,狂补了一些爬虫知识.甚至看了 scrapy 框架,惊呆了,真棒! 网上很多关于 selenium 库的详细介绍,这里略过此方法. 二: requests 库编写一个爬虫小脚本,requests 库极为方便.接下来进入正题,如何抓取 MOOC 中国上课程的讨论内容! 1. 分析网页数据打开你需要抓取数据的课程页面,点击讨论区之后页面加载讨…

Python数据抓取（2） —简单网络爬虫的撰写

(一)使用Requests存储网页 Requests 是什么?网络资源(URLs)抓取套件优点? 改善urllib2的缺点,让使用者以最简单的方式获取网络资源可以使用REST操作(POST,PUT,GET,DELETE)存取网络资源 import requests response = requests.get('http://blog.sina.com.cn/lm/stock/') print(response.text) 模拟HTTP的GET方法存储网页,获取网页的内容,这时我们发现我们…

Python数据抓取（1） —数据处理前的准备

(一)数据抓取概要为什么要学会抓取网络数据? 对公司或对自己有价值的数据,80%都不在本地的数据库,它们都散落在广大的网络数据,这些数据通常都伴随着网页的形式呈现,这样的数据我们称为非结构化数据如果我们能想出办法,把这些非结构化的数据转化为结构化的数据,在跟自己的本地数据库做匹配,做交叉分析,让它们关联起来,从而我们就能提炼出我们需要的有价值的数据. 如何将非结构化的数据转化为结构化的数据呢? 必须通过ETL的方法(数据抽取,转化.存储) (二)抓取的逻辑-ETL ETL是什么? ETL是三…

php外挂python脚本抓取ajax数据

之前我写过一遍php外挂python脚本处理视频的文章.今天和大家分享下php外挂python实现输入关键字搜索的脚本首先我们先来分析一波网站: http://www.dzdpw.com/s.php 我们可以看到,普通的抓取网站已经不能满足我们的需求了.此网站采用了二次获取数据.我们再来看看头部: 可以看到数据是通过ajax获取的.我们吧拿到的链接放到浏览器直接打开报错了.有些网站是直接拿到链接就能获取数据,但是明显,这个接口采用post接口请求我们先来请求一波: 代码走起: # -*- c…

一篇文章教会你使用Python定时抓取微博评论

[Part1--理论篇] 试想一个问题,如果我们要抓取某个微博大V微博的评论数据,应该怎么实现呢?最简单的做法就是找到微博评论数据接口,然后通过改变参数来获取最新数据并保存.首先从微博api寻找抓取评论的接口,如下图所示. 但是很不幸,该接口频率受限,抓不了几次就被禁了,还没有开始起飞,就凉凉了. 接下来小编又选择微博的移动端网站,先登录,然后找到我们想要抓取评论的微博,打开浏览器自带流量分析工具,一直下拉评论,找到评论数据接口,如下图所示. 之后点击"参数"选项卡,可以看到参数为下图…

用python+selenium抓取豆瓣读书中最受关注图书并按评分排序

抓取豆瓣读书中的(http://book.douban.com/)最受关注图书,按照评分排序,并保存至txt文件中,需要抓取书籍的名称,作者,评分,体裁和一句话评方法一: #coding=utf-8 from selenium import webdriver from time import sleep class DoubanPopularBook: def __init__(self): self.dr = webdriver.Chrome() self.popular_books_li…

Python爬虫 -- 抓取电影天堂8分以上电影

看了几天的python语法,还是应该写个东西练练手.刚好假期里面看电影,找不到很好的影片,于是有个想法,何不搞个爬虫把电影天堂里面8分以上的电影爬出来.做完花了两三个小时,撸了这么一个程序.反正蛮简单的,思路和之前用nodejs写爬虫一样. 爬虫的入口从分页的列表开始,比如美剧的列表第一页地址这样: http://www.ygdy8.net/html/gndy/oumei/list_7_1.html,第二页是http://www.ygdy8.net/html/gndy/oumei/list_7_…

python 多线程抓取动态数据

利用多线程动态抓取数据,网上也有不少教程,但发现过于繁杂,就不能精简再精简?! 不多解释,直接上代码,基本上还是很好懂的. #!/usr/bin/env python # coding=utf-8 import urllib2 import re,sys from bs4 import BeautifulSoup from selenium import webdriver import threading import time reload(sys) sys.setdefaultencodi…

Python爬虫——抓取贴吧帖子

抓取百度贴吧帖子按照这个学习教程,一步一步写出来,中间遇到很多的问题,一一列举首先, 获得标题和贴子总数 # -*- coding:utf-8 -*- #!/user/bin/python import urllib import urllib2 import re class BDTB: #初始化,传入基地址,是否只看楼主的参数 def __init__(self, baseUrl, seeLZ): self.baseURL = baseUrl self.seeLZ = '?see_…

python分布式抓取网页

呵呵,前两节好像和python没多大关系..这节完全是贴代码, 这是我第一次写python,很多地方比较乱,主要就看看逻辑流程吧. 对于编码格式确实搞得我头大..取下来页面不知道是什么编码,所以先找charset,然后转unicode.统一在unicode下操作,但是数据库是utf8的,WINDOWS的控制台又必须是gbk的,但是我IDE控制台必须是utf8的..所以才会有DEBUG这个变量存在...主要是为了控制输出编码. 本程序连跑了24小时,然后分布式在10台机器上部署,长时间续航基本没有…

一个极其简洁的Python网页抓取程序，自己主动从雅虎財经抓取股票数据

本程序使用Python 2.7.6编写,扩展了Python自带的HTMLParser,自己主动依据预设的股票代码列表,从Yahoo Finance抓取列表中的数据日期.股票名称.实时报价.当日变化率.当日最低价.当日最高价. 因为Yahoo Finance的股票页面中的数值都有对应id. 比如纳斯达克100指数ETF(QQQ)http://finance.yahoo.com/q?s=qqq 当中实时报价的HTML标记为 <span id="yfs_l84_qqq">87.4…

python scrapy 抓取脚本之家文章(scrapy 入门使用简介)

老早之前就听说过python的scrapy.这是一个分布式爬虫的框架,可以让你轻松写出高性能的分布式异步爬虫.使用框架的最大好处当然就是不同重复造轮子了,因为有很多东西框架当中都有了,直接拿过来使用就可以了.scrapy 就是一个很棒的框架.最近在看崔庆才老师的博客http://cuiqingcai.com/ 的时候,发现了几个写的非常好的scrapy教程(http://cuiqingcai.com/4380.html,http://cuiqingcai.com/3952.html等,还有很多,…

python爬虫-抓取acg12动漫壁纸排行设置为桌面壁纸

ACG-wallpaper 初学python,之前想抓取P站的一些图片来着,然后发现acg12这里有专门的壁纸榜单,就写了个抓取壁纸作为mac桌面壁纸玩玩. 功能:抓取acg12壁纸榜单的动漫壁纸,并定时随机设定为桌面壁纸 v1: 暂时完成两个脚本并且分步执行:1.生成acg12文件夹并抓取定额壁纸到本地.2.读取壁纸文件夹,随机选择一张壁纸调用appleScript设置桌面壁纸. spider.py 完成图片抓取功能,由于acg12中的url格式规律很好找,只需要找到图片存放的url规律就行,…