商品现货数据不好拿?商品季节性难跟踪?一键解决没烦恼的Python爬虫分享

更多精彩内容,欢迎关注公众号:数量技术宅。探讨数据分析、量化投资问题,请加技术宅微信:sljsz01
季节性在大宗商品的交易中至关重要
大宗商品交易中,特别是在期货市场,由于商品价格周期的存在,季节性作为一种确定性相对较高的周期波动,对于某些品种,比如农产品,季节性对于行情的影响有时候是决定性的。我们在做交易决策的时候,必须要把季节性考虑在内。那么,如何把握一个品种的季节性,如何了解一个品种季节性走势规律呢?就要从数据当中寻找答案。
保存原始数据
我们的数据来源选自生意社,这个网站上面有着很多大宗商品品种和口径一致的高质量现货报价。我们的爬虫需要想办法从网站上把原始数据爬下来。
第一步、导入需要的包
第二步、设定基础变量,爬虫开始运作

第三步、获得数据之后,将数据保存到本地
我们看到,数据正一点一点收取下来,整个过程程序都是自动运行的,这个时候你就可以泡一杯咖啡,喝口茶,等待数据收取完毕。

数据“整形”
在保存好了原始数据之后,我们需要对数据进行“整形”,使我们更加方便对原始数据进行分析。

为了直观体现季节性的走势,我们对于历年现货数据进行了平均化,从而得到了每个品种的季节性指数。

作图的原理也不复杂,总览图采用subplots函数,框定了7行8列的图片框架。

数据可视化
通过平铺的方式,我们直观展现出了品种的季节性。基于现货数据的季节性指数由于和期货市场是两个维度,因此相对而言更加具备参考价值。
我们来看几组数据的比较:
同为金属板块的锡和镍有着相仿的季节性,都是在2月进入季节性高点,同时整体走势偏弱。

对比一下同为畜牧产品的生猪和鸡蛋,我们也能发现它们具备类似的季节性特征,即8月9月明显呈现季节性旺季,主要是由于国庆中秋双节带动消费的效应。

我们再看看动力煤和铁矿石,8月,作为铁矿石的季节性旺季,同时也是动力煤的季节性低点。

对比一下化工的PTA、PVC季节性对比,可以发现两者走势整体上比较一致,但PTA季节性波动更大。

我们再来看看同为能源品的柴油和汽油的对比,很明显,两者季节性相关度很高,都是7月低点,10月高点。

小结
这样的图我们还可以做出很多,有了从数据抓取到可视化的程序化处理之后,可以持续地对数据进行跟踪,方便动态地进行更新。当然了,如果需要更多品种合并到一张图中,也是可以非常方便地完成,只需要选择更多的品种序列加入到作图的数据中就可以了。
如果对本次技术宅分享的Python爬虫、季节性计算代码感兴趣,欢迎加小编微信(sljsz01),找我领取

往期干货分享推荐阅读
【数量技术宅|金融数据分析系列分享】如何正确抄底商品期货、大宗商品
【数量技术宅|量化投资策略系列分享】股指期货IF分钟波动率统计策略
【数量技术宅 | Python爬虫系列分享】实时监控股市重大公告的Python爬虫
商品现货数据不好拿?商品季节性难跟踪?一键解决没烦恼的Python爬虫分享的更多相关文章
- 实时获取股票数据,免费!——Python爬虫Sina Stock实战
更多精彩内容,欢迎关注公众号:数量技术宅,也可添加技术宅个人微信号:sljsz01,与我交流. 实时股票数据的重要性 对于四大可交易资产:股票.期货.期权.数字货币来说,期货.期权.数字货币,可以从交 ...
- Python爬虫丨大众点评数据爬虫教程(1)
大众点评数据获取 --- 基础版本 大众点评是一款非常受普罗大众喜爱的一个第三方的美食相关的点评网站. 因此,该网站的数据也就非常有价值.优惠,评价数量,好评度等数据也就非常受数据公司的欢迎. 今天就 ...
- Python爬虫库Scrapy入门1--爬取当当网商品数据
1.关于scrapy库的介绍,可以查看其官方文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/ 2.安装:pip install scrapy 注意这 ...
- 7- vue django restful framework 打造生鲜超市 -商品类别数据展示(上)
Vue+Django REST framework实战 搭建一个前后端分离的生鲜超市网站 Django rtf 完成 商品列表页 并没有将列表页的数据json 与前端的页面展示结合起来 讲解如果将dr ...
- 用Python爬取分析【某东618】畅销商品销量数据,带你看看大家都喜欢买什么!
618购物节,辰哥准备分析一波购物节大家都喜欢买什么?本文以某东为例,Python爬取618活动的畅销商品数据,并进行数据清洗,最后以可视化的方式从不同角度去了解畅销商品中,名列前茅的商品是哪些?销售 ...
- Java生鲜电商平台-商品基础业务架构设计-商品设计
Java生鲜电商平台-商品基础业务架构设计-商品设计 在生鲜电商的商品中心,在电子商务公司一般是后台管理商品的地方.在前端而言,是商家为了展示商品信息给用户的地方,它是承担了商品的数据,订单,营销活动 ...
- react 从商品详情页返回到商品列表页,列表自动滚动上次浏览的位置
现状:目前从商品详情页返回到商品列表页,还需要再去请求服务数据,还需要用户再去等待获取数据的过程,这样用户体验非常不好, 遇到的问题: 1:如何将数据缓存, 2:如何获取和保存列表滑动的高度, 3:判 ...
- Python爬虫 获得淘宝商品评论
自从写了第一个sina爬虫,便一发不可收拾.进入淘宝评论爬虫正题: 在做这个的时候,也没有深思到底爬取商品评论有什么用,后来,爬下来了数据.觉得这些数据可以用于帮助分析商品的评论,从而为用户选择商品提 ...
- Vue小案例 之 商品管理------批量删除与商品数量的调整
通过索引进行删除,进行测试,是否获取其索引: 测试效果: 测试代码,在vue中定义一个空的数组,以便后面进行数据的绑定: data:{ imgUrl:'../res/images/', imgName ...
随机推荐
- seo工程师是什么,需要什么技能?
http://www.wocaoseo.com/thread-222-1-1.html seo工程师是什么,SEO工程师是目前需求较大的一种职业,是搜索引擎营销的一种,主要是是通过网站优化技 ...
- .NET Core3.1 Dotnetty实战第三章
一.概要 本章主要内容就是讲解如何在dotnetty的框架中进行网络通讯以及编解码对象.数据包分包拆包的相关知识点. 后续会专门开一篇避坑的文章,主要会描述在使用dotnetty的框架时会遇到的哪些问 ...
- 理解Django 中Call Stack 机制的小Demo
1.工作流程 request/response模式下,request并不是直接到达view方法,view方法也不是将返回的response直接发送给浏览器的,而是request由外到里的层层通过各种m ...
- JDBC的架构设计
本文探讨JDBC需要解决的问题及如何解决和设计的,包括: JDBC要解决的问题 数据库事务 JDBC的架构设计 JDBC代码注意点 Spring是如何处理事务 什么是事务的传播特性 Redis事务与数 ...
- Spine学习五- spine动画融合
在许多地方,都需要用到动画融合,unity的新版动画系统已经能够很方便的进行动画融合,那么使用spine的动画状态机的情况下,如何来进行动画融合呢? 官方有两种方案,一种是使用混合动作实现,另一种是使 ...
- web前端常见安全问题
1,SQL注入 2,XSS 3,CSRF 4.文件上传漏洞 1,SQL注入:这个比较常见,可能大家也听说过,就是URL里面如果有对数据库进行操作的参数时,要做一下特殊的处理,否则被别有用心的人利用的话 ...
- 知识点干货——CSS动画
CSS动画 (transition.animation) //2D动画 transform:translate(); /*偏移*/ transform:rotate(); /*旋转角度*/ trans ...
- JSON<前后端的沟通>
1.什么是JSON ==>1什么是json json:是一种轻量级数据交互格式 数据交互:每一种语言的编码都不一样,他们之间互不认识.但是现在的情况是不同的语言开发出的系统也需要进行数据交互,这 ...
- VSM
好吧,在被这个算法折腾了许多天之后,我终于对它竖起了中指.这几天的经历让我明白了一个道理:对于数学基础不好的人来说,对待图形学最好远观不可亵玩焉:如果坚持硬闯却又碰巧E文不咋地,那受罪程度真叫人生不如 ...
- JAVA热部署,通过agent进行代码增量热替换!!!
在前说明:好久没有更新博客了,这一年在公司做了好多事情,包括代码分析和热部署替换等黑科技,一直没有时间来进行落地写出一些一文章来,甚是可惜,趁着中午睡觉的时间补一篇介绍性的文章吧. 首先热部署的场景是 ...