商品现货数据不好拿?商品季节性难跟踪?一键解决没烦恼的Python爬虫分享

更多精彩内容,欢迎关注公众号:数量技术宅。探讨数据分析、量化投资问题,请加技术宅微信:sljsz01
季节性在大宗商品的交易中至关重要
大宗商品交易中,特别是在期货市场,由于商品价格周期的存在,季节性作为一种确定性相对较高的周期波动,对于某些品种,比如农产品,季节性对于行情的影响有时候是决定性的。我们在做交易决策的时候,必须要把季节性考虑在内。那么,如何把握一个品种的季节性,如何了解一个品种季节性走势规律呢?就要从数据当中寻找答案。
保存原始数据
我们的数据来源选自生意社,这个网站上面有着很多大宗商品品种和口径一致的高质量现货报价。我们的爬虫需要想办法从网站上把原始数据爬下来。
第一步、导入需要的包
第二步、设定基础变量,爬虫开始运作

第三步、获得数据之后,将数据保存到本地
我们看到,数据正一点一点收取下来,整个过程程序都是自动运行的,这个时候你就可以泡一杯咖啡,喝口茶,等待数据收取完毕。

数据“整形”
在保存好了原始数据之后,我们需要对数据进行“整形”,使我们更加方便对原始数据进行分析。

为了直观体现季节性的走势,我们对于历年现货数据进行了平均化,从而得到了每个品种的季节性指数。

作图的原理也不复杂,总览图采用subplots函数,框定了7行8列的图片框架。

数据可视化
通过平铺的方式,我们直观展现出了品种的季节性。基于现货数据的季节性指数由于和期货市场是两个维度,因此相对而言更加具备参考价值。
我们来看几组数据的比较:
同为金属板块的锡和镍有着相仿的季节性,都是在2月进入季节性高点,同时整体走势偏弱。

对比一下同为畜牧产品的生猪和鸡蛋,我们也能发现它们具备类似的季节性特征,即8月9月明显呈现季节性旺季,主要是由于国庆中秋双节带动消费的效应。

我们再看看动力煤和铁矿石,8月,作为铁矿石的季节性旺季,同时也是动力煤的季节性低点。

对比一下化工的PTA、PVC季节性对比,可以发现两者走势整体上比较一致,但PTA季节性波动更大。

我们再来看看同为能源品的柴油和汽油的对比,很明显,两者季节性相关度很高,都是7月低点,10月高点。

小结
这样的图我们还可以做出很多,有了从数据抓取到可视化的程序化处理之后,可以持续地对数据进行跟踪,方便动态地进行更新。当然了,如果需要更多品种合并到一张图中,也是可以非常方便地完成,只需要选择更多的品种序列加入到作图的数据中就可以了。
如果对本次技术宅分享的Python爬虫、季节性计算代码感兴趣,欢迎加小编微信(sljsz01),找我领取

往期干货分享推荐阅读
【数量技术宅|金融数据分析系列分享】如何正确抄底商品期货、大宗商品
【数量技术宅|量化投资策略系列分享】股指期货IF分钟波动率统计策略
【数量技术宅 | Python爬虫系列分享】实时监控股市重大公告的Python爬虫
商品现货数据不好拿?商品季节性难跟踪?一键解决没烦恼的Python爬虫分享的更多相关文章
- 实时获取股票数据,免费!——Python爬虫Sina Stock实战
更多精彩内容,欢迎关注公众号:数量技术宅,也可添加技术宅个人微信号:sljsz01,与我交流. 实时股票数据的重要性 对于四大可交易资产:股票.期货.期权.数字货币来说,期货.期权.数字货币,可以从交 ...
- Python爬虫丨大众点评数据爬虫教程(1)
大众点评数据获取 --- 基础版本 大众点评是一款非常受普罗大众喜爱的一个第三方的美食相关的点评网站. 因此,该网站的数据也就非常有价值.优惠,评价数量,好评度等数据也就非常受数据公司的欢迎. 今天就 ...
- Python爬虫库Scrapy入门1--爬取当当网商品数据
1.关于scrapy库的介绍,可以查看其官方文档:http://scrapy-chs.readthedocs.io/zh_CN/latest/ 2.安装:pip install scrapy 注意这 ...
- 7- vue django restful framework 打造生鲜超市 -商品类别数据展示(上)
Vue+Django REST framework实战 搭建一个前后端分离的生鲜超市网站 Django rtf 完成 商品列表页 并没有将列表页的数据json 与前端的页面展示结合起来 讲解如果将dr ...
- 用Python爬取分析【某东618】畅销商品销量数据,带你看看大家都喜欢买什么!
618购物节,辰哥准备分析一波购物节大家都喜欢买什么?本文以某东为例,Python爬取618活动的畅销商品数据,并进行数据清洗,最后以可视化的方式从不同角度去了解畅销商品中,名列前茅的商品是哪些?销售 ...
- Java生鲜电商平台-商品基础业务架构设计-商品设计
Java生鲜电商平台-商品基础业务架构设计-商品设计 在生鲜电商的商品中心,在电子商务公司一般是后台管理商品的地方.在前端而言,是商家为了展示商品信息给用户的地方,它是承担了商品的数据,订单,营销活动 ...
- react 从商品详情页返回到商品列表页,列表自动滚动上次浏览的位置
现状:目前从商品详情页返回到商品列表页,还需要再去请求服务数据,还需要用户再去等待获取数据的过程,这样用户体验非常不好, 遇到的问题: 1:如何将数据缓存, 2:如何获取和保存列表滑动的高度, 3:判 ...
- Python爬虫 获得淘宝商品评论
自从写了第一个sina爬虫,便一发不可收拾.进入淘宝评论爬虫正题: 在做这个的时候,也没有深思到底爬取商品评论有什么用,后来,爬下来了数据.觉得这些数据可以用于帮助分析商品的评论,从而为用户选择商品提 ...
- Vue小案例 之 商品管理------批量删除与商品数量的调整
通过索引进行删除,进行测试,是否获取其索引: 测试效果: 测试代码,在vue中定义一个空的数组,以便后面进行数据的绑定: data:{ imgUrl:'../res/images/', imgName ...
随机推荐
- REST架构简介
restful简介 在如今web开发纵横的时代,几乎处处可见web页面,每个人都有自己的设计风格,这也导致了web接口五花八门,可能一个增删改查就要对应4个不同的url,这是非常浪费资源,于是Fiel ...
- 手摸手 Elastic Stack 使用教程 - 环境安装
前言 在日常的开发中,会涉及到对一些中间件以及基础组件的使用,日志汇总分析.APM 监控.接口的健康检查.站内搜索,以及对于服务器.nginx.iis 等等的监控,最近的几个需求点,都和 Elasti ...
- package_ios
PlistBuddy简单使用 https://www.jianshu.com/p/2167f755c47e xcodebuild 命令 https://www.jianshu.com/p/c32263 ...
- windows-服务器-配置一个及多个-Apache-Tomcat
问题:如何在一台服务器上发布了几个Tomcat的系统???怎么配置环境变量?怎么设置Tomcat? 2020/8月更新,由于之前的java的环境变量有点绕,此次新加一个流程设计图 一.需求: 一台wi ...
- P1306 斐波那契公约数(ksm+结论)
题目描述 对于Fibonacci数列:1,1,2,3,5,8,13......大家应该很熟悉吧~~~但是现在有一个很“简单”问题:第n项和第m项的最大公约数是多少? Update:加入了一组数据. 输 ...
- Funny Positive Sequence (思维+前缀)
There are n integers a 1,a 2,…,a n-1,a n in the sequence A, the sum of these n integers is larger th ...
- SICP 习题1.10
题目要求 解题方法 递归计算 没什么好说的,单纯的套用数学公示 (define (f n) (if (< n 3) n (+ (f (- n 1)) (* 2 (f (- n 2))) (* 3 ...
- 【Gin-API系列】部署和监控(九)
本文是[Gin-API系列]的最后一篇文章,简单介绍如何在生产环境的部署架构和监控手段. 生产部署 部署架构 使用Nginx加Keepalived的方式搭建,可以达到高可用的效果,并可以横向扩容 如何 ...
- Odoo10中calendar视图点击事件
有个需求,需要根据该条记录的状态字段来控制点击calendar时是否需要打开form视图,解决方案如下:重写了web_calendar的get_fc_init_options()方法中的eventCl ...
- [LeetCode]105. 从前序与中序遍历序列构造二叉树(递归)、108. 将有序数组转换为二叉搜索树(递归、二分)
题目 05. 从前序与中序遍历序列构造二叉树 根据一棵树的前序遍历与中序遍历构造二叉树. 注意: 你可以假设树中没有重复的元素. 题解 使用HashMap记录当前子树根节点在中序遍历中的位置,方便每次 ...