说明:本文只是通过自己的已学知识对股票数据进行了一个简单的量化分析,只考虑了收盘情况,真实的量化交易中仅仅考虑收盘情况是不够的,还有很多的复杂因素,而且仅仅三年数据是不足以来指导真实的股票交易的,因此本文只是作为一个简单的python练手项目. 一.分析目的 利用预先设定的策略,通过对股票交易的历史数据进行回测,验证该策略是否能指导股票交易. 二.数据处理 1.数据集描述 数据集来源:https://www.nasdaq.com/symbol/baba/historical 数据集简介:此数据集…

-----------------------------------------------------------Matplotlib:绘图和可视化------------------------------------------------------------------------------    Matplotlib:---------------------------------------------------是一个强大的Python绘图和数据可视化的工具包    一:…

最近在学习python ,看到了pythod的oracle,不仅可以一次fetch多条,也可以一次insert多条,想写一个复制A表数据到B表的程序来看看实际效率能不能提高.写完发现,非常惊艳!效率提升了近一倍! 当然可能会认为这个没有实际意义,其实不然. 从A表复制数据到B表有很多中方法,一般直接insert即可: insert into tableA select * from tableB ; 但是当数据量非常大时,到达上亿水准的时候,这样做就很郁闷了,因为本身会跑很慢,又看不到进度,偶尔…

Jupyter Notebook(此前被称为 IPython notebook)是一个交互式笔记本,支持运行 40 多种编程语言.在本文中,我们将介绍 Jupyter notebook 的主要特性,以及为什么对于希望编写漂亮的交互式文档的人来说是一个强大工具. 在开始使用 notebook 之前,我们先需要安装该库.你可以在Jupyter 官网上找到完整的步骤. 译者注:其实只要pip install jupyter就可以了 jupyter notebook 运行上面的命令之后,你将看到类似下面…

  一.金融 二.ipython 基础功能 ipython 快捷键…

最近一直断断续续的做这个泰坦尼克生存预测模型的练习,这个kaggle的竞赛题,网上有很多人都分享过,而且都很成熟,也有些写的非常详细,我主要是在牛人们的基础上,按照数据挖掘流程梳理思路,然后通过练习每一步来熟悉应用python进行数据挖掘的方式. 数据挖掘的一般过程是:数据预览——>数据预处理(缺失值.离散值等)——>变量转换(构造新的衍生变量)——>数据探索(提取特征)——>训练——>调优——>验证 1 数据预览 1.1 head() 预览数据集的前面几条数据可以大致…

目录 金融数据 pandas-datareader TuShare 金融学图表 案例 金融数据 数据分析离不开数据的获取,这里介绍几种常用的获取金融方面数据的方法. pandas-datareader pandas-datareader 库包含了全球最著名的几家公司所整理的金融数据,这些数据库包括: 雅虎财经 谷歌财经 圣路易斯储备银行 肯尼斯·弗伦其数据库 世界银行 安装 pip install -U pandas-datareader 使用 引入库:import pandas_datarea…

财经数据接口包tushare的使用(一) Tushare是一款开源免费的金融数据接口包,可以用于获取股票的历史数据.年度季度报表数据.实时分笔数据.历史分笔数据,本文对tushare的用法,已经存在的一些问题做一些介绍. 一:安装tushare 为避免由于依赖包缺失导致安装失败,请先安装anaconda,百度网盘地址: 链接:http://pan.baidu.com/s/1qYDQUGs 密码:6wq8 安装直接一直下一步即可 安装完成之后,anaconda会自动配置环境变量,直接就可以用了,c…

我在公司里做了一段时间Python数据分析和机器学习的工作后,就尝试着写一本Python数据分析方面的书.正好去年有段时间股票题材比较火,就在清华出版社夏老师指导下构思了这本书.在这段特殊时期内,夏老师和出版社的其它老师为这本书到处奔走,终于在近期上市. <基于股票大数据分析的Python入门实战 视频教学版>,京东链接:https://item.jd.com/69241653952.html. 感激涕零之余,用此文借博客园宝地向大家介绍我的新书,同时在王婆卖瓜之余,再以此经历讲下出书对程序员…

在我写的这本书,<基于股票大数据分析的Python入门实战(视频教学版)>里,用能吸引人的股票案例,带领大家入门Python的语法,数据分析和机器学习. 京东链接是这个:https://item.jd.com/12868774.html​ 在本文里,就将通过截图,详细展示本书给出的若干案例,这些案例的代码,均在本书里. 1 用爬虫得到股票数据的效果图…

python量化分析系列之---5行代码实现1秒内获取一次所有股票的实时分笔数据 最近工作太忙了,有一个星期没有更新文章了,本来这一期打算分享一些对龙虎榜数据的分析结果的,现在还没有把数据内的价值很好的发掘出来,留作下一期分享吧,争取挖掘出一些有实际投资参考的结论. 前两篇文章分别简单介绍了tushare这个财经数据接口包的使用,用起来很简单顺手,一两句代码就可以获取到你想的要的数据,但是有在群里经常看到说获取数据经常挂,延迟很严重等等,其实那是因为使用者没有好好去领悟和了解工具.片面两篇文章已…

第一部分:金融与量化投资 股票: 股票是股份公司发给出资人的一种凭证,股票的持有者就是股份公司的股东. 股票的面值与市值 面值表示票面金额 市值表示市场价值 上市/IPO: 企业通过证券交易所公开向社会增发股票以募集资金 股票的作用: 出资证明.证明股东身份.对公司经营发表意见 公司分红.交易获利 股票的分类 股票按业绩分类: 蓝筹股:资本雄厚.信誉优良的公司的股票 绩优股:业绩优良公司的股票 ST股:特别处理股票,连续两年亏损或每股净资产低于股票面值 股票按上市地区分类: A股:中国大陆上市,…

最近我出了一本书,<基于股票大数据分析的Python入门实战 视频教学版>,京东链接:https://item.jd.com/69241653952.html,在其中用股票范例讲述Python爬虫.数据分析和机器学习的技术,大家看了我的书,不仅能很快用比较热门的案例学好Python,更能了解些股票知识,不至于一入市就拍脑袋买卖. 在本文里,将给出若干精彩范例,包括用爬虫获取股市数据,用matplotlib可视化控件绘制K线和均线,以及用sklean库里的方法,通过机器学习预测股价的走势. 1 …

时间序列是按时间顺序的一组真实的数字,比如股票的交易数据.通过分析时间序列,能挖掘出这组序列背后包含的规律,从而有效地预测未来的数据.在这部分里,将讲述基于时间序列的常用统计方法. 1 用rolling方法计算移动平均值 当时间序列的样本数波动较大时,从中不大容易分析出未来的发展趋势的时候,可以使用移动平均法来消除随机波动的影响.可以说,移动平均法是针对时间序列的常用分析方法,其基本思想是,根据时间序列样本数据.逐步向后推移,依次计算指定窗口序列的平均值. 股票的移动平均线是个比较常见的范例,通…

目录 1.使用tushare包获取某股票的历史行情数据 2.输出该股票所有收盘比开盘上涨3%以上的日期 3.输出该股票所有开盘比前日收盘跌幅超过2%的日期 4.假如我从2010年1月1日开始,每月第一个交易日买入1受股票,每年最后一个交易日卖出所有的股票,到今天为止,我的收益如何? Tushare金融数据接口 Tushare是一个免费.开源的python测井数据接口包 一. 使用tushare包获取某股票的历史行情数据 1.实现代码 import pandas as pd import nump…

2016年1月,机缘巧合下我出版了<Selenium2自动化测试实战--基于python语言>这本书,当时写书的原因是,大部分讲Selenium的书并不讲编程语言和单元测试框,如果想在项目中使用Selenium,几乎离不开编程语言和单元测试框架,难道你只用Selenium IDE去录制/回放脚本么? 没想到受到许多测试人员的欢迎,我会时常去看网上的书评.大多是感谢的留言,书的销量也印证了这一点,当然,也有批评和建议.在此,表示感谢. 随着,我对Selenium自动化技术的理解,越来越发现<…

自动化测试基础 一. 软件测试分类 1.1 根据项目流程阶段划分软件测试 1.1.1 单元测试 单元测试(或模块测试)是对程序中的单个子程序或具有独立功能的代码段进行测试的过程. 1.1.2 集成测试 集成测试是在单元测试的基础上,先通过单元模块组装成系统或子系统,再进行测试.重点是检查模块之间的接口是否正确. 1.1.3 系统测试 系统测试是针对整个产品系统进行的测试,验证系统是否满足需求规格的定义,以及软件系统的正确性和性能等是否满足其需求规格的要求. 1.1.4 验收测试 验收测试是部署软…

发展历程: <selenium_webdriver(python)第一版>   将本博客中的这个系列整理为pdf文档,免费. <selenium_webdriver(python)第二版>    加入的单元测试框架unittest,用其组织和运行测试用例, 5元. <selenium_webdriver(python)第三版>    整合和HTML测试报告的生成,初步形成测试架构的雏形, 8元. <selenium2 python 自动化测试实战>    …

1. Scrapy框架 Scrapy是python下实现爬虫功能的框架,能够将数据解析.数据处理.数据存储合为一体功能的爬虫框架. 2. Scrapy安装 1. 安装依赖包 yum install gcc libffi-devel python-devel openssl-devel -y yum install libxslt-devel -y 2. 安装scrapy pip install scrapypip install twisted==13.1.0 注意事项:scrapy和twist…

(一)python金融数据爬虫项目 爬取目标:雪球网(起始url:https://xueqiu.com/hq#exchange=CN&firstName=1&secondName=1_0&page=1) 爬取内容:雪球网深沪股市情况 使用工具:requests库实现发送请求.获取响应. json格式的动态加载数据实现数据解析.提取. pymysql进行数据存储 思路:对该网站的动态加载数据的请求方式进行控制变量的发送请求,最终得到实际有效的参数. 项目重点:使用抓包工具分析发送数据…

基于Python 从mysql表读取千万数据实践   by:授客 QQ:1033553122 场景:   有以下两个表,两者都有一个表字段,名为waybill_no,我们需要从tl_waybill_bar_record表读取1000w条唯一的waybill_no,然后作为INSERT SQL语句的一部分,填充到ts_order_waybill的waybill_no字段中 tl_waybill_bar_record ts_order_waybill 另外tl_waybill_bar_record表…

目录 1 准备工作 2 具体实施   1 准备工作 什么是Redis? Redis:一个高性能的key-value数据库.支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用:提供string.list.set.zset.hash等数据结构的存储,并支持数据的备份. 本文适合使用的场景:当一个项目中Redis缓存的数据量逐渐增大,Redis缓存的数据占用内存也会越来越大,而且其中有很多很可能是价值不大的数据.由于Redis是一个key-value数据库,所以对其中的数…

堡垒机尾声: 代码案例:https://github.com/liyongsan/git_class/tree/master/day31 课堂笔记:file send: 1.选择本地文件 2.远程路径 file recv: 1.远程路径 2./usr/local/luffyeye postTask 1.参数校验 1.1 选中主机, 1.2 发送到远程,判断本地文件是否已上传,远程路径是否已输入 1.3 从远程下载,判断远程路径是否已输入 2.提交任务到URL multitask 3.multit…

Python爬虫工程师必学——App数据抓取实战 (一个人学习或许会很枯燥,但是寻找更多志同道合的朋友一起,学习将会变得更加有意义✌✌) 爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取 如何用python实现App数据抓取,从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App端数据抓取项目集成,让你掌握App数据抓取的技能,向更优秀的python爬虫工程师迈进! 第1章 课程介绍 介绍课程目标.通过课程能学习到的内容.学会这些技能能做什么,对公司业务有哪些帮…

本文概要 session处理cookie proxies参数设置请求代理ip 基于线程池的数据爬取 引入 有些时候,我们在使用爬虫程序去爬取一些用户相关信息的数据(爬取张三“人人网”个人主页数据)时,如果使用之前requests模块常规操作时,往往达不到我们想要的目的,例如: #!/usr/bin/env python # -*- coding:utf-8 -*- import requests if __name__ == "__main__": #张三人人网个人信息页面的url u…

虫师的<Selenium 2自动化测试实战 基于Python语言>是我自动化测试的启蒙书 也是我推荐的自动化测试入门必备书,但是书中有一处明显的错误,会误导很多读者,这处错误就是第8章自动化测试高级应用中,第一节自动发送邮件功能中,8.1.4整合自动发送邮件功能 当我们运行如下代码后,会发现邮件发送成功,但是打开邮件发现邮件中的内容为空 在书中182页我们看到了如下解释. 但是这个解释为错误的,引起无法发送最新报告的内容,其实是因为代码中有一处bug,并非HTMLTestRunner报告文件的…

Python爬虫工程师必学APP数据抓取实战  整个课程都看完了,这个课程的分享可以往下看,下面有链接,之前做java开发也做了一些年头,也分享下自己看这个视频的感受,单论单个知识点课程本身没问题,大家看的时候可以关注下面几点: 1.为了追求精简简洁牺牲了部分实用性,导致不足以达到某些工作的需要2.大部分是实战课程弱化了其他技术点的不足,无法全面了解python,但是很多都是刚接触python的(很致命)3.因为是录播课程导致某些问题不能及时去解决,没人交流(这个最烦) 所以真要把python学…

Python爬虫工程师必学 App数据抓取实战 整个课程都看完了,这个课程的分享可以往下看,下面有链接,之前做java开发也做了一些年头,也分享下自己看这个视频的感受,单论单个知识点课程本身没问题,大家看的时候可以关注下面几点: 1.为了追求精简简洁牺牲了部分实用性,导致不足以达到某些工作的需要 2.大部分是实战课程弱化了其他技术点的不足,无法全面了解python,但是很多都是刚接触python的(很致命) 3.因为是录播课程导致某些问题不能及时去解决,没人交流(这个最烦)  所以真要把pyth…

自打入门量化分析起,就有相当部分的时间在与数据打交道,从数据的获取.清洗到使用,对分析而言既是繁琐的,也是必须的.有大牛曾经说,量化分析有8成的开发时间都在处理数据. 为了节省时间,将更多精力投入到策略的开发,数据的来源和初始的质量就尤为重要. 方便的数据渠道和整洁的数据编排,可以节省大量时间. 这里我们以大A股为例,分享3种获取行情交易数据的方法,推荐程度为由低到高. 一.从行情软件手动搬运 通达信.大智慧.同花顺等行情软件都会将数据储存在本地. 1.一些比较基本的数据(如日线.分钟线等)通常…

背景 乾象投资 Metabit Trading 成立于2018年,是一家以人工智能为核心的科技型量化投资公司.核心成员毕业于 Stanford.CMU.清北等高校.目前,管理规模已突破 30 亿元人民币. Metabit 非常重视基础平台的建设,有一支强大的 Research Infrastructure 团队.团队试图打破在单机上进行研发的壁垒,利用云计算进行更高效.安全的工具链研发. 01 量化的研究都在做什么 作为一家成立时间不久的量化投资机构,我们在对基础存储平台进行选型时,会受到这样两…