最近一直没更新python&量化的博客，是因为忙于看HDF5的书，写VNPY框架，学scrapy爬虫。

本来写博客的目的就是为了当作一种教材，当遇到不会的问题过来找答案。

对于HDF5下面这本书写的很详细了，国内针对HDF5的教材少之又少，python这块应该只有这一本。

大概说下，为什么用HDF5吧。一般股票或期货的历史K线数据都会使用MySql或MongoDB（VNPY用的它），但是有下面两个缺点：

1、速度:不管是mysql还是Mongodb的读写都存在进程间通信的问题，不同进程间无法直接通讯，需借助其他工具，这就会增加读写时间。

2、大小:由于数据库（尤其是关系型数据库）在保存数据信息时，还会插入一些关系数据等信息，一同保存进入文件，对股票历史k线数据，这种高度结构化的数据，这些关系数据本身是没用的。额外了占用了存储空间。

HDF5优点：

1、速度：直接从硬盘读入内存，绕开了进程间通讯，速度极快。同时它支持切片读取，即不需要把整个dataset读入内存，只读取切片即可。速度和大小都有优化

2、大小：把股票历史数据的dataframe数据作为dataset存入HDF5，列名和索引作为元数据存入HDF5，这样基本上HDF5里没有了与数据不相关的内容，加之其可以使用GZIP和LZF压缩过滤器，在牺牲一部分写入速度的同时，大大减小了存储空间。

大家如果想看的话，就买这本书吧，内容挺全的，基本上能覆盖日常的应用。京东上有卖。

最后附上该书的目录xmind文件：

https://files.cnblogs.com/files/GavinSimons/Python%26HDF5.rar

Python&HDF5目录的更多相关文章

  1. python模块目录文件后续

    1,新增PythonModule加载path Ruiy tip(关于python list[]数据库类型特殊你懂的!append(""),extend([""] ...

  2. Python开发目录

    Python开发目录 Python之三目运算符 Python之文件的基本操作

  3. Python——Django目录说明

    一.Django安装好后,建立djangosite的开发项目 #django-admin startproject djangosite 二.djangosite目录内容 ''' djangosite ...

  4. Python爬虫目录

    Python爬虫目录 工具使用 Pycharm 连接Linux 远程开发 mongodb在windows下安装启动 爬虫抓包工具Fiddle设置 爬虫抓包工具Charles设置 爬虫工具fiddle在 ...

  5. Python并发目录

    Python并发目录 Python-socket网络编程 Python网络编程-IO阻塞与非阻塞及多路复用 Python进程-理论 Python进程-实现 Python进程间通信 Python进程池 ...

  6. 初学Python——软件目录结构规范

    为什么要设计好目录结构? 可读性高: 不熟悉这个项目的代码的人,一眼就能看懂目录结构,知道程序启动脚本是哪个,测试目录在哪儿,配置文件在哪儿等等.从而非常快速的了解这个项目. 可维护性高: 定义好组织 ...

  7. python 项目目录结构

    目录组织方式 关于如何组织一个较好的Python工程目录结构,已经有一些得到了共识的目录结构.在Stackoverflow的这个问题上,能看到大家对Python目录结构的讨论. 这里面说的已经很好了, ...

  8. python 查看目录下所有目录和文件

    python查看目录下所有的子目录和子文件 python递归遍历目录结构 我喜欢第一种 方法1 import json, os def list_dir(path, res): for i in os ...

  9. 三行命令搞定查询Python安装目录

    想为Python添加一个库文件到默认目录,却忘记了Python安装目录. 其实,只要用下面三行命令,就可以轻松得到Python安装路径了. 进入Python >>>import sy ...

随机推荐

  1. 【题解】Luogu P4979 矿洞：坍塌

    原题传送门:P4979 矿洞:坍塌 这是某场膜你赛的题,最后我一百零几分rank三十几滚粗 这是我唯一ac的一题 这题比较简单qaq 前置芝士:珂朵莉树 窝博客里对珂朵莉树的介绍 没什么好说的自己看看 ...

  2. Summarization of Tech Interviews

    Summarization of Tech Interviews(技术面试总结) 手心网(2015) Q1. 解释一下 TCP/IP 协议之滑动窗口? 滑动窗口协议的维基:https://en.wik ...

  3. XXX银行项目部署

    XXX银行项目部署 一.下载项目代码 1.使用git工具下载代码 代码路径:推荐代码下载到桌面 git clone http://sunyard_姓名拼音@bitbucket.devops.hfdev ...

  4. Java 判断字符串是否为空的四种方法、优缺点与注意事项

    以下是Java 判断字符串是否为空的四种方法: 方法一: 最多人使用的一个方法, 直观, 方便, 但效率很低: if(s == null ||"".equals(s));方法二: ...

  5. 01MySQL的 库、表初步认识

    一.安装&完全卸载 1.引导式安装 https://dev.mysql.com/downloads/installer/ 2.下载压缩包,解压后用控制台安装 初始化 mysqld --init ...

  6. HDU - 1849 Rabbit and Grass 【Nim博弈】

    Problem Description 大学时光是浪漫的,女生是浪漫的,圣诞更是浪漫的,但是Rabbit和Grass这两个大学女生在今年的圣诞节却表现得一点都不浪漫:不去逛商场,不去逛公园,不去和AC ...

  7. 【做题】TCSRM592 Div1 500 LittleElephantAndPermutationDiv1——计数&dp

    题意:定义函数\(f(A,B) = \sum_{i=1}^n \max(A_i,B_i)\),其中\(A\)和\(B\)都是长度为\(n\)的排列.给出\(n\)和\(k\),问有多少对\((A,B) ...

  8. dp专题练习

    顺便开另外一篇放一些学过的各种dp dp总结:https://www.cnblogs.com/henry-1202/p/9194066.html 开坑先放15道题,后面慢慢补 目标50道题啦~~,目前 ...

  9. Video Frame Synthesis using Deep Voxel Flow 论文笔记

    Video Frame Synthesis using Deep Voxel Flow 论文笔记 arXiv 摘要:本文解决了模拟新的视频帧的问题,要么是现有视频帧之间的插值,要么是紧跟着他们的探索. ...

  10. HDU 6096 String（AC自动机+树状数组）

    题意 给定 \(n\) 个单词,\(q\) 个询问,每个询问包含两个串 \(s_1,s_2\),询问有多少个单词以 \(s_1\) 为前缀, \(s_2\) 为后缀,前后缀不能重叠. \(1 \leq ...