zw·10倍速大数据与全内存计算

zw·10倍速大数据与全内存计算

zw全内存10倍速计算blog，早就在博客园机器视觉栏目发过，大数据版的一直挂着，今天抽空补上。

在《零起点，python大数据与量化交易》目录中

http://blog.sina.com.cn/s/blog_7100d4220102vlpa.html

我们已经介绍了多种：大数据与Python十倍速性能优化

• 软加速：矢量优先
• 软加速：cpython
• SSD加速大法
• KBD全内存数据库
• Gpu终极加速方案

zw全内存10倍速计算，是根据实践，在工程中提出了一种全新的解决方法，ramdisk，采用内存虚拟盘。

目前，内存价格很低，8G基本是标配，笔者的推荐配置32G以上，最好是：e3 cpu+大容量
服务器主板，组建128-256G以上的全内存运算环境，

把整个系统，包括windows，python、pandas、项目软件，全部copy到ram里面，进行全内存计算。

HP目前正在研发的：the
machine，据说就是完全放弃了外部磁盘。

ramdisk软件，目前有很多，常见的有amd、软媒内存盘，一般采用单文件的软媒内存盘。

64位系统，起点就是2G以上的数组（内存表talble），作为k-v表、index索引库而言，已经足够了，毕竟，很少有10G以上的K-V表，其他数据，放到硬盘、ssd都无所谓，毕竟90%瓶颈是在在k-v部分。

zw全内存10倍速计算，其实也是目前游戏工作室、网推工作室的首选配置方案。

1套E3-256G系统，1w左右，采用优化的骨头版xp（不到100M），可以挂50-100个vbox虚拟机，还可以优化。

单机，同时可以支持数十甚至上百网游、页游、安卓模拟器，多开挂机，

挂QQ，500-1000个，配合自动登录脚本，单机每天1w个左右。

大数据、量化交易，互联网企业，金融公司，e3-256G，略微低端了些，建议直接上e5、e7系列，内存越大越好

对于部分重口味的用户，例如“双11”爆仺，可以采取数据库拆分，或者老毛子式的：简单、粗暴的风格，

直接使用最快的ddr4/ddr5内存，并扩充到512G甚至1T以上，

这个虽然贵点，不过对于互联网企业、金融机构无所谓，而且，再贵，也比IBM的小型机便宜十倍。

zw全内存10倍速计算，虽然看起来保持了TG的土鳖风格，不过非常实用，

特别是对于中小企业、IT工作室，几乎是零成本，就可以提速5-10倍。

而且没有任何二次开发、移植成本，无需GPU、cuda编程。