zw·10倍速大数据与全内存计算



zw全内存10倍速计算blog,早就在博客园机器视觉栏目发过,大数据版的一直挂着,今天抽空补上。

在《零起点,python大数据与量化交易》目录中
我们已经介绍了多种:大数据与Python十倍速性能优化
  • 软加速:矢量优先
  • 软加速:cpython
  • SSD加速大法
  • KBD全内存数据库
  • Gpu终极加速方案

zw全内存10倍速计算,是根据实践,在工程中提出了一种全新的解决方法,ramdisk,采用内存虚拟盘。

目前,内存价格很低,8G基本是标配,笔者的推荐配置32G以上,最好是:e3 cpu+大容量
服务器主板,组建128-256G以上的全内存运算环境,
把整个系统,包括windows,python、pandas、项目软件,全部copy到ram里面,进行全内存计算。
HP目前正在研发的:the
machine,据说就是完全放弃了外部磁盘。
ramdisk软件,目前有很多,常见的有amd、软媒内存盘,一般采用单文件的软媒内存盘。

64位系统,起点就是2G以上的数组(内存表talble),作为k-v表、index索引库而言,已经足够了,毕竟,很少有10G以上的K-V表,其他数据,放到硬盘、ssd都无所谓,毕竟90%瓶颈是在在k-v部分。
zw全内存10倍速计算,其实也是目前游戏工作室、网推工作室的首选配置方案。
1套E3-256G系统,1w左右,采用优化的骨头版xp(不到100M),可以挂50-100个vbox虚拟机,还可以优化。
单机,同时可以支持数十甚至上百网游、页游、安卓模拟器,多开挂机,
挂QQ,500-1000个,配合自动登录脚本,单机每天1w个左右。

大数据、量化交易,互联网企业,金融公司,e3-256G,略微低端了些,建议直接上e5、e7系列,内存越大越好
对于部分重口味的用户,例如“双11”爆仺,可以采取数据库拆分,或者老毛子式的:简单、粗暴的风格,

直接使用最快的ddr4/ddr5内存,并扩充到512G甚至1T以上,
这个虽然贵点,不过对于互联网企业、金融机构无所谓,而且,再贵,也比IBM的小型机便宜十倍。

zw全内存10倍速计算,虽然看起来保持了TG的土鳖风格,不过非常实用,
特别是对于中小企业、IT工作室,几乎是零成本,就可以提速5-10倍。
而且没有任何二次开发、移植成本,无需GPU、cuda编程。

zw·10倍速大数据与全内存计算的更多相关文章

  1. 比hive快10倍的大数据查询利器presto部署

    目前最流行的大数据查询引擎非hive莫属,它是基于MR的类SQL查询工具,会把输入的查询SQL解释为MapReduce,能极大的降低使用大数据查询的门槛, 让一般的业务人员也可以直接对大数据进行查询. ...

  2. zw版足彩大数据&报价

    zw版足彩大数据&报价 ::zw增强版足彩大数据,文件名后缀是'.dat' ::文件格式是标准文本格式,逗号分隔 ::zw增强版,在标准版赔率基础上,增加了倒数.比率两组归一化数据 ::zw版 ...

  3. java大数据最全课程学习笔记(1)--Hadoop简介和安装及伪分布式

    Hadoop简介和安装及伪分布式 大数据概念 大数据概论 大数据(Big Data): 指无法在一定时间范围内用常规软件工具进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发 ...

  4. zw版_Halcon图像交换、数据格式、以及超级简单实用的DIY全内存计算.TXT

    zw版_Halcon图像交换.数据格式.以及超级简单实用的DIY全内存计算.TXT Halcon由于效率和其他原因,内部图像采用了很多自有格式,提高运行速度,但在数据交换方面非常麻烦. 特别是基于co ...

  5. BAT推荐免费下载JAVA转型大数据开发全链路教程(视频+源码)价值19880元

    如今随着环境的改变,物联网.AI.大数据.人工智能等,是未来的大趋势,而大数据是这些基石,万物互联,机器学习都是大数据应用场景! 为什么要学习大数据?我们JAVA到底要不要转型大数据? 好比问一个程序 ...

  6. 记录一笔关于PHPEXCEL导出大数据超时和内存溢出的问题

    通过查阅资料可以找到PHPEXCEL本身已经有通过缓存来处理大数据的导出了.但是昨晚一直没有成功,这可捉急了.最后想来想去就替换了phpExcel的版本了.最后就成功了.话不多说,代码附上 <? ...

  7. java大数据最全课程学习笔记(6)--MapReduce精通(二)--MapReduce框架原理

    目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录 MapReduce精通(二) MapReduce框架原理 MapReduce工作流程 InputFormat数据 ...

  8. java大数据最全课程学习笔记(3)--HDFS 简介及操作

    目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录 HDFS 简介及操作 HDFS概述 HDFS产出背景及定义 HDFS优缺点 HDFS组成架构 HDFS文件块大小 ...

  9. java大数据最全课程学习笔记(5)--MapReduce精通(一)

    目前CSDN,博客园,简书同步发表中,更多精彩欢迎访问我的gitee pages 目录 MapReduce精通(一) MapReduce入门 MapReduce定义 MapReduce优缺点 优点 缺 ...

随机推荐

  1. 使用Spring Cloud Feign作为HTTP客户端调用远程HTTP服务

    在Spring Cloud Netflix栈中,各个微服务都是以HTTP接口的形式暴露自身服务的,因此在调用远程服务时就必须使用HTTP客户端.我们可以使用JDK原生的URLConnection.Ap ...

  2. Qt编写自定义控件3-速度仪表盘

    前言 速度仪表盘,写作之初的本意是用来展示当前测试的网速用的,三色圆环+数码管显示当前速度,Qt自带了数码管控件QLCDNumber,直接集成即可,同时还带有动画功能,其实也可以用在汽车+工业领域等, ...

  3. LeetCode - 768. Max Chunks To Make Sorted II

    This question is the same as "Max Chunks to Make Sorted" except the integers of the given ...

  4. IntelliJ IDEA 改变默认的签名 Administrator

    /** * Created with IntelliJ IDEA. * User: Administrator * Date: 12-8-27 * Time: 下午11:29 * To change ...

  5. springboot源码解读01

    package org.springframework.web; @javax.servlet.annotation.HandlesTypes({org.springframework.web.Web ...

  6. react better-scroll 编写类似手机chrome的header显示隐藏效果

    关键代码 const H = 50; // header的高度 const H2 = H / 2; let cy = 0; class Home extends Component { @observ ...

  7. php 获取IP地址 并获取坐标lat lng 并获取到所在地区

    函数方法:ps:只能放在服务器上起效果,放在本地是无法起效果的 /* **根据ip获取坐标 ***/ function get_zuobiao(){ $user_IP = ($_SERVER[&quo ...

  8. JavaScript---设计模式总结

    写了两篇设计模式的东西后,感觉不是很完美,决定闭关修炼,同时写下笔记 重申:设计模式很有用! 这里列一个设计模式的目录防止漏了某个东西(未完成的没有链接) 单例模式 策略模式 代理模式 迭代器模式 发 ...

  9. VS开发入门一:VS常用快捷键大全,工欲善其事必先利其器 只看标红的吧

    1.快速using(这个的快捷键是ctrl+.)2.快速回到之前编辑的代码页面现在的项目动不动就几十个代码页面,经常需要在几个页面之间跳来跳去,这时就需要这两个快捷键:CTRL + - 向后定位,回到 ...

  10. 通过ALT+F9关键CALL追踪注册码

    1)弹出关键字对话框,记录关键字注册失败,请检查···· 2)使用PEID查壳 3)peid提示无壳 4)发送到OD 5)F9使od运行 5.1)继续输入用户 5.2)使其暂停 5.3)点击调试中的执 ...