real case test MM parallel 4x scalable (i7 6700)(on the newer processors will be linear) I did a small test with real code scenario,look at parallel zlib with my patch, zcompress loop 1000 of a 1100KB text file: uses System.Zlib; threadvar INS: TMemo…

引 言:在日常中,我们一定使用过WINZIP.WINRAR这样的出名的压缩软件,就是我们开发软件过程中不免要遇到数据加密.数据压缩的问题!本文中就这一技术问题展开探讨,同时感谢各位网友的技巧,在我每次面对问题要解决的时候,是你们辛苦地摸索出来的技巧总是让我豁然开朗,问题迎刃而解.本篇文章主要是运用DELPH的强大的流处理方面的技巧来实现的数据加密压缩,并用于实际的软件程序开发中,将我个人的心得.开发经验写出来与大家分享. 1.  系统功能1).数据压缩使用DELPHI提供的两个流类(TCompr…

用pigz代替gzip By yejr on 03 十二月 2012 pig是个啥东东?官网:http://zlib.net/pigz一句话简介: A parallel implementation of gzip for modernmulti-processor, multi-core machines. 简单的说,就是支持并行的gzip.废话不多说,开始测试. pig默认用当前逻辑cpu个数来并发压缩,无法检测个数的话,则并发8个线程. 一.测试压缩包文件1 压缩前 -rw-r--r--…

不知什么时候,也许是XE8,也许是XE8之前 .Delphi里面多了个System.Threading的并行库. 虽然己经有非常棒的第三方并行库QWorker,但我还是更喜欢官方的东西. 下面是一段使用System.Threading中ITask的代码 procedure TForm3.SpeedButton1Click(Sender: TObject); var tasks: array of ITask; value: Integer; LTask:ITask; X,Y:INTEGER; b…

delphi 图片压缩代码 据说是位图缩放保持原图视觉效果最好的算法 若有更好的,请大神留言我也学习下,感谢! uses WinAPI.GDIPAPI, WinAPI.GDIPOBJ; var  Bitmap1: TGPBitmap;  Bitmap2: TBitmap;  Graphic: TGPGraphics;begin  Bitmap1 := TGPBitmap.Create('test.bmp');  // bmp, gif, jpeg, png...  Bitmap2 := TBit…

    关于文件操作集锦 取得该快捷方式的指向EXE关键词:快捷方式 LNK unit Unit1; interface usesWindows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,Dialogs, StdCtrls; typeTForm1 = class(TForm)Button1: TButton;procedure Button1Click(Sender: TObject);private{ P…

欲实现效果图 提出需求点: 用户可自由添加删除替换多张图片,并且显示相应缩略图,限制为8张 用户可选择压缩图或直接上传原图功能 返回提醒用户会丢失填写的信息 下面一个个实现上述需求,从简单到复杂: 需求3: 用户返回弹出提示框,使用mui.confirm如下: var oldBack = mui.back; mui.back=function(e){ mui.confirm("尚未提交,返回后将会丢失填写内容物,是否返回?","返回确认",['返回','取消'],f…

背景 刚毕业那几年有幸进入了当时非常热门的某社交网站,在数据平台部从事大数据开发相关的工作.从日志收集.存储.数据仓库建设.数据统计.数据展示都接触了一遍,比较早的赶上了大数据热这波浪潮.虽然今天的人工智能的热度要远高于大数据,但是大家还是不能否定大数据在人工智能中不可取代的地位. 话回正题,当时遇到了一个需要解决的问题就是如何快速对日志进行压缩.那时一天的日志量大概是3TB左右,共100+种日志,最大的一个日志一天要1TB,最小的日志只有几十M.统计需求大部分是用HIVE完成,HIVE中的表每…

背景及原理 数据库的备份是灾难恢复的最后一道屏障,不管什么类型的数据库都需要设置数据库备份,MongoDB也不例外.MongoDB 3.0 后 ,数据库可以采用Wiredtiger存储引擎后(3.2 版本默认),在此环境下通过mongodump 备份后,产生的备份文件要远大于数据存储文件的大小.此外,一般MongoDB存储的数据量比较大,备份文件也比较大,占用了很多磁盘空间.所以,研究如何实现MongoDB备份压缩很有必要. 上图是执行命令 db.stats() 查看某数据库的信息. 备份文件的…

webpack默认提供了UglifyJS插件来压缩JS代码,但是它使用的是单线程压缩代码,也就是说多个js文件需要被压缩,它需要一个个文件进行压缩.所以说在正式环境打包压缩代码速度非常慢(因为压缩JS代码需要先把代码解析成用Object抽象表示的AST语法树,再去应用各种规则分析和处理AST,导致这个过程耗时非常大).使用 UglifyJS 压缩代码如下: module.exports = { plugins: [ new webpack.optimize.UglifyJsPlugin({ so…