topN 算法 以及 逆算法(随笔)
topN 算法 以及 逆算法(随笔)
注解:所谓的 topN 算法指的是 在 海量的数据中进行排序从而活动 前 N 的数据。 这就是所谓的 topN 算法。当然你可以说我就 sort 一下 排序完了直接取 slice(0, n) 不就好咯。 但是这的性能会很差~ 那到底能有多差,这篇文章会给大家一个 直观的感受。
第一步、造数据
有排序,那么必须先得有数据 才能在这基础上进行下一步的操作。
let arr = []
for (let i = 0; i < 2000; i++) {
arr.push(i)
}
console.log(arr) // [0, 1, 2, ..., 10000]
第二步、 打乱数据
ok, 现在 数据原料有了,但是呢,现在这个的排序是正常的。我们现在要做的就是打乱这 10000 个数字的顺序。 thinking , emmmmmm。 好像没什么好的办法。 思路: 既然是要随机乱排列。那么随机数 Math.random() 可以获取一个 随机数 通过这个随机数,我们可以有什么作为呢?
这个时候,我们想到了 一个 最low 的办法, sort 排序。 然后再利用 random 随机数。 好了,我们试一试
for (var m = 0; m < arr.length; m++) {
arr.sort( function() {
return 0.5 - Math.random()
})
}
console.log(arr)
没错就是这样,数据就被随机打乱了~~~ 但是性能如何呢?
我们专门来测试了一番。
第三步、 打乱数据 性能测试。
我们先从 循环 1000 来逐步加大运算量,看看我们的浏览器到哪一步会挂 =。= --- 代码如下:
let arr = []
let sTime = new Date().getTime()
console.log('第一步' + sTime)
for (let i = 0; i < 1000; i++) {
arr.push(i)
}
console.log('第二步' + arr)
console.log(new Date().getTime() - sTime)
for (var m = 0; m < arr.length; m++) {
arr.sort( function() {
return 0.5 - Math.random()
})
}
console.log('第三步' + arr)
console.log(new Date().getTime() - sTime)
(1) 1000 循环的结果:

造数据: 4 ms
打乱数据: 600 ms (多次平均值)
(2) 2000 循环的结果:


造数据: 8 ms
打乱数据: 2500 ms (多次平均值)
(3) 5000 循环的结果:


造数据: 8 ms
打乱数据: 18000 ms (多次平均值)
实在是 不想测试 10000 次 数据通过 sort 打乱的过程。 时间 tooooooo loooooooong...
第四步、 再获得 topN 个数字
我们通过 可以想到的所有方法 对上面的 2000 次计算的数据进行有效的排序。
sort()?
二叉树?
使用最大堆排序,然后取出前N名?
分成 N * 10 个数组,获取其中的最大值,再排序 ?
(1) sort() 排序法
代码如下:
arr.sort(function(a, b) {
return a - b
})
console.log('第四步' + arr)
结果:

很神奇,在仅仅只有 5000 的数据量的时候 sort 排序 速度居然也还是很快。 平均值在 6ms 左右。
(2) sort() 分成 N * 10 个数组,获取其中的最大值,再排序
晚上回家继续写~~~ 敬请期待
topN 算法 以及 逆算法(随笔)的更多相关文章
- RSA简介(四)——求逆算法
此处所谓求逆运算,是指在模乘群里求逆. 第一节里提到互质的两个定义: (1)p,q两整数互质指p,q的最大公约数为1. (2)p.q两整数互质指存在整数a,b,使得ap+bq=1. 只要明白了欧几里得 ...
- leetcode算法学习----逆波兰表达式求值(后缀表达式)
下面题目是LeetCode算法:逆波兰表达式求值(java实现) 逆波兰表达式即后缀表达式. 题目: 有效的运算符包括 +, -, *, / .每个运算对象可以是整数,也可以是另一个逆波兰表达式.同 ...
- Levenshtein Distance算法(编辑距离算法)
编辑距离 编辑距离(Edit Distance),又称Levenshtein距离,是指两个字串之间,由一个转成另一个所需的最少编辑操作次数.许可的编辑操作包括将一个字符替换成另一个字符,插入一个字符, ...
- 行为识别笔记:improved dense trajectories算法(iDT算法)(转载)
iDT算法是行为识别领域中非常经典的一种算法,在深度学习应用于该领域前也是效果最好的算法.由INRIA的IEAR实验室于2013年发表于ICCV.目前基于深度学习的行为识别算法效果已经超过了iDT算法 ...
- 数据结构与算法系列研究七——图、prim算法、dijkstra算法
图.prim算法.dijkstra算法 1. 图的定义 图(Graph)可以简单表示为G=<V, E>,其中V称为顶点(vertex)集合,E称为边(edge)集合.图论中的图(graph ...
- MP算法、OMP算法及其在人脸识别的应用
主要内容: 1.MP算法 2.OMP算法 3.OMP算法的matlab实现 4.OMP在压缩感知和人脸识别的应用 一.MP(Matching Pursuits)与OMP(Orthogonal Matc ...
- 【强连通分量】tarjan算法及kosaraju算法+例题
阅读前请确保自己知道强连通分量是什么,本文不做赘述. Tarjan算法 一.算法简介 Tarjan算法是一种由Robert Tarjan提出的求有向图强连通分量的时间复杂度为O(n)的算法. 首先我们 ...
- Hash 算法与 Manacher 算法
目录 前言 简单介绍 简述 Hash 冲突 离散化 基本结构 普通 Hash 简述 例题 字符串 Hash 简单介绍 核心思想 基本运算 二维字符串 Hash 例题 兔子与兔子 回文子串的最大长度 后 ...
- 懂了!国际算法体系对称算法DES原理
概念 加密领域主要有国际算法和国密算法两种体系.国密算法是国家密码局认定的国产密码算法.国际算法是由美国安全局发布的算法.由于国密算法安全性高等一系列原因.国内的银行和支付机构都推荐使用国密算法. 从 ...
随机推荐
- 教程,Python图片转字符堆叠图
Python 图片转字符画 一.实验说明 1. 环境登录 无需密码自动登录, 2. 环境介绍 本实验环境采用带桌面的UbuntuLinux环境,实验中会用到桌面上的程序: LX终端(LXTermina ...
- 团队作业4---第一次项目冲刺(ALpha版本)第一天
一.Daily Scrum Meeting照片 二.燃尽图 三.项目进展 1.界面 完成登录界面 2.功能 完成数据结构设计及数据交互模块代码 完成爬虫博客页面数据采集模块 四.困难与问题 1.因为要 ...
- 201521123012 《Java程序设计》第五周学习总结
##1. 本周学习总结 1.1 尝试使用思维导图总结有关多态与接口的知识点. 答: 1.2 可选:使用常规方法总结其他上课内容. 答:匿名内部类:将一个类的定义放在另一个类的内部.一般是 **new ...
- 201521123016 《Java程序设计》第5周学习总结
1. 本周学习总结 1.1 尝试使用思维导图总结有关多态与接口的知识点. 2. 书面作业 1.代码阅读:Child压缩包内源代码 1.1 com.parent包中Child.java文件能否编译通过? ...
- 201521123065《java程序设计》第13周学习总结
1. 本周学习总结 1.协议是端口之间进行网络通信的一种语言规则语法: 2.套接字Socket用于实现客户端与服务器端的连接,实现网络通信,进行数据交换: 3.LocalHost可以用来获取主机地址: ...
- 201521123093 JAVA程序设计
团队博客链接 /[博客链接]http://www.cnblogs.com/yayaya/p/7062197.html 课程设计---购物车系统(201521123093 赵铭) 1.个人负责模块或者任 ...
- delphi cxrid设置column靠左显示
1.双击cxgrid控件,选中要设置的column 2.找到properties,将column设置为Textedit,点击左边的加号 3.点击ALignment->Horz选中taleftJu ...
- lintcode 155 二叉树的最小深度
二叉树的最小深度 描述 笔记 数据 评测 给定一个二叉树,找出其最小深度. 二叉树的最小深度为根节点到最近叶子节点的距离. 您在真实的面试中是否遇到过这个题? Yes 哪家公司问你的这个题? Ai ...
- Lucene第一篇【介绍Lucene、快速入门】
什么是Lucene?? Lucene是apache软件基金会发布的一个开放源代码的全文检索引擎工具包,由资深全文检索专家Doug Cutting所撰写,它是一个全文检索引擎的架构,提供了完整的创建索引 ...
- python实例编写(5)--异常处理,截图,用例设计
一.python的异常处理 异常抛出处理机制: 1.若在运行时发生异常,解释器会查找相应的处理语句(handler) 2.若在当前函数无法找到,就将异常传给上层的调用函数,看是否能处理 3.如果在最外 ...