有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M.返回频数最高的100个词. 思路: 把这1G的数据一次性全部读入内存是不可能了,可以每次读一行,然后将该词存到一个哈希表里去,哈希表的value是词出现的次数. 现在的问题是,这个哈希表有多大,能不能装载1M的内存中去. 假设这1G文件里每个词都不一样,那么最多有不同的1G/1Byte = 1G个词,一个哈希表的节点中包含了单词(key),频率(value),next指针,则内存至少要24bytes * 1…

转载请注明出处 背景 在互联网公司中,每个项目都需要数据统计.分析,便于项目组利用详细数据研究项目的整体情况,进行下一步的调整.在数据统计中,UV统计是最常见的,也是最普遍的.有的场景要求实时性很高,有点场景要求准确性很高,有的场景比较在意计算过程中的内存.不同的场景使用不同的算法,下面我们从0到1简单介绍下UV统计领域. 什么是UV统计 假设我们的场景是商家这边上架一系列水果,然后需要统计出一共上架几种水果.具体如下所示: 针对这个问题,我们想到的最简单的方式就是利用STL中的set处理. S…

在移动应用的业务场景中,我们需要保存这样的信息:一个 key 关联了一个数据集合. 常见的场景如下: 给一个 userId ,判断用户登陆状态: 显示用户某个月的签到次数和首次签到时间: 两亿用户最近 7 天的签到情况,统计 7 天内连续签到的用户总数: 通常情况下,我们面临的用户数量以及访问量都是巨大的,比如百万.千万级别的用户数量,或者千万级别.甚至亿级别的访问信息. 所以,我们必须要选择能够非常高效地统计大量数据(例如亿级)的集合类型. 如何选择合适的数据集合,我们首先要了解常用的统计模式…

切,一个字符串有什么好研究的. 别这么说,看过<平凡的世界>么,平凡的字符串也可以有不平凡的故事.试看: (1)       在C语言中,strlen计算字符串的时间复杂度是?PHP中呢? (2)       在PHP中,怎样处理多字节字符串?PHP对unicode的支持如何? 同样是字符串,为什么c语言与C++/PHP/Java的均不相同? 数据结构决定算法,这句话一点不假. 那么我们今天就来掰一掰,PHP中的字符串结构,以及相关字符串函数的实现. 一.  字符串基础 字符串可以说是PHP中…

三四月份对我拿来说是个忙碌的两个月,实验室项目到了关键的时刻,自己又需要抽身去找暑期实习,总之过得很快.值得欣慰的是幸运的拿到了阿里和腾讯的暑期实习offer,也算是对三四月份的忙碌一些回报吧.阿里的实习内推很快就来了,3月份就差不多全部结束了,腾讯稍微晚一些,原本也投了百度,想试试百度的难度,可惜笔试当天晚上要出差飞广州,也就错过了百度的笔试,对我来说,北京的诱惑并没有非常的强烈,对我的吸引力不算太强,北京的压力型节奏的生活方式让我总觉得会踹不过气,也就不了了之了. 3月2号,我通过一个师兄,…

人脸检测及识别python实现系列(3)——为模型训练准备人脸数据 机器学习最本质的地方就是基于海量数据统计的学习,说白了,机器学习其实就是在模拟人类儿童的学习行为.举一个简单的例子,成年人并没有主动教孩子学习语言,但随着孩子慢慢长大,自然而然就学会了说话.那么孩子们是怎么学会的呢?很简单,在人类出生之前,有了听觉开始,就开始不断听到各种声音.人类的大脑会自动组织.分类这些不同的声音,形成自己的认识.随着时间的推移,大脑接收到的声音数据越来越多.最终,大脑利用一种我们目前尚未知晓的机制建立了一个…

目录 metrics 评价方法 TP , FP , TN , FN 概念 计算流程 Accuracy , Precision ,Recall Average Precision PR曲线 AP计算 Average Precision mAP 参考资料 metrics 评价方法 针对谁进行评价? 对于物体分类到某个类别的 预测结果 和 真实结果 的差距进行评价(二分类) 在多分类问题中,评价方法是逐个类计算的,不是所有类一起算!是只针对一个类算,每个类别有自己的指标值! 也就是对每个类别,预测结果…

当今时代,企业数据越发膨胀.数据是企业的价值,但数据处理也是一种技术挑战.在海量数据处理的场景,即使单机计算能力再强,也无法满足日益增长的数据处理需求.所以,分布式才是解决该类问题的根本解决方案.而在分布式领域,有两类典型产品,分别是分布式存储和分布式计算.用户只有将两者的特性充分利用,才可以真正发挥分布式架构的存储和计算能力. 本文介绍 SequoiaDB(分布式存储)和 Spark(分布式计算)两款产品的对接使用,以及在海量数据场景下如何提高统计分析性能. 01  SequoiaDB 与 S…

「码哥字节」从高频面试问题跟大家一起横扫 Redis 核心知识点,从根本上理解 Redis ,不做八股文的工具人,做扭转乾坤的大神. 码哥到如今已经写了 9 篇 Redis 连载,后台有小伙伴也让我写一些关于面试的文章,于是"面霸"系列便出道了. 如果大家用心读完<Redis 系列>并理解,吊打面试官根本不是事. Redis 核心篇:唯快不破的秘密 Redis 日志篇:AOF 和 RDB 实现宕机快速恢复,数据不丢失 Redis 高可用篇:主从架构数据一致性同步原理 Red…

概述 官方说明 Redis官网 https://redis.io/ 最新版本6.2.6 Redis中文官网 http://www.redis.cn/ 不过中文官网的同步更新维护相对要滞后不少时间,但对于我们基础学习完成足够了 Redis是一个开源(BSD许可)的内存数据结构存储,用作数据库.缓存和消息代理.Redis提供丰富的数据结构,如字符串.哈希.列表.集合.带范围查询.位图.超对数.地理空间索引和流的排序集.Redis具有内置的复制.Lua脚本.LRU驱逐.事务和不同级别的磁盘持久性,并通…