C# 蓄水池抽样

蓄水池采样算法解决的是在给定但长度未知的大数据集中，随机等概率抽取一个数据。如果知道数据的长度，可以用随机数rand()%n得到一个确切的随机位置，或者分块取值来构造随机，那么该位置的对象就是所求的对象，选中的概率是1/n。那长度未知特别是如果这个大数据集不能一次性放入内存中，蓄水池抽样算法就非常有用,在我的项目中采用的蓄水池随机抽样还加入了权重的计算。

其中方法中核心代码，也就是蓄水池抽样就是如下代码。

if (i < spotQuantity)

{

    titleIndexList.Add(i);

    eigenValueList.Add(tempEigenValue);

}

else

{

    double minEigenValue = eigenValueList.Min();

    int minIndex = eigenValueList.IndexOf(minEigenValue);

    if (tempEigenValue > minEigenValue)

    {

        eigenValueList[minIndex] = tempEigenValue;

        titleIndexList[minIndex] = i;

    }

}

首先从计算出的要抽取多少数量，根据数据循环，先让抽取数量的数据放入池子中titleIndexList，并且将对应数据的权重放入到抽取数据的权重列表。

在后面的循环中，判断抽取的权重如果大于已经抽取的最小权重则替换最小权重的数据为当前循环的数据。

如果你不是按照权重，则可以产生一个随机数，如果随机数落在已经抽取队列的数组下标内，则替换掉原来的下标数据也能实现随机性。

        public static void WeightedSampling(List<article> articleList, int grade)

        {

            //根据传入的grade 计算一个抽样数量。

            double sampleFactor = (double)Math.Pow((double)1 / (1 + grade), Math.E);

            var spotQuantity = (int)Math.Ceiling(articleList.Count() * sampleFactor);

            //如果规则抽的数量已经超过随机抽取数则不再抽取

            var spotedCount = articleList.Where(t => t.isspot == 1).Count();

            if (spotedCount >= spotQuantity)

                return;

            //如果数量不足则补齐

            spotQuantity -= spotedCount;

            var spotTitleList = articleList.Where(t => t.isspot != 1).ToList();

            //实例化池子和数据权重List

            List<int> titleIndexList = new List<int>();

            List<double> eigenValueList = new List<double>();

            if (spotArticle.Count() <= spotQuantity)

            {

                for (int i = 0; i < spotArticle.Count(); i++)

                {

                    spotArticle[i].isspot = 1;

                }

            }

            else

            {

                var random = new Random();

                for (int i = 0; i < spotTitleList.Count; i++)

                {

                    double tempWeight = spotTitleList[i].eigenvalue;

                    double tempEigenValue = Math.Pow(random.NextDouble(), 1 / tempWeight);

                    if (i < spotQuantity)

                    {

                        titleIndexList.Add(i);

                        eigenValueList.Add(tempEigenValue);

                    }

                    else

                    {

                        double minEigenValue = eigenValueList.Min();

                        int minIndex = eigenValueList.IndexOf(minEigenValue);

                        if (tempEigenValue > minEigenValue)

                        {

                            eigenValueList[minIndex] = tempEigenValue;

                            titleIndexList[minIndex] = i;

                        }

                    }

                }

                //将抽取出来的对象isspot 抽取标志设置为1

                foreach (var index in titleIndexList)

                {

                    spotTitleList[index].isspot = 1;

                }

            }

        }

该方法对于我们平时项目中抽取不知道数据长度的随机数是非常好用的算法，同时该算法不复杂其时间复杂度为O(n)。

C# 蓄水池抽样的更多相关文章

Reservoir Sampling - 蓄水池抽样
问题起源于编程珠玑Column 12中的题目10,其描述如下: How could you select one of n objects at random, where you see the o ...
蓄水池抽样（原理&实现）
前言: 蓄水池抽样:从N个元素中随机的等概率的抽取k个元素,其中N无法确定. 适用场景: 模式识别等概率抽样,抽样查看渐增的log日志(无法先保存整个数据流然后再从中选取,而是期望有一种将数据流遍历一 ...
Reservoir Sampling - 蓄水池抽样问题
问题起源于编程珠玑Column 12中的题目10,其描述如下: How could you select one of n objects at random, where you see the o ...
【算法34】蓄水池抽样算法 (Reservoir Sampling Algorithm)
蓄水池抽样算法简介蓄水池抽样算法随机算法的一种,用来从 N 个样本中随机选择 K 个样本,其中 N 非常大(以至于 N 个样本不能同时放入内存)或者 N 是一个未知数.其时间复杂度为 O(N),包含 ...
Reservoir Sampling - 蓄水池抽样算法&&及相关等概率问题
蓄水池抽样——<编程珠玑>读书笔记 382. Linked List Random Node 398. Random Pick Index 从n个数中随机选取m个等概率随机函数面试题总结 ...
leetcode398 and leetcode 382 蓄水池抽样算法
382. 链表随机节点给定一个单链表,随机选择链表的一个节点,并返回相应的节点值.保证每个节点被选的概率一样. 进阶:如果链表十分大且长度未知,如何解决这个问题?你能否使用常数级空间复杂度实现? 示 ...
C#LeetCode刷题-蓄水池抽样
蓄水池抽样篇 # 题名刷题通过率难度 382 链表随机节点 47.0% 中等 398 随机数索引 41.6% 中等
【数据结构与算法】蓄水池抽样算法（Reservoir Sampling）
问题描述给定一个数据流,数据流长度 N 很大,且 N 直到处理完所有数据之前都不可知,请问如何在只遍历一遍数据(O(N))的情况下,能够随机选取出 m 个不重复的数据. 比较直接的想法是利用随机数算 ...
Reservoir Sampling 蓄水池抽样算法，经典抽样
随机读取数据,如何保证真随机是不可能的,因为计算机的随机函数是伪随机的. 但是在不考虑计算机随机函数的情况下,如何保证数据的随机采样呢? 1.系统提供的shuffle函数 C++/Java都提供有sh ...

随机推荐

dva+react+antd+webpack 项目开发配置
如何搭建一个dva项目如何搭建一个dva项目后期项目会在github上进行书写,同时也会在segmentfault上进行同步-3Q拜读-
ES6-11学习笔记--字符串的扩展
字符的Unicode表示法字符串的遍历器接口 ****重点****模板字符串 String.fromCodePoint() String.prototype.includes() String.pr ...
Hadoop伪分布式集群实现SSH免密登录
在启动Hadoop时候报了这样一个错误: Starting namenodes on [hadoop] hadoop: (Permission denied (publickey,gssapi-key ...
校验ip地址的格式
/*输入:strIP:ip地址返回:如果通过验证返回true,否则返回false: */ function isIP(strIP) { if (isNull(strIP)) return false ...
时序数据库influxDB介绍
https://www.jianshu.com/p/68c471bf5533 https://www.cnblogs.com/wzbk/p/10569683.html
line-height: 1; line-height: 100%;是什么意思
先简单看个例子: css 页面: 应该猜测出来了: line-height: 1; = line-height: 100%; = font-size: 50px; 把哪一个放到最后都是一样的.我理解的 ...
【二进制枚举】【CF Div2 C】
2022.3.4 https://codeforces.com/contest/1646/problem/C 题意: 给一个数, 问可以最少有几个以下的数构成: 1.x! 2.2^x(x在每次都是任 ...
数仓建设 | ODS、DWD、DWM等理论实战（好文收藏）
本文目录: 一.数据流向二.应用示例三.何为数仓DW 四.为何要分层五.数据分层六.数据集市七.问题总结导读数仓在建设过程中,对数据的组织管理上,不仅要根据业务进行纵向的主题域划分,还需 ...
RAID5加热备盘
RAID 5加热备盘 RAID 10磁盘阵列中最多允许50%的硬盘设备发生故障,但是存在这样一种极端情况,即同一RAID 1磁盘阵列中的硬盘设备若全部损坏,也会导致数据丢失.换句话说,在RAID 10 ...
R2DBC正式孵化成功，利好Spring Webflux
2022年4月25日,R2DBC社区宣布具有普遍可用性的1.0.0.RELEASE正式发布. R2DBC致力于为反应式编程 API操作关系型数据库带来规范支持,R2DBC不同于我们熟知的JDBC规范, ...

C# 蓄水池抽样

C# 蓄水池抽样的更多相关文章

随机推荐

热门专题