最近项目中在用Linq Distinct想要将重复的资料去除时,发现它跟Any之类的方法有点不太一样,不能很直觉的在呼叫时直接带入重复数据判断的处理逻辑,所以当我们要用某个成员属性做重复数据的判断时,就必需绕一下路,这边稍微将处理的方法做个整理并记录一下。
首先为了方便接下去说明,我们必须先来准备后面会用到的数据类别,这边一样用笔者最常用来示范的Person类别,内含两个成员属性ID与Name。

view source

print?

01.public struct Person

02.{

03.#region Property

04./// <summary>

05./// Gets or sets the ID.

06./// </summary>

07./// <value>The ID.</value>

08.public string ID { get; set; }

09.

10./// <summary>

11./// Gets or sets the name.

12./// </summary>

13./// <value>The name.</value>

14.public string Name { get; set; }

15.#endregion

16.

17.

18.#region Public Method

19./// <summary>

20./// Returns a <see cref="System.String"/> that represents this instance.

21./// </summary>

22./// <returns>

23./// A <see cref="System.String"/> that represents this instance.

24./// </returns>

25.public override string ToString()

26.{

27.return Name;

28.}

29.#endregion

接着准备要用来测试的资料,这边准备了十一个Person对象,前十个对象的名称都是Larry,第十一个对象的名称为LastLarry。期望后面可以透过Distinct将重复的Larry过滤掉。
...

view source

print?

1.var datas = new List<Person>();

2.int idx = 0;

3.for (idx = 0; idx < 10; ++idx)

4.{

5.datas.Add(new Person() {ID = idx.ToString(), Name = "Larry" });

6.}

7.datas.Add(new Person() { ID = idx.ToString(), Name = "LastLarry" });

8....

若是我们想直接用内建的Distinct函式来过滤数据。
...

view source

print?

01.var distinctDatas = datas.Distinct();

02.ShowDatas(distinctDatas);

03....

04.private static void ShowDatas<T>(IEnumerable<T> datas)

05.{

06.foreach (var data in datas)

07.{

08.Console.WriteLine(data.ToString());

09.}

10.}

可以看到运行起来并不如我们所预期的,过滤出来的数据跟没过滤一样。

为了解决这个问题,我们必须要做个可依照Person.Name去做比较的Compare类别,该Compare类别必须实做IEqualityCompare.Equals与IEqualityCompare.GetHashCode方法,并在呼叫Distinct过滤时将该Compare对象带入。

view source

print?

01.distinctDatas = datas.Distinct(new PersonCompare());

02.ShowDatas(distinctDatas);

03....

04.class PersonCompare : IEqualityComparer<Person>

05.{

06.#region IEqualityComparer<Person> Members

07.

08.public bool Equals(Person x, Person y)

09.{

10.return x.Name.Equals(y.Name);

11.}

12.

13.public int GetHashCode(Person obj)

14.{

15.return obj.Name.GetHashCode();

16.}

17.

18.#endregion

19.}

运行起来就会是我们所期望的样子。

www.it165.net

但是这样做代表我们每次碰到新的类别就必须要实现对应的Compare类别,用起来十分的不便。因此有人就提出用泛型加上反射的方式做一个共享的Compare类别。

view source

print?

01.public class PropertyComparer<T> : IEqualityComparer<T>

02.{

03.private PropertyInfo _PropertyInfo;

04.

05./// <summary>

06./// Creates a new instance of PropertyComparer.

07./// </summary>

08./// <param name="propertyName">The name of the property on type T

09./// to perform the comparison on.</param>

10.public PropertyComparer(string propertyName)

11.{

12.//store a reference to the property info object for use during the comparison

13._PropertyInfo = typeof(T).GetProperty(propertyName,

14.BindingFlags.GetProperty | BindingFlags.Instance | BindingFlags.Public);

15.if (_PropertyInfo == null)

16.{

17.throw new ArgumentException(string.Format("{0} is not a property of type {1}.", propertyName, typeof(T)));

18.}

19.}

20.

21.#region IEqualityComparer<T> Members

22.

23.public bool Equals(T x, T y)

24.{

25.//get the current value of the comparison property of x and of y

26.object xValue = _PropertyInfo.GetValue(x, null);

27.object yValue = _PropertyInfo.GetValue(y, null);

28.

29.//if the xValue is null then we consider them equal if and only if yValue is null

30.if (xValue == null)

31.return yValue == null;

32.

33.//use the default comparer for whatever type the comparison property is.

34.return xValue.Equals(yValue);

35.}

36.

37.public int GetHashCode(T obj)

38.{

39.//get the value of the comparison property out of obj

40.object propertyValue = _PropertyInfo.GetValue(obj, null);

41.

42.if (propertyValue == null)

43.return 0;

44.

45.else

46.return propertyValue.GetHashCode();

47.}

48.

49.#endregion

50.}

使用时只要带入泛型的型态与成原属性的名称,就可以产生出需要的Compare对象。

view source

print?

1.distinctDatas = datas.Distinct(new PropertyComparer<Person>("Name"));

2.ShowDatas(distinctDatas);

这样的作法是减少了许多额外的负担,但是感觉还是少了一条路,用起来也还是必须要建立Compare对象,而且反射也存在着效能的问题,如果每个元素都透过这个Compare去做判断,感觉处理上也不是很漂亮。所以有人也意识到了这个问题,用扩充方法提供了一条我们比较熟悉的路,可以直接将Lambda带入以决定元素要怎样过滤。

view source

print?

01.public static class EnumerableExtender

02.{

03.public static IEnumerable<TSource> Distinct<TSource, TKey>(thisIEnumerable<TSource> source, Func<TSource, TKey> keySelector)

04.{

05.HashSet<TKey> seenKeys = new HashSet<TKey>();

06.foreach (TSource element in source)

07.{

08.var elementValue = keySelector(element);

09.if (seenKeys.Add(elementValue))

10.{

11.yield return element;

12.}

13.}

14.}

15.}

使用上会好写许多。

view source

print?

1.distinctDatas = datas.Distinct(person => person.Name);

2.ShowDatas(distinctDatas);

若是不想加入额外的类别,我们也可以透过Group方式来达到类似的效果。

view source

print?

1.distinctDatas = from data in datas

2.group data by data.Name into g

3.select g.First();

4.ShowDatas(distinctDatas);

Linq使用Distinct删除重复数据时如何指定所要依据的成员属性zz的更多相关文章

  1. Distinct删除重复数据时 自定义的方法比较【转】

    最近项目中在用Linq Distinct想要将重复的资料去除时,发现它跟Any之类的方法有点不太一样,不能很直觉的在呼叫时直接带入重复数据判断的处理逻辑,所以当我们要用某个成员属性做重复数据的判断时, ...

  2. orcl数据库查询重复数据及删除重复数据方法

    工作中,发现数据库表中有许多重复的数据,而这个时候老板需要统计表中有多少条数据时(不包含重复数据),只想说一句MMP,库中好几十万数据,肿么办,无奈只能自己在网上找语句,最终成功解救,下面是我一个实验 ...

  3. 取两个DataTable的交集,删除重复数据

    /// <summary> /// 取两个DataTable的交集,删除重复数据 /// </summary> /// <param name="sourceD ...

  4. T-SQL技术收集——删除重复数据

    原文:T-SQL技术收集--删除重复数据 在工作和面试中,经常出现如何查询或者删除重复数据的问题,如果有主键,那还好办一点,如果没有主键,那就有点麻烦. 当一个表上没有辅助键时,如果使用SSMS界面来 ...

  5. mongodb删除重复数据

    注:mongodb当前版本是3.4.3   插入六条数据:   查询存在重复的数据:   查询并循环删除重复数据:   删除语句解析: db.userInfo.aggregate([     {   ...

  6. SQL表之间复制数据、选出随机几条数据、删除重复数据、取得自增长列等操作

    --表之间数据复制 SELECT* INTO yozhu FROM yo --复制一份表 SELECT* INTO yozhu1 FROM yo where 1<>1 --只复制表结构,无 ...

  7. SQL server 存储过程 C#调用Windows CMD命令并返回输出结果 Mysql删除重复数据保留最小的id C# 取字符串中间文本 取字符串左边 取字符串右边 C# JSON格式数据高级用法

    create proc insertLog@Title nvarchar(50),@Contents nvarchar(max),@UserId int,@CreateTime datetimeasi ...

  8. mysql删除重复数据,保留最新的那一条

    因为数据库没键外键,在关联查询的时候,会碰到查询条数多余数据库实际条数,这因为关联字段在表中有重复值而导致的. 解决方案: 1.数据库脚本删除重复数据,保留最新的一条 2.对关联字段增加唯一约束 例如 ...

  9. 【MySQL】测试MySQL表中安全删除重复数据只保留一条的相关方法

    第二篇文章测试说明 开发测试中,难免会存在一些重复行数据,因此常常会造成一些测试异常. 下面简单测试mysql表删除重复数据行的相关操作. 主要通过一下三个大标题来测试说明: 02.尝试删除dept_ ...

随机推荐

  1. [Effective JavaScript 笔记]第42条:避免使用轻率的猴子补丁

    41条对违反抽象原则行为的讨论之后,下面聊一聊终极违例.由于对象共享原型,因此每一个对象都可以增加.删除或修改原型的属性.这个有争议的实践通常称为猴子补丁. 猴子补丁示例 猴子补丁的吸引力在于其强大. ...

  2. xocde真机测试 内存查看

    如上, 有的时候真机调试, 内存和cpu占用没有被展示出来, 那么真机测试的时候怎么查看我们当前使用的内存呢, 有办法: instrument->activity monitory 点击左上角的 ...

  3. [Educational Codeforces Round 16]E. Generate a String

    [Educational Codeforces Round 16]E. Generate a String 试题描述 zscoder wants to generate an input file f ...

  4. DCMTK3.6.1(MD支持库)安装说明

    转载:http://qimo601.iteye.com/blog/1685135 [前言] 最近,因为需要开发DICOM网管模块,必须使用DCMTK的DcmNet模块.但是DCMTK3.6.0在Dcm ...

  5. Linux MySQL差异备份技巧

    MSSQL差异备份使用技巧 15 Apr 2013 所谓的差异备份,就是只备份最近一次备份之后到此次备份之前所增加的那一部分数据.打个比方我第N次备份后数据库存放的内容是ABCD,然后我第N+1次 备 ...

  6. PHP表单验证

    <!DOCTYPE html> <html> <head> <title>Test Code</title> </head> & ...

  7. pro git 使用积累

    http://www.zhihu.com/question/20070065 git相关问题的收集 Git 是 Linux 之父 Linus Trovalds,为管理 Linux 内核代码而建立的,被 ...

  8. OAuth

    http://oauth.net http://oauth.net/2/ http://tools.ietf.org/html/rfc6749 人人网:http://wiki.dev.renren.c ...

  9. maven No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK?

    maven install项目时出错,提示信息如下: [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-pl ...

  10. iOS 中添加lib型target库的依赖问题

    今天在编码时遇到一个问题,总提示我找不到系统库文件. 我的项目结构类似下图 在TestLib中有引用CoreLocation库的类.但是CoreLocation库需要加在PhotoInfoDemo对象 ...