JS数组去重的9种方法（包括去重NaN和复杂数组类型）

其实网上已经有很多js数组的去重方法，但是我看了很多篇并自己通过代码验证，发现都有一些缺陷，于是在研究多篇代码之后，自己总结了9种方法，如果有哪里不对请及时纠正我哈~

转载请表明出处

测试代码

let arr1 = [3, 1, [1], 1, [1], true, true, {}, '1', NaN, undefined, NaN, undefined, {}, null, null];
let arr2 = [];
for (let i = 0; i < 100000; i++) {
    arr2.push(0 + Math.floor((100000 - 0 + 1) * Math.random()));
}

// 封装在Array的原型对象会更好，this就是指向调用该方法的数组
Array.prototype.unique = function () {
    //...
}

console.log(arr1.unique());	// 测试去重效果
console.time('test');
console.log(arr2.unique());	// 测试去重时间
console.timeEnd('test');

备注：

• arr1
  • 包含了两个相同的数组[1]、并且数组[1]和1的顺序打乱（这是为了突出sort的弊端）
  • 有两个NaN、两个undefined、两个null等等，把平时会用到的数据类型都写上来了
  • 有两个相同的空对象{}
• arr2
  • 放入10万个随机纯数字，大的数据量才能看出时间的差别
  • 对于纯number的数组，以下所有方法（包括网上的各种方法）都是可行的
• 正确去重的arr1：[3, 1, [1], true, {}, '1', NaN, undefined, null]，length = 9。

一、不能正确去重NaN和Object的方法

1. 两种for循环 + splice（耗时最长）

Array.prototype.unique = function () {
    for (let i = 0; i < this.length; i++) {
        for (let j = i + 1; j < this.length; j++) {
            if (this[i] === this[j]) {
                this.splice(j, 1);
                j--;
            }
        }
    }
    return this;
}

• test: 21208.31396484375 ms（花了21s....）

不能去重NaN和复杂数组类型（比如 Object 和 Array ）

2. forEach + indexOf

Array.prototype.unique = function () {
    let newArr = [];
    this.forEach((item) => {
        if (newArr.indexOf(item) === -1) {
            newArr.push(item);
        }
    })
    return newArr;
}

结果同上，建议大家自己运行一下（就是懒得截图

• test: 4104.52294921875 ms

不能去除重复的NaN和复杂数据类型

• 原因：indexOf 认为 NaN 不等于 NaN

3. filter + indexOf

Array.prototype.unique = function () {
    return this.filter((item, index) => {
        // 利用indexOf检测元素在数组中第一次出现的位置是否和元素现在的位置相等，如果不等则说明该元素是重复元素
        return this.indexOf(item) === index;
    })
}

• test: 5682.358154296875 ms

不能去掉重复的复杂数据类型，同时还会去掉所有的NaN

• 原因：indexOf 认为 NaN 不等于 NaN ，所以也就不认为他们是重复元素。

4. for + sort（sort有问题）

Array.prototype.unique = function () {
    let newArr = [];
    this.sort();
    for (let i = 0; i < this.length; i++) {
        if (this[i] !== this[i + 1]) {
            newArr.push(this[i]);
        }
    }
    return newArr;
}

• test: 61.96484375 ms

带 sort 方法的只对纯number或者纯string类型有效，它无法区分1和'1'，因为它是在将元素转换为字符串，然后比较它们的UTF-16代码单元值序列时构建的。

这时候如果有一段这样的排序[1, '1', 1]，再用前后比较的方法去重就会出现问题

在这里他还会把undefined也全都去掉，原因是sort()方法排序后，undefined排在最后，而最后一个undefined要和this[length]进行比较，而这个值并不存在，而也是undefined，就会认为他们是同一个值。

同样它不能去重NaN和复杂数据类型，但是耗时是在方法里面是最少之一了（都之一了用别的不香吗）

5. sort + reduce（sort有问题）

Array.prototype.unique = function () {
    return this.sort().reduce((init, cur) => {
        if (init.length === 0 || init[init.length - 1] !== cur) {
            init.push(cur);
        }
        return init;
    }, []);
}

• test: 66.679931640625 ms

同样他也是用sort排序再前后比较，也是傻逼玩意

比上面那个方法好一点点，还能正确去重undefined（我觉得前后比较这种方法着实不靠谱）

同样也不能去重NaN和复杂数组类型，耗时也是在方法里面是最少之一。

二、能正确去重NaN，不能去重复杂数据类型

1. forEach + includes

Array.prototype.unique = function () {
    let newArr = [];
    this.forEach((item) => {
        if (!newArr.includes(item)) {
            newArr.push(item);
        }
    })
    return newArr;
}

• 4181.393798828125 ms

可以去掉重复的NaN，但是不能去掉重复的复杂数据类型

• includes 认为 NaN === NaN 为 true

2. forEach + map

Array.prototype.unique = function () {
    let map = new Map();
    let newArr = new Array();
    this.forEach((item) => {
        if (!map.has(item)) {
            map.set(item, 1);
            newArr.push(item);
        }
    });
    return newArr;
}

同上，不截图了，自行运行一哈~

• test: 27.030029296875 ms

可以去NaN，不能去重复杂数组类型，运行速度快，耗时最少的方法之一

3. Set

Array.prototype.unique = function () {
    return [...new Set(this)];
}

同上，不截图了

• test: 31.197021484375 ms

可以去掉重复的NaN，但是不能去掉重复的复杂数据类型，运行速度快，耗时最少的方法之一，代码最短！

三、可以去掉NaN和复杂数据类型的！

1. filter + hasOwnProperty + JSON.stringify

Array.prototype.unique = function () {
    let obj = {};
    return this.filter(function (item, index, arr) {
        return obj.hasOwnProperty(typeof item + JSON.stringify(item)) ? false : (obj[typeof item + JSON.stringify(item)] = true);
    });
}

• test: 126.3359375 ms

可以去掉重复的NaN和重复的复杂数据类型

在object中，key如果是number类型，它会自动转换成string类型，所以{1:1}和{"1":1}是相等的，这不是这个方法的缺陷，这是Oject的缺陷

而{1: 1}和{1: "1"}这种value值不同的可以正确区分开。

• 该方法的核心：以typeof item元素类型+item的字符串作为key
• 有些文章写的方法是直接使用item，让obj自行隐式转换成字符串
• 考虑到obj的字符串都为'[object Object]'，这里使用JSON.stringify(item)，就可以保存不同的obj字符串

后记

其实上面的方法不外乎三种：

1. 利用for、forEach、filter遍历，再利用indexOf、includes等方法判断是否重复；
2. 利用Set数据结构的特性；
3. 利用obj或者map的key不能重复的特性。

实际开发应该更多的是纯数字的去重（吧？），而且也用不上这么多方法。能记住两三种根据实际情况的需求来选择就行了（吧？）

但作为一个正在找工作的应届生，不得不总结多几种方法，这样面试官问起来的时候才不至于口哑无言嘿嘿嘿
（完）