JavaScript常见数组去重

数组去重是老生常谈的一个问题,这里总结、列举了一些常见方法,结合场景使用
参考JavaScript数组去重的方法总结
参考JavaScript高性能数组去重

ES6 Set去重

利用ES6添加的SetArray-from来实现数组去重。

function unique (arr) {
 return Array.from(new Set(arr))
}
var arr = [1,1,'true','true',true,true,15,15,false,false, undefined,undefined, null,null, NaN, NaN,'NaN', 0, 0, 'a', 'a',{},{}];
console.log(unique(arr))
 //[1, "true", true, 15, false, undefined, null, NaN, "NaN", 0, "a", {}, {}]
 //兼容性,无法有效去除`{}`空对象
1
2
3
4
5
6
7

也可以利用扩展运算符...的特性简化代码

console.log([...new Set(arr)])
1

for嵌套for,然后splice去重

双层循环,外层循环元素,内层循环时比较值。值相同时,则删去这个值。

function unique(arr){
    for(var i=0; i<arr.length; i++){
      for(var j=i+1; j<arr.length; j++){
        if(arr[i]==arr[j]){     //第一个等同于第二个,splice方法删除第二个
          arr.splice(j,1);
          j--;
        }
      }
    }
	return arr;
}
console.log(unique(arr))
//[1, "true", 15, false, undefined, NaN, NaN, "NaN", "a", {…}, {…}]   //NaN和{}没有去重,两个null直接消失了
1
2
3
4
5
6
7
8
9
10
11
12
13

indexOf去重

新建一个空的结果数组,for 循环原数组,判断结果数组是否存在当前元素,如果有相同的值则跳过,不相同则push进数组。

function unique(arr) {
  if (!Array.isArray(arr)) {
    console.log('type error!')
    return
  }
  var array = [];
  for (var i = 0; i < arr.length; i++) {
    if (array .indexOf(arr[i]) === -1) {
      array .push(arr[i])
    }
  }
  return array;
}
console.log(unique(arr))
// [1, "true", true, 15, false, undefined, null, NaN, NaN, "NaN", 0, "a", {…}, {…}] //NaN、{}没有去重
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

sort去重

利用sort()排序方法,然后根据排序后的结果进行遍历及相邻元素比对

unction unique(arr) {
  if (!Array.isArray(arr)) {
    console.log('type error!')
    return;
  }
  arr = arr.sort()
  var arrry= [arr[0]];
  for (var i = 1; i < arr.length; i++) {
    if (arr[i] !== arr[i-1]) {
      arrry.push(arr[i]);
    }
  }
  return arrry;
}
console.log(unique(arr))
// [0, 1, 15, "NaN", NaN, NaN, {…}, {…}, "a", false, null, true, "true", undefined]   //NaN、{}没有去重
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

inludes

function unique(arr) {
  if (!Array.isArray(arr)) {
    console.log('type error!')
    return
  }
  var array =[];
  for(var i = 0; i < arr.length; i++) {
      if( !array.includes(arr[i]) ) {//includes 检测数组是否有某个值
          array.push(arr[i]);
       }
  }
  return array
}
console.log(unique(arr))
//[1, "true", true, 15, false, undefined, null, NaN, "NaN", 0, "a", {…}, {…}]   //{}没有去重
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

filter+hasOwnProperty

function unique(arr) {
  var obj = {};
  return arr.filter(function(item, index, arr){
    return obj.hasOwnProperty(typeof item + item) ? false : (obj[typeof item + item] = true)
  })
}
console.log(unique(arr))
//[1, "true", true, 15, false, undefined, null, NaN, "NaN", 0, "a", {…}]  //所有的都去重了
1
2
3
4
5
6
7
8

测试模板

// test.js
let arr1 = Array.from(new Array(100000), (x, index)=>{
    return index
})
let arr2 = Array.from(new Array(50000), (x, index)=>{
    return index+index
})
let arr3 = arr1.concat(arr2)
let start = new Date().getTime()
console.log('开始数组去重')
function unique(arr) {
    // 数组去重
}

console.log('去重后的长度', unique(arr3).length)

let end = new Date().getTime()
console.log('耗时', end - start)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
上次更新时间: 10/12/2019, 8:35:23 PM