Мені потрібно перевірити масив JavaScript, щоб побачити, чи є дублікати значень. Який найпростіший спосіб це зробити? Мені просто потрібно знайти, що таке дублювані значення - мені фактично не потрібні їх індекси або скільки разів вони дублюються.

Я знаю, що можу провести цикл через масив і перевірити всі інші значення на відповідність, але, схоже, має бути простіший спосіб.

Подібне запитання:

• Отримати всі унікальні значення в масиві JavaScript (видалити дублікати)

Ви можете сортувати масив, а потім пропустити його, а потім побачити, чи наступний (або попередній) індекс такий, як поточний. Якщо припустимо, що алгоритм сортування хороший, він повинен бути меншим, ніж O (n ² ):

const findDuplicates = (arr) => {
  let sorted_arr = arr.slice().sort(); // You can define the comparing function here. 
  // JS by default uses a crappy string compare.
  // (we use slice to clone the array so the
  // original array won't be modified)
  let results = [];
  for (let i = 0; i < sorted_arr.length - 1; i++) {
    if (sorted_arr[i + 1] == sorted_arr[i]) {
      results.push(sorted_arr[i]);
    }
  }
  return results;
}

let duplicatedArray = [9, 9, 111, 2, 3, 4, 4, 5, 7];
console.log(`The duplicates in ${duplicatedArray} are ${findDuplicates(duplicatedArray)}`);

У тому випадку, якщо ви хочете повернутися як функція для дублікатів. Це для подібного типу справ.

Довідка: https://stackoverflow.com/a/57532964/8119511

Якщо ви хочете усунути дублікати, спробуйте це чудове рішення:

function eliminateDuplicates(arr) {
  var i,
      len = arr.length,
      out = [],
      obj = {};

  for (i = 0; i < len; i++) {
    obj[arr[i]] = 0;
  }
  for (i in obj) {
    out.push(i);
  }
  return out;
}

Джерело: http : //dreaminginja JavaScript.wordpress.com/2008/08/22/elimining-duplicates/

Це моя відповідь із дублюючої нитки (!):

При написанні цього запису 2014 - усі приклади були для-циклів або jQuery. У Javascript є ідеальні інструменти для цього: сортування, карта та зменшення.

Знайдіть повторювані елементи

var names = ['Mike', 'Matt', 'Nancy', 'Adam', 'Jenny', 'Nancy', 'Carl']

var uniq = names
  .map((name) => {
    return {
      count: 1,
      name: name
    }
  })
  .reduce((a, b) => {
    a[b.name] = (a[b.name] || 0) + b.count
    return a
  }, {})

var duplicates = Object.keys(uniq).filter((a) => uniq[a] > 1)

console.log(duplicates) // [ 'Nancy' ]

Більш функціональний синтаксис:

@ Дмитро-Лаптін вказав, що якийсь код код повинен бути видалений. Це більш компактна версія того ж коду. Використання деяких трюків ES6 та функцій вищого порядку:

const names = ['Mike', 'Matt', 'Nancy', 'Adam', 'Jenny', 'Nancy', 'Carl']

const count = names =>
  names.reduce((a, b) => ({ ...a,
    [b]: (a[b] || 0) + 1
  }), {}) // don't forget to initialize the accumulator

const duplicates = dict =>
  Object.keys(dict).filter((a) => dict[a] > 1)

console.log(count(names)) // { Mike: 1, Matt: 1, Nancy: 2, Adam: 1, Jenny: 1, Carl: 1 }
console.log(duplicates(count(names))) // [ 'Nancy' ]

Знайдіть дублікати значень у масиві

Це має бути одним із найкоротших способів дійсно знайти дублікати значень у масиві. Як спеціально вимагає ОП, це копії не видаляє, а їх знаходить .

var input = [1, 2, 3, 1, 3, 1];

var duplicates = input.reduce(function(acc, el, i, arr) {
  if (arr.indexOf(el) !== i && acc.indexOf(el) < 0) acc.push(el); return acc;
}, []);

document.write(duplicates); // = 1,3 (actual array == [1, 3])

Для цього не потрібні сортування чи будь-які сторонні рамки. Також не потрібні петлі вручну. Він працює з кожним значенням indexOf () (або, щоб бути зрозумілішим: суворий оператор порівняння ) підтримує.

Через зменшення () та indexOf () йому потрібно щонайменше IE 9.

Ви можете додати цю функцію або налаштувати її та додати її до прототипу масиву Javascript:

Array.prototype.unique = function () {
    var r = new Array();
    o:for(var i = 0, n = this.length; i < n; i++)
    {
        for(var x = 0, y = r.length; x < y; x++)
        {
            if(r[x]==this[i])
            {
                alert('this is a DUPE!');
                continue o;
            }
        }
        r[r.length] = this[i];
    }
    return r;
}

var arr = [1,2,2,3,3,4,5,6,2,3,7,8,5,9];
var unique = arr.unique();
alert(unique);

ОНОВЛЕНО: Далі використовується оптимізована комбінована стратегія. Це оптимізує примітивні пошуки, щоб скористатися часом пошуку хеш-O (1) (працює uniqueна масиві примітивів - O (n)). Шукання об'єктів оптимізується шляхом позначення об'єктів унікальним ідентифікатором під час ітерації через так, щоб ідентифікація повторюваних об'єктів також була O (1) для елемента та O (n) для всього списку. Єдиним винятком є ​​заморожені елементи, але вони рідкісні, і резервний запас надається за допомогою масиву та indexOf.

var unique = function(){
  var hasOwn = {}.hasOwnProperty,
      toString = {}.toString,
      uids = {};

  function uid(){
    var key = Math.random().toString(36).slice(2);
    return key in uids ? uid() : uids[key] = key;
  }

  function unique(array){
    var strings = {}, numbers = {}, others = {},
        tagged = [], failed = [],
        count = 0, i = array.length,
        item, type;

    var id = uid();

    while (i--) {
      item = array[i];
      type = typeof item;
      if (item == null || type !== 'object' && type !== 'function') {
        // primitive
        switch (type) {
          case 'string': strings[item] = true; break;
          case 'number': numbers[item] = true; break;
          default: others[item] = item; break;
        }
      } else {
        // object
        if (!hasOwn.call(item, id)) {
          try {
            item[id] = true;
            tagged[count++] = item;
          } catch (e){
            if (failed.indexOf(item) === -1)
              failed[failed.length] = item;
          }
        }
      }
    }

    // remove the tags
    while (count--)
      delete tagged[count][id];

    tagged = tagged.concat(failed);
    count = tagged.length;

    // append primitives to results
    for (i in strings)
      if (hasOwn.call(strings, i))
        tagged[count++] = i;

    for (i in numbers)
      if (hasOwn.call(numbers, i))
        tagged[count++] = +i;

    for (i in others)
      if (hasOwn.call(others, i))
        tagged[count++] = others[i];

    return tagged;
  }

  return unique;
}();

Якщо у вас є колекції ES6, то є набагато простіша та значно швидша версія. (Шина для IE9 + та інших браузерів тут: https://github.com/Benvie/ES6-Harmony-Collections-Shim )

function unique(array){
  var seen = new Set;
  return array.filter(function(item){
    if (!seen.has(item)) {
      seen.add(item);
      return true;
    }
  });
}

ОНОВЛЕНО: Короткий однокласник для отримання дублікатів:

[1, 2, 2, 4, 3, 4].filter((e, i, a) => a.indexOf(e) !== i) // [2, 4]

Щоб отримати масив без дублікатів, просто інвертуйте умову:

[1, 2, 2, 4, 3, 4].filter((e, i, a) => a.indexOf(e) === i) // [1, 2, 3, 4]

Я просто не думав про filter()свою стару відповідь нижче;)

Коли все, що вам потрібно, це перевірити, чи немає дублікатів, як задано в цьому запитанні, ви можете використовувати every()метод:

[1, 2, 3].every((e, i, a) => a.indexOf(e) === i) // true

[1, 2, 1].every((e, i, a) => a.indexOf(e) === i) // false

Зверніть увагу, що every()це не працює для IE 8 і нижче.

var a = ["a","a","b","c","c"];

a.filter(function(value,index,self){ return (self.indexOf(value) !== index )})

Це повинно отримати вам те, що ви хочете, просто дублікати.

function find_duplicates(arr) {
  var len=arr.length,
      out=[],
      counts={};

  for (var i=0;i<len;i++) {
    var item = arr[i];
    counts[item] = counts[item] >= 1 ? counts[item] + 1 : 1;
    if (counts[item] === 2) {
      out.push(item);
    }
  }

  return out;
}

find_duplicates(['one',2,3,4,4,4,5,6,7,7,7,'pig','one']); // -> ['one',4,7] in no particular order.

за допомогою underscore.js

function hasDuplicate(arr){
    return (arr.length != _.uniq(arr).length);
}

ES2015

//          🚩🚩   🚩                 🚩 
var arr =  [1,2,2,3,3,4,5,6,2,3,7,8,5,22],
    arr2 = [1,2,511,12,50],
    arr3 = [22],
    unique;

// Combine all the arrays to a single one
unique = arr.concat(arr2, arr3)

// create a new (dirty) Array with only the unique items
unique = unique.map((item,i) => unique.includes(item, i+1) ? item : '' )

// Cleanup - remove duplicate & empty items items 
unique = [...new Set(unique)].filter(n => n)

console.log(unique)

Знайдіть унікальні значення з 3-х масивів (або більше):

Array.prototype.unique = function () {
    var arr = this.sort(), i; // input must be sorted for this to work
    for( i=arr.length; i--; )
      arr[i] === arr[i-1] && arr.splice(i,1); // remove duplicate item

    return arr;
}

var arr =  [1,2,2,3,3,4,5,6,2,3,7,8,5,9],
    arr2 = [1,2,511,12,50],
    arr3 = [22],
    // merge arrays & call custom Array Prototype - "unique"
    unique = arr.concat(arr2, arr3).unique();

console.log(unique);  // [22, 50, 12, 511, 2, 1, 9, 5, 8, 7, 3, 6, 4]

Просто полів для масиву indexOf для старих браузерів:

if (!Array.prototype.indexOf){
   Array.prototype.indexOf = function(elt /*, from*/){
     var len = this.length >>> 0;

     var from = Number(arguments[1]) || 0;
     from = (from < 0) ? Math.ceil(from) : Math.floor(from);
     if (from < 0)
        from += len;

     for (; from < len; from++){
        if (from in this && this[from] === elt)
           return from;
     }
     return -1;
  };
}

Рішення jQuery з використанням "inArray":

if( $.inArray(this[i], arr) == -1 )

замість додавання Array.prototype.indexOf

Ось моє просте і однолінійне рішення.

Спочатку він шукає не унікальні елементи, а потім робить знайдений масив унікальним із застосуванням Set.

Таким чином, ми маємо безліч дублікатів врешті-решт.

var array = [1, 2, 2, 3, 3, 4, 5, 6, 2, 3, 7, 8, 5, 22, 1, 2, 511, 12, 50, 22];

console.log([...new Set(
  array.filter((value, index, self) => self.indexOf(value) !== index))]
);

Це моя пропозиція (ES6):

let a = [1, 2, 3, 4, 2, 2, 4, 1, 5, 6]
let b = [...new Set(a.sort().filter((o, i) => o !== undefined && a[i + 1] !== undefined && o === a[i + 1]))]

// b is now [1, 2, 4]

var a = [324,3,32,5,52,2100,1,20,2,3,3,2,2,2,1,1,1].sort();
a.filter(function(v,i,o){return i&&v!==o[i-1]?v:0;});

або при додаванні до прототипу ланцюга Array

//copy and paste: without error handling
Array.prototype.unique = 
   function(){return this.sort().filter(function(v,i,o){return i&&v!==o[i-1]?v:0;});}

Дивіться тут: https://gist.github.com/1305056

Швидкий та елегантний спосіб знищення та зменшення об'єктів es6

Він працює в O (n) (1 ітерація над масивом) і не повторює значення, які з'являються більше ніж у 2 рази

const arr = ['hi', 'hi', 'hi', 'bye', 'bye', 'asd']
const {
  dup
} = arr.reduce(
  (acc, curr) => {
    acc.items[curr] = acc.items[curr] ? acc.items[curr] += 1 : 1
    if (acc.items[curr] === 2) acc.dup.push(curr)
    return acc
  }, {
    items: {},
    dup: []
  },
)

console.log(dup)
// ['hi', 'bye']

Ось найпростіше рішення, про яке я міг придумати:

    const arr = [-1, 2, 2, 2, 0, 0, 0, 500, -1, 'a', 'a', 'a']

    const filtered = arr.filter((el, index) => arr.indexOf(el) !== index)
    // => filtered = [ 2, 2, 0, 0, -1, 'a', 'a' ]

    const duplicates = [...new Set(filtered)]

    console.log(duplicates)
    // => [ 2, 0, -1, 'a' ]

Це воно.

Примітка:

1. Він працює з будь-якими числами, включаючи 0рядки та від’ємні числа, наприклад -1- Пов'язане запитання: Отримайте всі унікальні значення в масиві JavaScript (видаліть дублікати)

2. Оригінальний масив arrзберігається ( filterповертає новий масив замість зміни оригіналу)

3. filteredМасив містить всі дублікати; він також може містити більше одного і того ж значення (наприклад, наш відфільтрований масив тут [ 2, 2, 0, 0, -1, 'a', 'a' ])

4. Якщо ви хочете , щоб отримати тільки значення, які дублюються (ви не хочете мати кілька дублікатів з однаковим значенням) , ви можете використовувати [...new Set(filtered)](ES6 тобто об'єкт Set , який може зберігати тільки унікальні значення)

Сподіваюсь, це допомагає.

Найкоротший ванільний JS :

[1,1,2,2,2,3].filter((v,i,a) => a.indexOf(v) !== i) // [1, 2, 2]

Ось дуже легкий і простий спосіб:

var codes = dc_1.split(',');
var i = codes.length;
while (i--) {
  if (codes.indexOf(codes[i]) != i) {
    codes.splice(i,1);
  }
}

За допомогою ES6 (або за допомогою Babel або Typescipt) ви можете просто зробити:

var duplicates = myArray.filter(i => myArray.filter(ii => ii === i).length > 1);

https://es6console.com/j58euhbt/

Простий код із синтаксисом ES6 (повернути відсортований масив дублікатів):

let duplicates = a => {d=[]; a.sort((a,b) => a-b).reduce((a,b)=>{a==b&&!d.includes(a)&&d.push(a); return b}); return d};

Як користуватись:

duplicates([1,2,3,10,10,2,3,3,10]);

один лайнер

var arr = [9,1,2,4,3,4,9]
console.log(arr.filter((ele,indx)=>indx!==arr.indexOf(ele))) //get the duplicates
console.log(arr.filter((ele,indx)=>indx===arr.indexOf(ele))) //remove the duplicates

Ця відповідь також може бути корисною, вона використовує js reduce operator / method для видалення дублікатів з масиву.

const result = [1, 2, 2, 3, 3, 3, 3].reduce((x, y) => x.includes(y) ? x : [...x, y], []);

console.log(result);

Наступна функція (варіант вже усунутої функції elimDuplicates), здається, виконує трюк, повертаючи test2,1,7,5 для вхідних даних ["test", "test2", "test2", 1, 1, 1, 2 , 3, 4, 5, 6, 7, 7, 10, 22, 43, 1, 5, 8]

Зауважте, що проблема JavaScript незначніша, ніж у більшості інших мов, оскільки масив JavaScript може містити практично все. Зауважте, що рішення, які використовують сортування, можливо, повинні забезпечити відповідну функцію сортування - я ще не пробував цей маршрут.

Ця конкретна реалізація працює для (принаймні) рядків і чисел.

function findDuplicates(arr) {
    var i,
        len=arr.length,
        out=[],
        obj={};

    for (i=0;i<len;i++) {
        if (obj[arr[i]] != null) {
            if (!obj[arr[i]]) {
                out.push(arr[i]);
                obj[arr[i]] = 1;
            }
        } else {
            obj[arr[i]] = 0;            
        }
    }
    return out;
}

Тільки для ES5 (тобто для поліпшення IE8 та нижче) потрібен фільтр () і нижче:

var arrayToFilter = [ 4, 5, 5, 5, 2, 1, 3, 1, 1, 2, 1, 3 ];

arrayToFilter.
    sort().
    filter( function(me,i,arr){
       return (i===0) || ( me !== arr[i-1] );
    });

var arr = [2, 1, 2, 2, 4, 4, 2, 5];

function returnDuplicates(arr) {
  return arr.reduce(function(dupes, val, i) {
    if (arr.indexOf(val) !== i && dupes.indexOf(val) === -1) {
      dupes.push(val);
    }
    return dupes;
  }, []);
}

alert(returnDuplicates(arr));

Ця функція дозволяє уникнути етапу сортування та використовує метод redu () для виштовхування дублікатів до нового масиву, якщо він ще не існує в ньому.

Це, мабуть, один з найшвидших способів назавжди видалити дублікати з масиву в 10 разів швидше, ніж більшість функцій тут. & 78x швидше в сафарі

function toUnique(a,b,c){//array,placeholder,placeholder
 b=a.length;
 while(c=--b)while(c--)a[b]!==a[c]||a.splice(c,1)
}
var array=[1,2,3,4,5,6,7,8,9,0,1,2,1];
toUnique(array);
console.log(array);

1. Тест: http://jsperf.com/wgu
2. Демонстрація: http://jsfiddle.net/46S7g/
3. Детальніше: https://stackoverflow.com/a/25082874/2450730

якщо ви не можете прочитати код вище, запитайте, прочитайте книгу javascript або ось кілька пояснень щодо коротшого коду. https://stackoverflow.com/a/21353032/2450730

EDIT Як зазначено в коментарях, ця функція повертає масив з унікальними елементами, проте питання вимагає знайти дублікати. у такому випадку проста модифікація цієї функції дозволяє висунути дублікати в масив, після чого за допомогою попередньої функції toUniqueвидаляються дублікати дублікатів.

function theDuplicates(a,b,c,d){//array,placeholder,placeholder
 b=a.length,d=[];
 while(c=--b)while(c--)a[b]!==a[c]||d.push(a.splice(c,1))
}
var array=[1,2,3,4,5,6,7,8,9,0,1,2,1];

toUnique(theDuplicates(array));

Використання "включає" для перевірки, чи елемент вже існує.

var arr = [1, 1, 4, 5, 5], darr = [], duplicates = [];

for(var i = 0; i < arr.length; i++){
  if(darr.includes(arr[i]) && !duplicates.includes(arr[i]))
    duplicates.push(arr[i])
  else
    darr.push(arr[i]);
}

console.log(duplicates);

<h3>Array with duplicates</h3>
<p>[1, 1, 4, 5, 5]</p>
<h3>Array with distinct elements</h3>
<p>[1, 4, 5]</p>
<h3>duplicate values are</h3>
<p>[1, 5]</p>

ES6 пропонує встановити структуру даних, яка в основному є масивом, який не приймає дублікатів. За допомогою структури даних "Набір даних" існує дуже простий спосіб знайти дублікати в масиві (використовуючи лише один цикл).

Ось мій код

function findDuplicate(arr) {
var set = new Set();
var duplicates = new Set();
  for (let i = 0; i< arr.length; i++) {
     var size = set.size;
     set.add(arr[i]);
     if (set.size === size) {
         duplicates.add(arr[i]);
     }
  }
 return duplicates;
}

Я щойно придумав простий спосіб досягти цього за допомогою фільтра Array

    var list = [9, 9, 111, 2, 3, 4, 4, 5, 7];
    
    // Filter 1: to find all duplicates elements
    var duplicates = list.filter(function(value,index,self) {
       return self.indexOf(value) !== self.lastIndexOf(value) && self.indexOf(value) === index;
    });
    
    console.log(duplicates);

Дотримуватися логіки буде простіше і швидше

// @Param:data:Array that is the source 
// @Return : Array that have the duplicate entries
findDuplicates(data: Array<any>): Array<any> {
        return Array.from(new Set(data)).filter((value) => data.indexOf(value) !== data.lastIndexOf(value));
      }

Переваги:

1. Одина рядок :-P
2. Вся вбудована структура даних допомагає підвищити ефективність
3. Швидше

Опис логіки:

1. Перетворення на встановлення для видалення всіх дублікатів
2. Ітерація через встановлені значення
3. З кожним встановленим значенням перевірки в вихідному масиві для умови "значення першого індексу не дорівнює останньому індексу" ==> Тоді робиться висновок як дублікат, ще є "унікальним"

Примітка: методи map () та filter () ефективні та швидші.