k-NN обчислювальна складність

Яка часова складність алгоритму k -NN з наївно-підхідним пошуком (без kd дерева чи аналогів)?

Мене цікавить її часова складність, враховуючи також гіперпараметр k . Я знайшов суперечливі відповіді:

O (nd + kn), де n - простота навчального набору і d - розмірність кожного зразка. [1]
O (ndk), де знову n - кардинальність навчального набору і d - розмірність кожного зразка. [2]

[1] http://www.csd.uwo.ca/courses/CS9840a/Lecture2_knn.pdf (Паг. 18/20)

[2] http://www.cs.haifa.ac.il/~rita/ml_course/lectures/KNN.pdf (Pag. 18/31)

k-nearest-neighbour time-complexity

Якщо припустимо, що є фіксованим (як це роблять обидві пов'язані лекції), то ваш алгоритмічний вибір визначатиме, чи приймає ваш обчислення час виконання або $k$ $O(nd+kn)$ $O(ndk)$ час виконання.

Спочатку розглянемо алгоритм виконання : $O(nd+kn)$

Ініціалізуйте для всіх спостережень в навчальному наборі $selected_i = 0$ $i$
Для кожного навчального набору спостереження , обчислити , відстань від нового спостереження до навчального набору $i$ $dist_i$ $i$
Для до : перегляньте всі спостереження набору тренувань, вибравши індекс з найменшим значенням і для якого . Виберіть це спостереження, встановивши $j=1$ $k$ $i$ $dist_i$ $selected_i=0$ . $selected_i=1$
Поверніть вибраних індексів $k$

Кожне обчислення відстані вимагає виконання часу виконання, тому другий крок вимагає виконання часу виконання. Для кожного ітерату на третьому кроці ми виконуємо роботу , пробираючи спостереження через навчальний набір спостережень, тому загальний крок вимагає роботи . Перший та четвертий кроки вимагають лише роботи , тому ми отримуємо $O(d)$ $O(nd)$ $O(n)$ $O(nk)$ $O(n)$ $O(nd+kn)$ .

Тепер розглянемо алгоритм виконання : $O(ndk)$

Ініціалізуйте для всіх спостережень в навчальному наборі $selected_i = 0$ $i$
Для до : проведіть через усі спостереження набір тренувань і обчисліть відстань між вибраним спостереженням та новим спостереженням. Виберіть індекс з найменшим значенням, для якого . Виберіть це спостереження, встановивши . $j=1$ $k$ $d$ $i$ $d$ $selected_i=0$ $selected_i=1$
Поверніть $k$ вибраних індексів

Для кожного ітерату на другому кроці ми обчислюємо відстань між новим спостереженням та кожним спостереженням набору тренувань, вимагаючи, щоб працював для ітерації, а отже $O(nd)$ $O(ndk)$ цілому.

Різниця між двома алгоритмами полягає в тому, що перший попередньо обчислює і зберігає відстані (вимагаючи додаткової пам'яті), а другий - ні. Однак, враховуючи, що ми вже зберігаємо весь навчальний набір, що вимагає пам'яті, а також вектор , що вимагає $O(n)$ $O(nd)$ $selected$ $O(n)$ зберігання, зберігання двох алгоритмів є асимптотично те саме. Як результат, кращий асимптотичний час виконання робить перший алгоритм більш привабливим. $k > 1$

Варто зауважити, що можна отримати час виконання за допомогою алгоритмічного вдосконалення: $O(nd)$

Для кожного навчального набору спостереження , обчислити , відстань від нового спостереження до навчального набору $i$ $dist_i$ $i$
Запустіть алгоритм швидкого вибору, щоб обчислити найменшу відстань в часу виконання $k^{th}$ $O(n)$
Повертайте всі індекси не більше, ніж обчислена найменша відстань $k^{th}$

Цей підхід використовує той факт, що існують ефективні підходи для знаходження найменшого значення в несортованому масиві. $k^{th}$

— джослібер
джерело

Чудова відповідь, і мені особливо подобаються поради щодо використання quickselect.

— usεr11852 повідомляє Відновити Монік

Ще одне запитання: для третього варіанту я вважаю, що часова складність повинна бути O (nd + k), оскільки ви все ще повинні обчислити найпоширенішу мітку серед k-найближчих сусідів, щоб дати прогноз, правда?

— Даніель Лопес

k \leq n

$k \leq n$

O (n d + k)

$O(nd+k)$

O (n d)

$O(nd)$

Останній раз я вас заважаю : намагаючись визначити обчислювальну складність модифікованої версії k -NN, над якою я працюю, я отримую наступне: O (nd + nd / p) Де за визначенням n , d та p цілі числа більші, ніж нуль. Чи можу я спростити це до O (другого) ?

— Даніель Лопес

@Daniel Yes, in that case

O (n d)

$O(nd)$ працює.

— josliber