k-NN узагальнюється в дуже обмежувальному сенсі. Він просто використовує пріори гладкості (або припущення про безперервність). З цього припущення випливає, що шаблони, близькі до простору зображень, швидше за все, належать до одного класу. K-NN не може бути відновлена жодна функціональна закономірність розподілу шаблонів.
Таким чином, для цього потрібні репрезентативні навчальні зразки, які можуть бути надзвичайно великими, особливо у випадках сильно розмірних просторів. Гірше, що ці зразки можуть бути недоступними. Отже, він не може навчитись інваріантів. Якщо шаблони можуть бути піддані деяким перетворенням без зміни їх міток, а навчальний зразок не містить зразків, трансформованих усіма допустимими способами, k-NN ніколи не розпізнає трансформовані шаблони, які не були представлені під час тренування. Це справедливо, наприклад, для зміщених або повернутих зображень, якщо вони не представлені в якійсь інваріантній формі перед запуском k-NN. k-NN не може навіть абстрагуватися від неактуальних особливостей.
Наступний дещо штучний приклад - наступний. Уявіть, що шаблон, що належить до різних класів, розподіляється періодично (наприклад, відповідно до sine - якщо він менше 0, то шаблони належать до одного класу, а він більший, то шаблони належать до іншого класу). Навчальний набір обмежений. Отже, він буде розташований у кінцевій області. Поза межами цієї області похибка розпізнавання становитиме 50%. Можна уявити логістичну регресію з періодичними базисними функціями, які будуть працювати набагато краще в цьому випадку. Інші методи зможуть дізнатися інші закономірності розподілу шаблонів та добре екстраполювати.
Отже, якщо хтось підозрює, що наявний набір даних не є репрезентативним, і слід домогтися інваріантності деяких перетворень шаблонів, то це той випадок, коли слід вийти за межі k-NN.