Я розумів, що аналіз основних компонентів - це техніка зменшення розмірності, тобто з 10 вхідних ознак, вона створить меншу кількість незалежних ознак, які є ортогональними та лінійними перетвореннями оригінальних ознак.
Є чи PCAсам по собі розглядається як алгоритм навчання або це крок попередньої обробки даних.
Відповіді:
Не рідкість хтось називає це технікою без нагляду. Ви можете зробити аналіз власних векторів, що допоможе пояснити поведінку даних. Природно, якщо ваша трансформація все ще має багато особливостей, то цей процес може бути досить важким. Проте це можливо, тому я вважаю це машинним навчанням.
Редагувати:
Оскільки моя відповідь була обрана (не маю ідеї, чому), я зрозумів, що додам більше деталей.
PCA робить дві еквівалентні речі. По-перше, і те, що зазвичай називається, воно максимально розбігає. По-друге, вона мінімізує помилку відновлення, дивлячись на відстані, що перебувають у парах.
Дивлячись на власні вектори та власні значення, стає досить просто вивести, які змінні та ознаки сприяють дисперсії, а також те, як різні змінні переміщуються разом з іншими.
Зрештою, це дійсно залежить від того, як ви визначаєте "навчання". PCA вивчає новий простір функцій, який фіксує характеристики вихідного простору. Я схильний вважати, що може бути значущим.
Це складне? Ні, не дуже, але чи це зменшує це як алгоритм? Ні, я не думаю, що так.
PCA насправді є лише обертанням. Серйозно, це все: це розумний спосіб перекрутити дані на нову основу. Ця основа має властивості, які роблять її корисною як етап попередньої обробки декількох процедур.
Основа - ортонормальна . Це неймовірно корисно, якщо ваші функції проявляють мультиколінічність (дві або більше функцій лінійно залежні): застосування PCA гарантовано дасть вам основу, коли це вже не є проблемою. Ця процедура відома як регресія основних компонентів
Базисні вектори мають сенсу щодо поширення даних: вони є власними векторами по ковариационной матриці . Це друге властивість породжує відому корисність PCA як техніку зменшення розмірності: після обертання даних проектування даних на підмножину базових векторів, пов'язаних зі значною частиною загальної дисперсії, дає нижче розмірне зображення, яке (часто) зберігається ( більшість) (цікавих) структурних властивостей даних.
Отже: це алгоритм навчання? Це свого роду філософське питання. Що робить щось алгоритмом навчання? Безумовно, PCA не є «контрольованим» алгоритмом навчання, оскільки ми можемо це робити з цільовою змінною або без неї, і ми зазвичай асоціюємо «непідконтрольні» методи кластеризації.
Так, PCA - це процедура попередньої обробки. Але перед тим, як ви повністю списати це як "не" щось вивчити, я хотів би, щоб ви врахували наступне: PCA можна обчислити, буквально взявши власні вектори коваріаційної матриці, але це не так, як це робиться на практиці. Числово еквівалентна і більш обчислювально ефективна процедура - це просто взяти SVD даних. Тому PCA - це лише специфічне застосування SVD, тому запитання, чи PCA є алгоритмом навчання, справді запитує, чи SVD є алгоритмом навчання.
Тепер, хоча вам може бути зручно списати PCA як не алгоритм навчання, ось чому вам має бути менш комфортно робити те саме з SVD: це напрочуд потужний метод моделювання тем та спільної фільтрації . Властивості SVD, які роблять його корисним для цих застосувань, точно такі ж властивості, які роблять його корисним для зменшення розмірності (тобто PCA).
SVD - це узагальнення ейгендекомпозиції, і це теж надзвичайно потужно, навіть як обмежена версія SVD. Ви можете виконати виявлення спільноти на графіку, переглянувши власні вектори матриці примикання або визначити стійкі стадії ймовірностей маркової моделі , переглянувши власні вектори перехідної матриці, що збігається також, по суті, як розраховується PageRank .
Під кришкою PCA виконує просту операцію лінійної алгебри. Але це саме та сама операція, яка лежить в основі багатьох застосувань, до яких більшість людей не ставить під сумнів застосування ярлика "машинне навчання". Цей клас алгоритмів називається Matrix Factorization і навіть поширюється на складні методи, такі як word2vec : дійсно, ви можете реально отримати результати, схожі на word2vec, буквально просто застосувавши PCA до матриці співзаключення слова . Знову узагальнюючи, ще одне слово для результатів PCA - це вбудовування . Word2vec - це, мабуть, найвідоміший приклад вбудовування, але побудова вкладок (як посередників) також є важливим компонентом архітектури кодера-декодера, що використовується в RNNта ГАН , які зараз є кровоточивим дослідженням ML.
Тож повернемось до вашого питання: чи PCA є "алгоритмом машинного навчання?" Ну, якщо це не так, ви повинні бути готові сказати те саме про спільну фільтрацію, моделювання тем, виявлення спільноти, центральну мережу та вбудовування моделей.
Тільки тому, що це проста лінійна алгебра, це не означає, що вона також не є магією.
Абсолютно, це не алгоритм навчання, як ви нічого не вивчаєте в PCA. Однак його можна використовувати в різних алгоритмах навчання, щоб досягти кращої продуктивності в реальному, що подобається більшості інших методів зменшення розмірності.
PCA використовується для усунення зайвих функцій. Він знаходить напрямки, в яких дані широко розподілені. Це не дбає про мітки даних, оскільки це проекції, які представляють дані в найменш квадратному сенсі. Множинний дискримінантний аналіз, MDAспробуйте знайти прогнози, які найкраще розділяють дані. Останній розглядає етикетку і знаходить вказівки, за допомогою яких дані можна найкраще відокремити, хоча в ньому є деякі деталі щодо того, яке рішення знайде. Завершити, PCAце не алгоритм навчання. Він просто намагається знайти вказівки, які дані широко розповсюджуються, щоб усунути корельовані функції. Подібні підходи, наприклад, MDAнамагаються знайти вказівки для класифікації даних. Хоча MDAтак багато, якPCA, але перший використовується для класифікації, він розглядає мітки, але останній не використовується безпосередньо для класифікації.