Запитання з тегом «kernel-trick»

Після проведення аналізу основних компонентів (PCA) я хочу спроектувати новий вектор на простір PCA (тобто знайти його координати в системі координат PCA). Я розрахував PCA мовою R за допомогою prcomp. Тепер я повинен мати можливість помножити свій вектор на матрицю обертання PCA. Чи повинні головні компоненти в цій матриці розташовуватися …

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

Трюк ядра використовується в декількох моделях машинного навчання (наприклад , SVM ). Вперше він був введений у статті "Теоретичні основи методу потенційної функції в навчанні розпізнавання образів" у 1964 році. Визначення вікіпедії говорить, що це так метод використання алгоритму лінійного класифікатора для вирішення нелінійної задачі шляхом відображення оригінальних нелінійних спостережень …

20 machine-learning  kernel-trick 

Коваріаційна функція Матерна зазвичай використовується як функція ядра в Гауссовому процесі. Визначається так Cν(d)=σ221−νΓ(ν)(2ν−−√dρ)νKν(2ν−−√dρ)Cν(d)=σ221−νΓ(ν)(2νdρ)νKν(2νdρ) {\displaystyle C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}} де - функція відстані (наприклад, евклідова відстань), - це гамма-функція, - модифікована функція Бесселя …

19 spatial  gaussian-process  kernel-trick 

Яка різниця між виконанням лінійної регресії з функцією радіального основи Гаусса (RBF) і лінійною регресією з ядром Гаусса?

18 regression  normal-distribution  kernel-trick 

Яка різниця між Primal , подвійною та регресією керневого хребта? Люди використовують усіх трьох, і через різні позначення, якими користуються всі в різних джерелах, мені важко дотримуватися. То чи може хтось простими словами сказати мені, в чому різниця між цими трьома? Крім того, які можуть бути деякі переваги чи недоліки …

18 regression  kernel-trick  ridge-regression 

Я хочу реалізувати алгоритм у статті, яка використовує ядро ​​SVD для розкладання матриці даних. Тому я читав матеріали про методи ядра та PCA ядра тощо. Але це все ще дуже незрозуміло для мене, особливо якщо мова йде про математичні деталі, і у мене є кілька питань. Чому методи ядра? Або …

18 pca  svd  kernel-trick 

Якщо в PCA ядра я вибираю лінійне ядро , результат буде відрізнятися від звичайного лінійного PCA ? Чи принципово різні рішення чи існує певне чітко визначене співвідношення?K(x,y)=x⊤yK(x,y)=x⊤yK(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y

17 pca  kernel-trick 

Як я можу зрозуміти, що робить ядро ​​RBF у SVM? Я маю на увазі, що я розумію математику, але чи є спосіб зрозуміти, коли це ядро ​​стане корисним? Чи будуть результати від kNN пов'язані зі SVM / RBF, оскільки RBF містить векторні відстані? Чи є спосіб отримати відчуття ядра полінома? …

17 svm  kernel-trick 

Більше загального питання. Я запускаю rbf SVM для прогнозного моделювання. Я думаю, що моїй програмі, безумовно, потрібно трохи прискорити. Я використовую scikit learn з грубим точним пошуком сітки + перехресне підтвердження. Кожен пробіг SVM займає близько хвилини, але з усіма ітераціями я все ще знаходжу це занадто повільно. Припустимо, що …

16 machine-learning  svm  predictive-models  scikit-learn  kernel-trick 

Я намагаюся зрозуміти інтуїцію, що стоїть за SVM ядра. Тепер я розумію, як працює лінійна SVM, завдяки якій приймається лінія рішення, яка розбиває дані якнайкраще. Я також розумію принцип переносу даних у простор більш високого розміру, і як це може полегшити пошук лінійної лінії рішення у цьому новому просторі. Я …

15 machine-learning  svm  kernel-trick 

Часто говорять, що регресія гауссового процесу відповідає (GPR) байєсовій лінійній регресії з (можливо) нескінченною кількістю базових функцій. Зараз я намагаюся детально зрозуміти це, щоб зрозуміти, які моделі я можу виразити за допомогою GPR. Ви вважаєте, що це хороший підхід, щоб спробувати зрозуміти GPR? У книзі Гауссових процесів машинного навчання Расмуссена …

14 gaussian-process  kernel-trick  basis-function 

Як довести, що для радіальної основи функція не існує конечномерное простір ознакНтакимщопротягом деякогоФ:Rп→Hми маємоK(х,у)=⟨Ф(х),Ф(у)⟩?k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})HHHΦ:Rn→HΦ:Rn→H\Phi: \text{R}^n \to Hk(x,y)=⟨Φ(x),Φ(y)⟩k(x,y)=⟨Φ(x),Φ(y)⟩k(x, y) = \langle \Phi(x), \Phi(y)\rangle

14 machine-learning  svm  kernel-trick 

Нещодавно я дізнався про використання трюку Kernel, який відображає дані у простори більш високих розмірів, намагаючись лінеаризувати дані в цих вимірах. Чи є випадки, коли мені слід уникати використання цієї методики? Це лише питання пошуку правильної функції ядра? Для лінійних даних це, звичайно, не корисно, але для нелінійних даних це …

13 machine-learning  svm  kernel-trick  heuristic 

Здається, існує багато алгоритмів машинного навчання, які покладаються на функції ядра. SVM та NN, щоб назвати, але два. Отже, що таке визначення функції ядра та які вимоги до неї мають бути дійсними?

13 svm  terminology  kernel-trick 

Які способи вибрати, яке ядро ​​призведе до гарного поділу даних у кінцевому виведенні даних за допомогою PCA ядра (аналіз основних компонентів), і які способи оптимізації параметрів ядра? Якщо можливо, умови Лаймана були б дуже вдячні, і посилання на документи, що пояснюють такі методи, також були б непоганими.

13 pca  cross-validation  dimensionality-reduction  kernel-trick  manifold-learning