Запитання з тегом «kernel-trick»

Багато класифікаторів машинного навчання (наприклад, машини, що підтримують вектор) дозволяють вказати ядро. Який би був інтуїтивний спосіб пояснення, що таке ядро? Один із аспектів, про які я думав, - це відмінність між лінійними та нелінійними ядрами. Простіше кажучи, я міг би говорити про «функції лінійного рішення» та «функції нелінійного рішення». …

96 machine-learning  svm  references  kernel-trick  intuition 

Під час використання SVM нам потрібно вибрати ядро. Цікаво, як вибрати ядро. Якісь критерії вибору ядра?

95 machine-learning  svm  kernel-trick 

Я починаю балуватися з використанням glmnetз LASSO регресією , де мій результат становить інтерес дихотомический. Я створив невеликий макетний кадр даних нижче: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Існує кілька різних видів використання: Оцінка щільності ядра хитрість ядра згладжування ядра Будь-ласка, поясніть, що означає "ядро" в них, звичайно, англійською мовою, своїми словами.

73 kernel-trick  kernel-smoothing 

Я читав про ядро ​​PCA ( 1 , 2 , 3 ) з ядрами Гаусса та поліномами. Як ядро ​​Гаусса надзвичайно добре відокремлює, здавалося б, будь-який вид нелінійних даних? Будь ласка, дайте інтуїтивний аналіз, а також, якщо можливо, математично залучений. Яка властивість ядра Гаусса (з ідеалом ), якого не мають …

67 machine-learning  pca  svm  kernel-trick 

Використовуючи векторну машину підтримки, чи є якісь вказівки щодо вибору лінійного ядра проти нелінійного ядра, наприклад, RBF? Я колись чув, що нелінійне ядро, як правило, не працює добре, коли кількість функцій велика. Чи є посилання на це питання?

45 machine-learning  classification  svm  references  kernel-trick 

В чому полягає інтуїція того факту, що SVM з гауссовим ядром має кінцевий розмірний простір функцій?

36 svm  feature-selection  kernel-trick 

Як довести, що функція радіальної основи є ядром? Наскільки я розумію, щоб довести це, ми повинні довести одне з наступного:k(x,y)=exp(−||x−y||2)2σ2)k(x,y)=exp⁡(−||x−y||2)2σ2)k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2}) Для будь-якого набору векторів матриця = - це додатне напіввизначене.x1,x2,...,xnx1,x2,...,xnx_1, x_2, ..., x_nK(x1,x2,...,xn)K(x1,x2,...,xn)K(x_1, x_2, ..., x_n)(k(xi,xj))n×n(k(xi,xj))n×n(k(x_i, x_j))_{n \times n} Можна подати відображення наприклад = .ΦΦ\Phik(x,y)k(x,y)k(x, y)⟨Φ(x),Φ(y)⟩⟨Φ(x),Φ(y)⟩\langle\Phi(x), \Phi(y)\rangle …

35 svm  kernel-trick 

Я бачив, як люди доклали чимало зусиль для SVM та ядер, і вони виглядають досить цікаво як починаючі в машинному навчанні. Але якщо ми сподіваємось, що майже завжди ми зможемо знайти рішення, що перевершує ефективність, з точки зору (глибокої) Нейронної мережі, у чому сенс спроби інших методів у цю епоху? …

33 machine-learning  svm  kernel-trick  supervised-learning 

Я використовую SVM для класифікації і намагаюся визначити оптимальні параметри для лінійних та RBF ядер. Для лінійного ядра я використовую перехресний вибір параметрів для визначення C, а для ядра RBF я використовую пошук сітки для визначення C та гамми. У мене є 20 (числових) ознак та 70 прикладів навчання, які …

32 classification  svm  kernel-trick 

Я трохи плутаю різницю між SVM та перцептроном. Дозвольте спробувати узагальнити своє розуміння тут, і, будь ласка, не соромтесь виправити, де я помиляюся, і заповнити те, що я пропустив. Perceptron не намагається оптимізувати роздільну "відстань". Поки він знаходить гіперплан, який розділяє два набори, це добре. SVM, з іншого боку, намагається …

29 machine-learning  svm  kernel-trick 

Може хтось, будь ласка, скажіть мені різницю між ядрами в SVM: Лінійний Поліном Гаусс (RBF) Сигмоїдний Тому що, як ми знаємо, ядро ​​використовується для відображення нашого вхідного простору у простір з великими розмірами. І в цьому просторі властивостей ми знаходимо межу, що розділяється лінійно. Коли вони використовуються (за яких умов) …

27 machine-learning  svm  pattern-recognition  kernel-trick 

У SVM ядро ​​Гаусса визначається як: K(x,y)=exp(−∥x−y∥222σ2)=ϕ(x)Tϕ(y)K(x,y)=exp⁡(−‖x−y‖222σ2)=ϕ(x)Tϕ(y)K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)деx,y∈Rnx,y∈Rnx, y\in \mathbb{R^n}. Я не знаю явного рівнянняϕϕ\phi. Я хочу це знати. Я також хотів би знати , є чи ∑iciϕ(xi)=ϕ(∑icixi)∑iciϕ(xi)=ϕ(∑icixi)\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right) , де ci∈Rci∈Rc_i\in \mathbb R . Зараз я думаю, що це не дорівнює, тому що за допомогою ядра обробляється ситуація, коли …

24 machine-learning  svm  kernel-trick 

Чому люди використовують методи квадратичного програмування (наприклад, SMO) при роботі з ядрами SVM? Що не так з градієнтним узвозом? Чи неможливо користуватися ядрами або це занадто повільно (і чому?). Ось трохи більше контексту: намагаючись зрозуміти SVMs трохи краще, я використовував Gradient Descent для підготовки лінійного класифікатора SVM, використовуючи наступну функцію …

21 svm  kernel-trick  gradient-descent 

У контексті машинного навчання та розпізнавання шаблонів існує концепція під назвою хитрість ядра . Зіткнувшись із проблемами, коли мене просять визначити, чи може функція бути функцією ядра чи ні, що саме потрібно робити? Чи варто спочатку перевірити, чи вони мають форму трьох-чотирьох функцій ядра, таких як поліном, RBF та Гауссан? …

21 machine-learning  kernel-trick