Запитання з тегом «hyperparameter»

Я починаю балуватися з використанням glmnetз LASSO регресією , де мій результат становить інтерес дихотомический. Я створив невеликий макетний кадр даних нижче: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

Зараз я переживаю випадковий пошук Bengio та Bergsta для оптимізації гіперпараметрів [1], де автори стверджують, що випадковий пошук є більш ефективним, ніж пошук в сітці, щоб досягти приблизно однакової продуктивності. Моє запитання: Чи згодні люди з цим твердженням? У своїй роботі я використовував пошук в сітці здебільшого через відсутність інструментів, …

41 machine-learning  hyperparameter  optimization 

Я шукаю документ, який міг би допомогти в наданні настанови про те, як вибрати гіперпараметри глибокої архітектури, як-от складені автокодери або глибокі мережі. Гіперпараметрів дуже багато, і я дуже розгублений у тому, як їх вибрати. Також використання перехресної перевірки не є можливим, оскільки навчання дійсно займає багато часу!

38 machine-learning  deep-learning  deep-belief-networks  hyperparameter 

Я читав про оптимізатора Адама для глибокого навчання і натрапив на таке речення у новій книзі « Глибоке навчання » Бенджіо, Гудфлоу та Курвіля: Зазвичай Адам вважається досить надійним у виборі гіпер параметрів, хоча інтенсивність навчання іноді потрібно змінити із запропонованого за замовчуванням. якщо це правда, то велика справа, тому …

24 neural-networks  deep-learning  optimization  hyperparameter  adam 

Чи може хтось пояснити, що таке природна інтерпретація для гіперпараметрів LDA? ALPHAі BETAє параметрами розподілів Диріхле для теми (на документ) і відповідно (на тему). Однак чи може хтось пояснити, що означає вибирати великі значення цих гіперпараметрів проти менших? Чи означає це ставити будь-які попередні переконання щодо обмеженості тем у документах …

21 interpretation  prior  topic-models  hyperparameter 

Я знаю, що здійснення настроювання гіперпараметрів поза перехресної перевірки може призвести до упереджених високих оцінок зовнішньої дійсності, тому що набір даних, який ви використовуєте для вимірювання продуктивності, той самий, який ви використовували для налаштування функцій. Мені цікаво, наскільки ця проблема погана . Я можу зрозуміти, як це було б по-справжньому …

20 cross-validation  validation  hyperparameter 

Отже, у нормальному розподілі маємо два параметри: середнє та дисперсію σ 2 . У книзі Розпізнавання візерунків та машинне навчання несподівано з’являється гіперпараметр λ в умовах регуляризації функції помилок.μμ\muσ2σ2\sigma^2λλ\lambda Що таке гіперпараметри? Чому їх називають такими? І чим вони інтуїтивно відрізняються від параметрів загалом?

19 terminology  definition  parameterization  hyperparameter 

У мене є набір даних 140000 прикладів і 30 функцій, для яких я навчаю декілька класифікаторів для двійкової класифікації (SVM, Logistic Regression, Random Forest тощо) У багатьох випадках налаштування гіперпараметрів у всьому наборі даних за допомогою Grid або Random пошуку занадто дорого за часом. Я почав використовувати наступну техніку Sub …

19 machine-learning  cross-validation  hyperparameter 

Існує суттєве сучасне дослідження Байєсової оптимізації (1) для налаштування гіперпараметрів МЛ. Мотивація водіння тут полягає в тому, що необхідна мінімальна кількість точок даних, щоб зробити обґрунтований вибір того, які точки варто спробувати (виклики об'єктивних функцій дорогі, тому менше робити менше), тому що підготовка моделі є трудомісткою - дещо скромно -великі …

18 hyperparameter  bayesian-optimization  optunity 

Я прочитав наступні публікації щодо вкладеної перехресної перевірки, і все ще не на 100% впевнений, що мені робити з вибором моделі з вкладеною перехресною перевіркою: Вкладена перехресна перевірка для вибору моделі Вибір моделі та перехресне підтвердження: правильний шлях Щоб пояснити свою плутанину, дозвольте мені спробувати пройти вибір моделі з вкладеним …

17 cross-validation  scikit-learn  hyperparameter 

По-перше, вибачення за розміщення питання, про яке вже обговорювались тут , тут , тут , тут , тутта для повторного розігрівання старої теми. Я знаю, що @DikranMarsupial досить довго писав про цю тему у публікаціях та журнальних статтях, але я все ще плутаюся, і, судячи з кількості подібних публікацій тут, …

17 machine-learning  cross-validation  model-selection  glmnet  hyperparameter 

Моя мета - класифікувати сенсорні сигнали. Поняття мого рішення поки що: i) Інженерні особливості з необробленого сигналу ii) Вибір відповідних функцій за допомогою функції ReliefF та кластеризації підходу iii) Застосування NN, Random Forest та SVM Однак я захоплений дилемою. У ii) та iii) існують гіперпараметри, такі як k-Найближчі Neigbours для …

15 feature-selection  hyperparameter  optimization 

Отже, ми знаємо, що випадковий пошук працює краще, ніж пошук в сітці, але останнім підходом є байєсівська оптимізація (з використанням гауссових процесів). Я шукав порівняння між ними, і нічого не знайшов. Я знаю, що в cs231n Стенфорда вони згадують лише випадковий пошук, але можливо, що вони хотіли зробити все просто. …

14 bayesian  hyperparameter 

Прогнозовані класи від (бінарної) логістичної регресії визначаються за допомогою порогу щодо ймовірностей членства в класі, породжених моделлю. Як я розумію, типово 0,5 використовується за замовчуванням. Але зміна порогу змінить передбачувані класифікації. Чи означає це поріг - гіперпараметр? Якщо так, то чому (наприклад) неможливо легко здійснити пошук по сітці порогів за …

13 machine-learning  logistic  scikit-learn  hyperparameter 

Я намагаюся налаштувати гіперпараметри алгоритму регресії гауссового процесу, який я реалізував. Я просто хочу максимально збільшити граничну ймовірність журналу, задану формулою де K - матриця коваріації з елементи K_ {ij} = k (x_i, x_j) = b ^ {- 1} \ exp (- \ frac {1} {2} (x_i-x_j) ^ TM (x_i-x_j)) …

13 regression  optimization  gaussian-process  hyperparameter