Запитання з тегом «penalized»

Регресія LASSO зменшує коефіцієнти до нуля, забезпечуючи ефективний вибір моделі. Я вважаю, що в моїх даних є змістовні взаємодії між номінальними та безперервними коваріатами. Однак, не обов'язково, що "основні наслідки" справжньої моделі є змістовними (не нульовими). Звичайно, я цього не знаю, оскільки справжня модель невідома. Мої цілі - знайти справжню …

25 machine-learning  lasso  glmnet  shrinkage  penalized 

L1 пеналізована регресія (aka lasso) представлена ​​у двох складах. Нехай обидві цілі функції Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1.Q1=12||Y−Xβ||22Q2=12||Y−Xβ||22+λ||β||1. Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1. Тоді два різних рецептури - argminβQ1argminβQ1 \text{argmin}_\beta \; Q_1 умови ||β||1≤t,||β||1≤t, ||\beta||_1 \leq t, і, що еквівалентно argminβQ2.argminβQ2. \text{argmin}_\beta \; Q_2. Використовуючи умови …

20 regression  lasso  penalized 

У регресії ласо або хребта потрібно вказати параметр усадки, який часто називають або . Це значення часто вибирається за допомогою перехресної перевірки, перевіряючи купу різних значень на навчальних даних і бачачи, що дає найкращі результати, наприклад на тестових даних. Який діапазон значень слід перевірити? Це ?λλ\lambdaαα\alphaR2R2R^2(0,1)(0,1)(0,1)

16 regression  lasso  regularization  ridge-regression  penalized 

Я читав у кількох місцях, що R Squared не є ідеальним показником, коли модель підходить за допомогою LASSO. Однак мені не ясно, чому саме так. Крім того, ви могли б порекомендувати найкращу альтернативу?

12 regression  lasso  r-squared  penalized 

Я читаю слайди Стівена Скотта про пакет BSTS R (їх можна знайти тут: слайди ). У якийсь момент, коли йдеться про включення багатьох регресорів у модель структурних часових рядів, він вводить коефіцієнти регресії ковзання та плити, і каже, що вони краще порівняно з пенізованими методами. Скаже Скотт, посилаючись на приклад …

11 r  bayesian  feature-selection  penalized  bsts 

Припустимо, у мене є два оцінювачі та які є послідовними оцінками того самого параметра і такими, що з в сенсі psd. Таким чином, асимптотика є більш ефективною, ніж . Ці два оцінювачі засновані на різних функціях втрат.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 Тепер …

11 regression  ridge-regression  shrinkage  penalized 

Я не маю на увазі конкретного прикладу чи завдання. Я просто новачок у використанні b-сплайнів і хотів краще зрозуміти цю функцію в контексті регресії. Давайте припустимо , що ми хочемо , щоб оцінити залежність між змінним відгуком і деякі провісники х 1 , х 2 , . . . , …

10 regression  multiple-regression  splines  polynomial  penalized 

Приклади: у мене є речення в описі посади: "Старший інженер Java у Великобританії". Я хочу використовувати модель глибокого навчання, щоб передбачити її як 2 категорії: English і IT jobs. Якщо я використовую традиційну модель класифікації, вона може передбачити лише 1 мітку з softmaxфункцією на останньому шарі. Таким чином, я можу …

9 machine-learning  deep-learning  natural-language  tensorflow  sampling  distance  non-independent  application  regression  machine-learning  logistic  mixed-model  control-group  crossover  r  multivariate-analysis  ecology  procrustes-analysis  vegan  regression  hypothesis-testing  interpretation  chi-squared  bootstrap  r  bioinformatics  bayesian  exponential  beta-distribution  bernoulli-distribution  conjugate-prior  distributions  bayesian  prior  beta-distribution  covariance  naive-bayes  smoothing  laplace-smoothing  distributions  data-visualization  regression  probit  penalized  estimation  unbiased-estimator  fisher-information  unbalanced-classes  bayesian  model-selection  aic  multiple-regression  cross-validation  regression-coefficients  nonlinear-regression  standardization  naive-bayes  trend  machine-learning  clustering  unsupervised-learning  wilcoxon-mann-whitney  z-score  econometrics  generalized-moments  method-of-moments  machine-learning  conv-neural-network  image-processing  ocr  machine-learning  neural-networks  conv-neural-network  tensorflow  r  logistic  scoring-rules  probability  self-study  pdf  cdf  classification  svm  resampling  forecasting  rms  volatility-forecasting  diebold-mariano  neural-networks  prediction-interval  uncertainty 

У мене є питання про моделювання тексту над даними підрахунку, зокрема, як я можу використовувати lassoтехніку для зменшення функцій. Скажіть, у мене є N онлайн-статей і кількість переглядів сторінок для кожної статті. Я вилучив 1-грам і 2-грам для кожної статті і хотів провести регресію на 1,2-грам. Оскільки особливостей (1,2-грам) набагато …

9 poisson-distribution  lasso  glmnet  overdispersion  penalized