Запитання з тегом «shrinkage»

Регресія хребта оцінює параметри в лінійній моделі \ mathbf y = \ mathbf X \ boldsymbol \ beta по \ hat {\ boldsymbol \ beta} _ \ lambda = (\ mathbf X ^ \ top \ mathbf X + \ lambda \ mathbf I) ^ {- 1} \ mathbf X …

16 regression  ridge-regression  shrinkage 

Якщо ми почнемо з набору даних , застосуємо до нього Лассо і отримаємо рішення , ми можемо знову застосувати Лассо до набору даних , де - безліч не- нульові індекси , щоб отримати рішення, , що називається "розслабленим LASSO" рішенням (виправте мене, якщо я помиляюся!). Рішення повинно задовольняти умовам Каруша …

16 regression  optimization  lasso  regularization  shrinkage 

На цьому сайті вже розміщено повідомлення, що говорить про те саме: Чому працює усадка? Але, хоча відповіді популярні, я не вірю, що суть питання справді вирішена. Цілком зрозуміло, що введення деякої упередженості в оцінку призводить до зменшення дисперсії та може покращити якість оцінки. Однак: 1) Чому шкода, заподіяна введенням зміщення, …

15 regularization  ridge-regression  shrinkage 

Мене сприймає ідея усадки Джеймса-Штейна (тобто, що нелінійна функція одного спостереження за вектором, можливо, незалежних нормалей може бути кращим оцінником засобів випадкових величин, де «краще» вимірюється квадратичною помилкою ). Однак я ніколи не бачив цього в прикладній роботі. Ясно, що я недостатньо добре читаю. Чи є класичні приклади, коли Джеймс-Штейн …

15 estimation  error  shrinkage  application  steins-phenomenon 

Чи існують які - небудь результати аналізів або експериментальні роботи в відношенні оптимального вибору коефіцієнта терміну симуляції. Під оптимальним розумію параметр, який максимально збільшує ймовірність вибору найкращої моделі або мінімізує очікувані втрати. Я запитую, оскільки часто недоцільно обирати параметр шляхом перехресної перевірки або завантажувальної програми, або через велику кількість випадків …

15 model-selection  lasso  shrinkage 

У певних колах усадка слів дуже багато. Але що таке усадка, то, схоже, не існує чіткого визначення. Якщо у мене є часовий ряд (або будь-яка колекція спостережень за деяким процесом), то якими різними способами я можу виміряти певний тип емпіричної усадки на серії? Про які різні теоретичні усадки я можу …

13 estimation  predictive-models  shrinkage 

Zou та ін. "Про" ступені свободи "ласо" (2007) показують, що кількість ненульових коефіцієнтів є неупередженою і послідовною оцінкою ступенів свободи ласо. Мені це здається трохи протизаконним. Припустимо, ми маємо регресійну модель (де значення змінних дорівнюють нулю) у= βx + ε .y=βx+ε.y=\beta x + \varepsilon. Припустимо, необмежена оцінка OLS становить . …

12 regression  lasso  degrees-of-freedom  shrinkage 

Я зараз вивчаю LASSO (найменш абсолютний оператор усадки та відбору). Я бачу, що оптимальне значення параметра регуляризації можна вибрати шляхом перехресної перевірки. Я бачу також у регресії хребта та багатьох методах, які застосовують регуляризацію, ми можемо використовувати CV для того, щоб знайти оптимальний параметр регуляризації (кажучи, штраф). Тепер моє запитання …

12 lasso  regularization  shrinkage 

Припустимо, у мене є два оцінювачі та які є послідовними оцінками того самого параметра і такими, що з в сенсі psd. Таким чином, асимптотика є більш ефективною, ніж . Ці два оцінювачі засновані на різних функціях втрат.βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2β0β0\beta_0n−−√(βˆ1−β0)→dN(0,V1),n−−√(βˆ2−β0)→dN(0,V2)n(β^1−β0)→dN(0,V1),n(β^2−β0)→dN(0,V2)\sqrt{n}(\widehat{\beta}_1 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_1), \quad \sqrt{n}(\widehat{\beta}_2 -\beta_0) \stackrel{d}\rightarrow \mathcal{N}(0, V_2)V1≤V2V1≤V2V_1 \leq V_2βˆ1β^1\widehat{\beta}_1βˆ2β^2\widehat{\beta}_2 Тепер …

11 regression  ridge-regression  shrinkage  penalized 

Кожне твердження, що я знаходжу оцінника Джеймса-Штейна, передбачає, що випадкові змінні, що оцінюються, мають однакову (і одиничну) дисперсію. Але всі ці приклади також згадують, що оцінювач JS може бути використаний для оцінки величин, що не мають нічого спільного. Приклад вікіпедії - швидкість світла, споживання чаю на Тайвані та вага свиней …

11 estimation  shrinkage  steins-phenomenon 

Для простого прикладу припустимо, що існує дві моделі лінійної регресії Модель 1 має три провісники, x1a, x2b, іx2c Модель 2 має три предиктори з моделі 1 та два додаткові прогнози x2aтаx2b Існує рівняння регресії чисельності населення, де пояснюється дисперсія популяції для Моделі 1 та для Моделі 2. Інкрементальна дисперсія, пояснена …

10 regression  confidence-interval  estimation  r-squared  shrinkage  anova  t-test  references  tukey-hsd  machine-learning  boosting  r  clustering  fishers-exact  generalized-linear-model  model  probit  link-function  r  survival  probability  distributions  dice  logistic  lme4-nlme  glmm  meta-analysis  distributions  distributions  factor-analysis  r  anova  repeated-measures  post-hoc 

Припустимо, у мене є поздовжні дані форми Y =(Y1, … ,YJ) ∼ N( μ , Σ )Y=(Y1,…,YJ)∼N(μ,Σ)\mathbf Y = (Y_1, \ldots, Y_J) \sim \mathcal N(\mu, \Sigma)(У мене є кілька спостережень, це просто форма єдиного). Мене цікавлять обмеження щодоΣΣ\Sigma. Без обмеженьΣΣ\Sigma еквівалентно прийому Yj=αj+∑ℓ = 1j - 1ϕℓ jYj - ℓ+εjYj=αj+∑ℓ=1j−1ϕℓjYj−ℓ+εj …

9 feature-selection  lasso  shrinkage 

Припустимо, у мене є парні спостереження, намальовані в як для . НехайXi∼N(0,σ2x),Yi∼N(0,σ2y),Xi∼N(0,σx2),Yi∼N(0,σy2),X_i \sim \mathcal{N}\left(0,\sigma_x^2\right), Y_i \sim \mathcal{N}\left(0,\sigma_y^2\right),i=1,2,…,ni=1,2,…,ni=1,2,\ldots,nZi=Xi+Yi,Zi=Xi+Yi,Z_i = X_i + Y_i, і позначаємо черезZijZijZ_{i_j} то jjjНайбільше спостережуване значення ZZZ. Що таке (умовний) розподілXijXijX_{i_j}? (або еквівалентно, що вYijYijY_{i_j}) Тобто, що таке розподіл XiXiX_i умовний на ZiZiZ_i будучи jjjго найбільшого nnn спостережувані …

9 distributions  order-statistics  shrinkage 

Мене бентежить аналіз перестановки для вибору особливостей у контексті логістичної регресії. Чи можете ви надати чітке пояснення тесту випадкової перестановки та як це застосовується до вибору функцій? Можливо, з точним алгоритмом та прикладами. Нарешті, як воно порівнюється з іншими методами усадки, такими як Лассо або ЛАР?

9 regression  logistic  feature-selection  permutation-test  shrinkage