Запитання з тегом «regression»

Я шукаю методи, які можна використовувати для оцінки моделі помилки вимірювання "OLS". yi=Yi+ey,iyi=Yi+ey,iy_{i}=Y_{i}+e_{y,i} xi=Xi+ex,ixi=Xi+ex,ix_{i}=X_{i}+e_{x,i} Yi=α+βXiYi=α+βXiY_{i}=\alpha + \beta X_{i} Де помилки є незалежними нормальними з невідомими відхиленнями і . "Стандартний" OLS в цьому випадку не працюватиме.σ2yσy2\sigma_{y}^{2}σ2xσx2\sigma_{x}^{2} У Вікіпедії є кілька непривабливих рішень - ці два змушують вас припускати, що або "коефіцієнт …

13 regression  estimation  errors-in-variables 

Я хотів би отримати коефіцієнти для проблеми LASSO | | Y- Xβ| | +λ | | β| |1.||Y−Xβ||+λ||β||1.||Y-X\beta||+\lambda ||\beta||_1. Проблема полягає в тому, що функції glmnet та lars дають різні відповіді. Для функції glmnet я запитую коефіцієнтизамість просто , але я все одно отримую різні відповіді.λλ / | | Y| …

13 r  machine-learning  regression  lasso  regularization 

Які плюси та мінуси використання LARS [1] проти використання координатного спуску для встановлення L1-регульованої лінійної регресії? Мене в основному цікавлять аспекти ефективності (мої проблеми мають, як правило, Nсотні тисяч і p<20). Однак, будь-які інші дані також будуть оцінені. редагувати: Оскільки я розмістив запитання, chl люб'язно вказав на статтю [2] Friedman …

13 regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

У мене є багатоваріантна регресія, яка включає взаємодії. Наприклад, щоб отримати оцінку ефекту лікування для найбіднішого квінтиля, мені потрібно додати коефіцієнти від регресора лікування до коефіцієнта з змінної взаємодії (яка взаємодіє з лікуванням та квінтил 1). Як додавати два коефіцієнти від регресії, як можна отримати стандартні помилки? Чи можна додати …

13 regression  standard-deviation  standard-error 

Я хочу побудувати регресійну модель, яка є середнім числом декількох моделей OLS, кожна базується на підмножині повних даних. Ідея цього лежить в основі цієї роботи . Я створюю k складок і будую k OLS-моделі, кожна з даних без однієї складки. Потім я середнє значення коефіцієнтів регресії, щоб отримати остаточну модель. …

13 regression  least-squares  ensemble 

У Здебільшого безшкодній економетрії: Супутник емпіриків (Ангріст і Пішке, 2009: стор. 209) я прочитав наступне: (...) Насправді, щойно визначений 2SLS (скажімо, простий Оцінювач Вальда) є приблизно неупередженим . Це важко показати формально, оскільки щойно визначений 2SLS не має моментів (тобто розподіл вибірки має жирові хвости). Тим не менш, навіть із …

13 regression  self-study  multiple-regression  econometrics  instrumental-variables 

Яка різниця між найменшими квадратами та лінійною регресією? Це одне й те саме?

13 regression  least-squares  terminology 

Поступова регресія в минулому використовувалася в багатьох біомедичних працях, але, схоже, це покращується з кращою освітою багатьох її питань. Однак багато старих рецензентів все ще просять цього. Які обставини, коли поетапна регресія відіграє певну роль і їх слід використовувати, якщо такі є?

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

Я хочу обчислити AICc моделі регресії хребта. Проблема - кількість параметрів. Для лінійної регресії більшість людей припускають, що кількість параметрів дорівнює кількості оцінених коефіцієнтів плюс сигма (дисперсія похибки). Якщо мова йде про регресію хребта, я читаю, що слід матриці капелюхів - ступінь свободи (df) - просто використовується як кількість термінів …

13 regression  aic  ridge-regression  degrees-of-freedom 

Я налаштовував модель за допомогою caret, але потім повторно запустив модель за допомогою gbmпакета. Наскільки я розумію, що caretпакет використовує gbmі вихід повинен бути однаковим. Однак, лише швидкий тестовий пробіг із застосуванням data(iris)показує невідповідність моделі приблизно 5%, використовуючи RMSE і R ^ 2 в якості метрики оцінювання. Я хочу знайти …

13 r  caret  gbm  matrix  linear-algebra  logistic  modeling  logit  ordered-logit  r  confidence-interval  survival  population  weibull  classification  separation  hypothesis-testing  correlation  statistical-significance  p-value  python  r  data-visualization  r  regression  multiple-regression  chi-squared  multivariate-analysis  distributions  random-variable  experiment-design  distributions  poisson-regression  residuals  excel  time-series  garch  var  survival  modeling  cox-model  interaction  r  pca  normality-assumption 

Фон: Я намагаюся дотримуватися огляду Прінстона на оцінку MLE для GLM . Я розумію основи оцінки MLE: likelihood, score, яка спостерігається і очікувана Fisher informationі Fisher scoringтехніка. І я знаю, як виправдати просту лінійну регресію з оцінкою MLE . Питання: Я не можу зрозуміти навіть перший рядок цього методу :( …

13 regression  generalized-linear-model  maximum-likelihood  link-function  irls 

Розглянемо модель лінійної регресії y=Xβ+uy=Xβ+u\mathbf{y}=\mathbf{X\beta}+\mathbf{u} , u∼N(0,σ2I)u∼N(0,σ2I)\mathbf{u}\sim N(\mathbf{0},\sigma^2\mathbf{I}) , E(u∣X)=0E(u∣X)=0E(\mathbf{u}\mid\mathbf{X})=\mathbf{0} . Нехай H0:σ20=σ2H0:σ02=σ2H_0: \sigma_0^2=\sigma^2 проти H1:σ20≠σ2H1:σ02≠σ2H_1: \sigma_0^2\neq\sigma^2 . Ми можемо зробити висновок, що yTMXyσ2∼χ2(n−k)yTMXyσ2∼χ2(n−k)\frac{\mathbf{y}^T\mathbf{M_X}\mathbf{y}}{\sigma^2}\sim \chi^2(n-k) , де dim(X)=n×kdim(X)=n×kdim(\mathbf{X})=n\times k . І MXMX\mathbf{M_X} є типовим позначенням матриці знищення MXy=y^MXy=y^\mathbf{M_X}\mathbf{y}=\hat{\mathbf{y}} , де y^y^ \hat{\mathbf{y}} є залежною змінною yy\mathbf{y} регресував на XX\mathbf{X} . …

13 regression  hypothesis-testing  mathematical-statistics  inference 

Я прочитав те, що груповий ласо використовується для вибору змінних і обмеженості в групі змінних. Я хочу знати інтуїцію, що стоїть за цим твердженням. Чому груповий ласо віддається перевагу ласо? Чому шлях розв’язання групового ласо не є кусочно лінійним?

13 regression  feature-selection  lasso  regularization 

Я усвідомлюю, що ця тема виникала вже не раз, наприклад, тут , але я все ще не знаю, як найкраще інтерпретувати результати регресії. У мене дуже простий набір даних, що складається з стовпця значень x та стовпця значень y , розділених на дві групи відповідно до місцезнаходження (loc). Точки виглядають …

13 regression  p-value  least-squares  aic 

Я гуглив і шукав stats.stackexchange, але не можу знайти формулу для обчислення 95% довірчого інтервалу для значення для лінійної регресії. Хтось може це надати?R2R2R^2 Ще краще, скажімо, я провів лінійну регресію нижче в R. Як би я обчислив 95% довірчий інтервал для значення за допомогою коду R.R2R2R^2 lm_mtcars <- lm(mpg …

13 r  regression  confidence-interval  inference  r-squared