Запитання з тегом «linear-model»

Я думаю, що чим більший коефіцієнт змінної, тим більше здатність моделі до того, щоб «розгойдуватися» в цьому вимірі, забезпечуючи збільшену можливість підключення шуму. Хоча я думаю, що у мене є розумний сенс взаємозв'язку між дисперсією моделі та великими коефіцієнтами, я не маю настільки хорошого розуміння того, чому вони трапляються в …

33 regression  variance  linear-model  bias  regularization 

Я хотів би регресувати вектор B проти кожного зі стовпців у матриці А. Це тривіально, якщо відсутні дані, але якщо матриця A містить відсутні значення, то моя регресія проти A обмежена, щоб включати лише рядки, де всі значення присутні ( поведінка na.omit за замовчуванням ). Це дає неправильні результати для …

32 r  missing-data  linear-model 

Я намагався засвоїти машинне навчання за допомогою матеріалу Coursera . У цій лекції Ендрю Нг використовує алгоритм спуску градієнта, щоб знайти коефіцієнти лінійної регресійної моделі, які мінімізують функцію помилок (функція витрат). Для лінійної регресії нам потрібен градієнтний спуск? Здається, я можу аналітично диференціювати функцію помилок і встановити її в нуль …

31 regression  machine-learning  linear-model  gradient-descent 

У простому випадку лінійної регресії можна отримати оцінку найменшого квадрата таким чином, що вам не потрібно знати щоб оцінюватиy=β0+β1xy=β0+β1xy=\beta_0+\beta_1xβ^1=∑(xi−x¯)(yi−y¯)∑(xi−x¯)2β^1=∑(xi−x¯)(yi−y¯)∑(xi−x¯)2\hat\beta_1=\frac{\sum(x_i-\bar x)(y_i-\bar y)}{\sum(x_i-\bar x)^2}β^0β^0\hat\beta_0β^1β^1\hat\beta_1 Припустимо , що у мене y=β1x1+β2x2y=β1x1+β2x2y=\beta_1x_1+\beta_2x_2 , як я вивести β 1 без оцінки β 2 ? чи це неможливо?β^1β^1\hat\beta_1β^2β^2\hat\beta_2

30 regression  multiple-regression  generalized-linear-model  linear-model 

Я поясню свою проблему на прикладі. Припустимо, ви хочете передбачити дохід фізичної особи за деякими ознаками: {Вік, стать, країна, регіон, місто}. У вас такий навчальний набір даних train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

Фон Припустимо, у нас є модель звичайних найменших квадратів, де у нашій регресійній моделі є kkk коефіцієнти, y=Xβ+ϵy=Xβ+ϵ\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon} деββ\mathbf{\beta} є (k×1)(k×1)(k\times1) вектор коефіцієнтів, XX\mathbf{X} являє собою матрицю конструкції визначається X=⎛⎝⎜⎜⎜⎜⎜⎜11⋮1x11x21xn1x12…⋱………x1(k−1)⋮⋮xn(k−1)⎞⎠⎟⎟⎟⎟⎟⎟X=(1x11x12…x1(k−1)1x21…⋮⋮⋱⋮1xn1……xn(k−1))\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & …

29 regression  linear-model  least-squares  t-distribution 

Коли я використовую GAM, це дає мені залишковий коефіцієнт DF (останній рядок у коді). Що це означає? Виходячи за приклад GAM, загалом, чи може число ступенів свободи бути нецілим числом?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

У мене є кореляційна матриця повернень безпеки, детермінант якої дорівнює нулю. (Це трохи дивно, оскільки матриця кореляції вибірки та відповідна коваріаційна матриця теоретично повинні бути певними.) Моя гіпотеза полягає в тому, що принаймні один цінний папір лінійно залежить від інших цінних паперів. Чи є в R функція, яка послідовно перевіряє …

26 r  correlation  pca  linear-model  svd 

Це моє перше повідомлення, тому будь ласка, будь ласка, будь ласка, якщо я не дотримуюся деяких стандартів! Я здійснив пошук свого питання, і нічого не вийшло. Моє запитання стосується переважно практичних відмінностей між загальним лінійним моделюванням (GLM) та узагальненим лінійним моделюванням (GZLM). У моєму випадку це було б кілька безперервних …

25 modeling  linear-model 

Для програми lasso доступні різні програми для впровадження . Я знаю, що багато обговорювалося про байєсівський підхід і частолістський підхід на різних форумах. Моє запитання дуже специфічне для лассо - Які відмінності чи переваги баснійського ласо проти звичайного ласо ? Ось два приклади реалізації в пакеті: # just example data …

24 r  machine-learning  linear-model  lasso 

Як приворот до питання про лінійно-змішані моделі в R, і поділитися як орієнтир для початківців / проміжних прихильників статистики, я вирішив опублікувати як незалежний "Q & A-стиль" кроки, пов'язані з "ручним" обчисленням коефіцієнти та прогнозовані значення простої лінійної регресії. Приклад - вбудований R набір даних, mtcarsі він буде встановлений як …

22 r  regression  linear-model  lm 

Я хотів би помістити лінійну модель (lm), де дисперсія залишків явно залежить від пояснювальної змінної. Я знаю, як це зробити, використовуючи glm з сімейством Gamma для моделювання дисперсії, а потім вводять його обернення у вагах у функції lm (приклад: http://nitro.biosci.arizona.edu/r/chapter31 .pdf ) Мені було цікаво: Це єдиний прийом? Які ще …

22 r  generalized-linear-model  linear-model  heteroscedasticity  gamlss 

(ОНОВЛЕННЯ: Я заглибився в це глибше і опублікував результати тут ) Список названих статистичних тестів величезний. Багато із загальних випробувань покладатися на умовиводи від простих лінійних моделей, наприклад, один-зразок Т-тест тільки у = β + ε , який перевіряється на нуль моделі у = μ + ε то , що …

22 regression  correlation  anova  t-test  linear-model 

Я трохи розгублений, що таке припущення про лінійну регресію. Поки я перевірив, чи: всі пояснювальні змінні лінійно співвідносяться зі змінною відповіді. (Так було) серед пояснювальних змінних була якась колінеарність. (мало колінеарності). відстані Кука від точок даних моєї моделі нижче 1 (це так, усі відстані нижче 0,4, тому немає балів впливу). …

22 linear-model  residuals  assumptions  normality-assumption 

Заблокований . Це запитання та його відповіді заблоковано, оскільки це питання поза темою, але має історичне значення. Наразі він не приймає нових відповідей чи взаємодій. Я створив лінійну модель в R : mod = lm(train_y ~ train_x). Я хочу передати йому список X і отримати його передбачуване / оцінене / …

21 r  forecasting  linear-model