Статистика та великі дані

У деяких лекціях та навчальних посібниках, які я бачив, вони пропонують розділити ваші дані на три частини: навчання, перевірку та тест. Але незрозуміло, як слід використовувати тестовий набір даних, ні наскільки цей підхід кращий за перехресну перевірку для всього набору даних. Скажімо, ми зберегли 20% наших даних у вигляді тестового …

25 machine-learning  cross-validation  validation 

У мене є кілька запитань щодо каймового штрафу в контексті найменших квадратів: βridge=(λID+X′X)−1X′yβridge=(λID+X′X)−1X′y\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y 1) Вираз говорить про те, що матриця коваріації X скорочується до діагональної матриці, тобто, якщо припустити, що змінні стандартизовані перед процедурою, кореляція між вхідними змінними буде знижена. Чи правильне це тлумачення? 2) …

25 regression  pca  regularization  ridge-regression 

У lmerTestпакеті передбачена anova()функція для лінійних змішаних моделей з необов'язковою програмою Satterthwaite (за замовчуванням) або наближенням Кенвард-Роджера до ступенів свободи (df). Яка різниця між цими двома підходами? Коли вибрати який?

25 r  anova  mixed-model  lme4-nlme  degrees-of-freedom 

Припустимо , що я біжу регресію Y∼XY∼XY \sim X . Чому, вибираючи компоненти kkk принципу XXX , модель зберігає свою прогнозовану потужність на YYY ? Я розумію , що з розмірністю-відновлювальних / функція відбору точки зору, якщо v1,v2,...vkv1,v2,...vkv_1, v_2, ... v_k - власні вектори матриці коваріації з верхніми власними значеннями, …

25 regression  classification  pca  dimensionality-reduction  regularization 

У простій регресійній моделі y=β0+β1x+ε,y=β0+β1x+ε, y = \beta_0 + \beta_1 x + \varepsilon, OLS-оцінки та співвідносяться.ββ^OLS0β^0OLS\hat{\beta}_0^{OLS}β^OLS1β^1OLS\hat{\beta}_1^{OLS} Формула кореляції між двома оцінювачами є (якщо я правильно її вивів): Corr(β^OLS0,β^OLS1)=−∑ni=1xin−−√∑ni=1x2i−−−−−−−√.Corr⁡(β^0OLS,β^1OLS)=−∑i=1nxin∑i=1nxi2. \operatorname{Corr}(\hat{\beta}_0^{OLS},\hat{\beta}_1^{OLS}) = \frac{-\sum_{i=1}^{n}x_i}{\sqrt{n} \sqrt{\sum_{i=1}^{n}x_i^2} }. Запитання: Яке інтуїтивне пояснення наявності кореляції? Чи має наявність кореляції важливі наслідки? Повідомлення було відредаговано, і твердження …

25 regression  least-squares  estimators 

Випадкові ліси, як відомо, досить добре виконують різні завдання та їх називають шкірянинами методів навчання . Чи є якісь проблеми чи конкретні умови, за яких слід уникати використання випадкового лісу?

25 machine-learning  classification  random-forest 

Я студент магістерської школи в німецькому університеті, зараз пишу дисертацію. Мені закінчуться через два місяці. Я повинен прийняти дуже важке рішення, якщо продовжувати докторську чи знайти роботу в галузі. Мої причини доктора наук: Я дуже допитлива людина і відчуваю, що мені все ще не вистачає надто багато знань. Я хочу …

25 machine-learning  data-mining  careers 

Припустимо, у мене є набір даних для контрольованої статистичної задачі класифікації, наприклад, через класифікатор Байєса. Цей набір даних складається з 20 функцій, і я хочу звести його до двох функцій за допомогою методів зменшення розмірності, таких як аналіз основних компонентів (PCA) та / або лінійний дискримінантний аналіз (LDA). Обидві методи …

25 classification  pca  regularization  discriminant-analysis  overfitting 

У мене плутанина щодо упереджених оцінок максимальної ймовірності (ML). Математика цілого поняття для мене досить чітка, але я не можу зрозуміти інтуїтивно зрозумілі міркування. Враховуючи певний набір даних, який має вибірки з розподілу, який сам є функцією параметра, який ми хочемо оцінити, ML-оцінка приводить до значення параметра, який, швидше за …

25 maximum-likelihood  bias 

Я хотів би генерувати випадкову кореляційну матрицю розміром таким чином, щоб були наявні помірно сильні кореляції: n × nCC\mathbf Cn×nn×nn \times n квадратна реальна симетрична матриця розміру, наприклад ;n = 100n×nn×nn \times nn=100n=100n=100 позитивне-визначене, тобто з усіма власними значеннями реальними та позитивними; повний ранг; всі діагональні елементи рівні ;111 недіагональні …

25 random-generation  covariance-matrix  correlation-matrix 

Розглянемо приклад R нижче: plot( hclust(dist(USArrests), "ave") ) Що саме означає вісь y "Висота"? Дивлячись на Північну Кароліну та Каліфорнію (скоріше ліворуч). Чи Каліфорнія «ближче» до Північної Кароліни, ніж Арізона? Чи можу я зробити таке тлумачення? Гаваї (праворуч) приєднується до кластера досить пізно. Я бачу це як "вище", ніж інші …

25 interpretation  hierarchical-clustering  dendrogram 

В даний час я використовую кілька лінійних моделей зі змішаним ефектом. Я використовую пакет "lme4" в Р. Мої моделі мають форму: model <- lmer(response ~ predictor1 + predictor2 + (1 | random effect)) Перш ніж запускати свої моделі, я перевірив, чи можлива мультиколінеарність між предикторами. Я зробив це: Складіть кадр …

25 r  correlation  mixed-model  lme4-nlme  multicollinearity 

Я намагаюся краще зрозуміти оцінку щільності ядра. Використання визначення з Вікіпедії: https://en.wikipedia.org/wiki/Kernel_density_estimation#Definition fгод^( х ) = 1н∑нi = 1Кгод( х - хi)= 1n год∑нi = 1К( х - хiгод)fh^(x)=1n∑i=1nKh(x−xi)=1nh∑i=1nK(x−xih) \hat{f_h}(x) = \frac{1}{n}\sum_{i=1}^n K_h (x - x_i) \quad = \frac{1}{nh} \sum_{i=1}^n K\Big(\frac{x-x_i}{h}\Big) Візьмемо як прямокутну функцію, яка дає якщо знаходиться в …

25 r  kernel-smoothing  convolution 

У мене є data.frame з 800 об. з 40 змінних, і я хотів би використати Принциповий аналіз компонентів для покращення результатів мого прогнозування (який поки що найкраще працює з підтримкою Vector Machine на деяких 15-ти змінених вручну змінах). Я розумію, що prcomp може допомогти мені покращити мої прогнози, але я …

25 r  pca 

Я здійснив повторний дизайн, в якому я протестував 30 чоловіків і 30 жінок у трьох різних завданнях. Я хочу зрозуміти, чим поведінка самців і жінок відрізняється і як це залежить від завдання. Для дослідження цього я використовував і пакет lmer, і lme4, проте я застряг у спробі перевірити припущення для …

25 r  mixed-model  assumptions  lme4-nlme