Статистика та великі дані

Я порівняв ?prcompі ?princompзнайшов щось про аналіз основних компонентів Q-mode та R-mode (PCA). Але якщо чесно - я цього не розумію. Чи може хтось пояснити різницю, а може навіть пояснити, коли застосовувати яку?

69 r  pca 

У яких випадках слід віддати перевагу тому, ніж іншому? Я знайшов когось, хто претендує на перевагу Кендалл, з педагогічних міркувань , чи є інші причини?

69 correlation  nonparametric  spearman-rho  kendall-tau 

Які якісь цінні проекти з відкритим кодом статистичного аналізу доступні зараз? Редагувати: як зазначає Шарпі, цінні можуть означати допомогу вам робити швидше чи дешевше.

69 software  open-source 

Що вони означають, коли кажуть "випадкова величина"?

69 mathematical-statistics  random-variable  intuition  definition 

У мене є дані про незбалансований клас, і я хочу налаштувати гіперпараметри підсиленого тресу за допомогою xgboost. Запитання Чи є еквівалент gridsearchcv або randomsearchcv для xgboost? Якщо ні, то який рекомендований підхід до налаштування параметрів xgboost?

68 machine-learning  cross-validation  xgboost  boosting 

Я фактично переглядаю рукопис, де автори порівнюють 5-6 моделей регресії логіту з AIC. Однак деякі моделі мають умови взаємодії, не включаючи окремі коваріатні терміни. Чи має сенс це робити? Наприклад (не характерно для моделей logit): M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + X2 M3: …

68 regression  modeling  interaction  aic 

Я щойно чув, що хороша ідея вибирати початкові ваги нейронної мережі з діапазону , деd- кількість входів у даний нейрон. Передбачається, що множини нормалізуються - означають 0, дисперсію 1 (не знаю, чи це має значення).( - 1г√, 1г√)(−1d,1d)(\frac{-1}{\sqrt d} , \frac{1}{\sqrt d})гdd Чому це гарна ідея?

68 neural-networks  normalization 

Я пам’ятаю, як сидіти на курсах статистики як недооцінене слухання того, чому екстраполяція була поганою ідеєю. Крім того, в Інтернеті є безліч джерел, які коментують це. Там також згадка про нього тут . Хтось може допомогти мені зрозуміти, чому екстраполяція - це погана ідея? Якщо це так, то як це, …

68 regression  time-series  forecasting 

У мене є середньомісячне значення та стандартне відхилення, що відповідає цьому середньому. Зараз я обчислюю річну середню як суму середньомісячних середніх, як я можу представити стандартне відхилення для підсумованого середнього? Наприклад, враховуючи вихід з вітроелектростанції: Month MWh StdDev January 927 333 February 1234 250 March 1032 301 April 876 204 …

68 standard-deviation  descriptive-statistics 

У мене є 2 залежні змінні (DV), на кожну з яких може впливати набір 7 незалежних змінних (IV). ДВ є безперервними, тоді як набір ІV складається з суміші безперервних і двійкових кодованих змінних. (У коді нижче безперервні змінні записуються великими літерами, а двійкові змінні - малими літерами.) Метою дослідження є …

68 r  multivariate-analysis  manova  multiple-regression  multivariate-regression 

Мене цікавить, як генерувати рівномірно розподілені точки на поверхні 3-д одиничної сфери? Крім того, після створення цих точок, що є найкращим способом візуалізації та перевірки, чи справді вони рівномірні на поверхні x2+y2+z2=1x2+y2+z2=1x^2+y^2+z^2=1 ?

68 random-generation 

Правки: Я додав простий приклад: висновок про середнє значення . Я також трохи уточнив, чому вірні інтервали, що не відповідають довірчим інтервалам, є поганими.XiXiX_i Я, досить побожний байесів, перебуваю в середині кризи віри. Моя проблема полягає в наступному. Припустимо, що я хочу проаналізувати деякі дані IID . Що я б …

68 bayesian  modeling  philosophical  misspecification 

Незважаючи на те, що всі зображення в наборі даних MNIST розташовані в центрі, з подібним масштабом і зверненими вгору без обертань, вони мають значну варіацію рукописного тексту, яка здивує мене тим, як лінійна модель досягає такої високої точності класифікації. Наскільки я міг уявити, зважаючи на значну варіацію рукописного тексту, цифри …

68 logistic  image-processing 

Я бачив цю статтю в «Економісті» про, здавалося б, руйнівній роботі [1], яка ставить під сумнів «щось на зразок 40 000 опублікованих [fMRI] досліджень». Помилка, кажуть, через "помилкові статистичні припущення". Я читаю статтю і бачу, що це частково проблема з численними виправленнями порівняння, але я не є експертом з ІМР, …

67 hypothesis-testing  multiple-comparisons  spatial  neuroimaging  neuroscience 

У лютому 2016 року Американська статистична асоціація оприлюднила офіційну заяву про статистичну значимість та p-значення. Наша нитка про це широко обговорює ці питання. Однак жоден орган влади не запропонував запропонувати загальновизнану ефективну альтернативу - до цих пір. Американське статистичне товариство (ASS) опублікувало свою відповідь, p-значення: Що далі? "Значення р не …

67 hypothesis-testing  statistical-significance  p-value