Статистика та великі дані

Яким чином (лінійні) моделі змішаних ефектів зазвичай порівнюються одна з одною? Я знаю, що можна використовувати тести на коефіцієнт ймовірності, але це не працює, якщо одна модель не є "підмножиною" іншої правильної? Чи завжди оцінка моделей df прямолінійна? Кількість фіксованих ефектів + ​​кількість дисперсійних компонентів, що оцінюються? Чи ігноруємо ми …

22 hypothesis-testing  mixed-model  cross-validation  aic  degrees-of-freedom 

По-перше, я не статистик. Однак я робив статистичний аналіз мережі для свого доктора наук. У рамках мережевого аналізу я побудував додаткову функцію кумулятивного розподілу (CCDF) мережевих ступенів. Я виявив, що на відміну від звичайних мережевих дистрибутивів (наприклад, WWW), розподіл найкраще відповідає лонормальному розподілу. Я намагався пристосувати його до закону про …

22 curve-fitting  networks  lognormal  power-law 

Маємо, скажімо, такі дані: 8232302 684531 116857 89724 82267 75988 63871 23718 1696 436 439 248 235 Хочете простий спосіб пристосувати це (та кілька інших наборів даних) до дистрибутива Pareto. В ідеалі він виводить би відповідні теоретичні значення, а не ідеально параметри.

22 r  pareto-distribution 

Я намагався встановити дані часових рядів (без повторів) за допомогою регресійної моделі. Дані виглядають так: > xx.2 value time treat 1 8.788269 1 0 2 7.964719 6 0 3 8.204051 12 0 4 9.041368 24 0 5 8.181555 48 0 6 8.041419 96 0 7 7.992336 144 0 8 7.948658 …

22 r  regression  statistical-significance  anova  p-value 

Як я це розумію, мені потрібно знати щонайменше три аспекти (із чотирьох) запропонованого нами дослідження, щоб провести аналіз потужності, а саме: тип тесту - я маю намір використати r Пірсона та ANCOVA / Regression - GLM рівень значущості (альфа) - я маю намір використовувати 0,05 очікуваний розмір ефекту - я …

22 power-analysis 

Контекст: За цей час я придбав набір евристики щодо того, як ефективно побудувати зв'язок між двома числовими змінними. Я думаю, що більшість людей, які працюють з даними, мали б подібний набір правил. Прикладами таких правил можуть бути: Якщо одна із змінних є позитивно перекошеною, розгляньте побудову цієї осі в масштабі …

22 data-visualization  correlation  teaching  rule-of-thumb  scatterplot 

У мене є декілька тісно пов’язаних питань щодо слабких учнів, що навчаються в ансамблі (наприклад, стимулювання). Це може здатися німим, але які переваги використання слабких на відміну від сильних учнів? (наприклад, чому б не підсилити "сильні" методи навчання?) Чи є якась "оптимальна" сила для слабких учнів (наприклад, зберігаючи всі інші …

22 machine-learning  boosting  ensemble 

Коефіцієнт Пірсона між двома змінними досить високий (r = .65). Але коли я ранжую змінні значення та запускаю співвідношення Спірмена, коефіцієнт коефіцієнта значно нижчий (r = .30). Що таке тлумачення?

22 correlation  spearman-rho 

Хтось намагався прогнозувати часові ряди, використовуючи регресію вектора підтримки? Я розумію, що підтримують векторні машини підтримки і частково розуміють регресію векторів підтримки, але не розумію, як їх можна використовувати для моделювання часових рядів, особливо багатоваріантних часових рядів. Я спробував прочитати кілька робіт, але вони занадто високі. Чи може хтось просто …

22 time-series  machine-learning  svm 

Коли я намагаюся вибрати серед різних моделей або кількість функцій, які слід включити, скажімо, передбачення, я можу придумати два підходи. Розподіліть дані на навчальні та тестові набори. Ще краще, використовуйте завантажувальну чи перехресну перевірку k-кратну кількість разів. Тренуйтеся на навчальному наборі щоразу і обчислюйте помилку над тестовим набором. Помилка тесту …

22 bayesian  model-selection  cross-validation  feature-selection 

Я думав, що важкий хвіст = жирний хвіст, але деякі статті, які я читав, давали мені зрозуміти, що це не так. Один з них говорить: важкий хвіст означає, що розподіл має нескінченний j-й момент для деякого цілого j. Крім того, всі dfs у доменній області залучення Pareto df мають великі …

22 distributions 

Контекст: Прагнучи побудувати центральні фрагменти, які я натрапив на теорію ймовірностей та статику, я створив довідковий документ, орієнтований на математичні основи (доступний тут ). Ділячись цим документом, я сподіваюся дати студентам статистики вичерпний підсумок основного матеріалу, що викладається на аспірантурах з цих тем. Хоча в основному призначений як навчальний ресурс, …

22 teaching 

У мене є питання щодо випадкових змінних. Припустимо , що у нас є дві випадкові величини і . Скажімо, - Пуассон, розподілений з параметром , а - Пуассон, розподілений з параметром .Y X λ 1 Y λ 2XXXYYYXXXλ1λ1\lambda_1YYYλ2λ2\lambda_2 Коли ви будуєте перелом з і називаєте це випадковою змінною , як …

22 random-variable  poisson-distribution 

Це дещо пов'язане з іншим питанням, яке я задав. У мене виникає питання, коли я роблю тестування гіпотез, коли альтернативна гіпотеза - це діапазон, нульова гіпотеза все ще є точковим значенням. Наприклад, при тестуванні, чи є коефіцієнт кореляції більше 0,5, нульовою гіпотезою є "кореляція = 0,5" замість "кореляція <= 0,5". …

22 hypothesis-testing 

Для відтворення цього ви можете використовувати набір даних десятиборства {FactoMineR}. Питання полягає в тому, чому обчислені власні значення відрізняються від матриць коваріації. Ось власні значення, використовуючи princomp: > library(FactoMineR);data(decathlon) > pr <- princomp(decathlon[1:10], cor=F) > pr$sd^2 Comp.1 Comp.2 Comp.3 Comp.4 Comp.5 Comp.6 1.348073e+02 2.293556e+01 9.747263e+00 1.117215e+00 3.477705e-01 1.326819e-01 Comp.7 Comp.8 …

22 r  pca