Статистика та великі дані

Чи є "розділений сюжет" ANOVA з двома факторами, ідентичним двосторонній ANOVA з повторними заходами в одному факторі? якщо ні, то в чому відмінність?

9 anova  repeated-measures  experiment-design  split-plot 

Ви, напевно, знаєте хитрість у фільмі Престиж : [MOVIE SPOILER] Чарівник знайшов вражаючу магічну хитрість: він заходить в автомат, закриває двері, а потім зникає і знову з’являється в іншій частині кімнати. Але машина не досконала: замість того, щоб просто телепортувати його, вона дублює його. Маг залишається там, де він є, …

9 probability 

Це може здатися дуже базовим, але у мене є ця проблема: у мене черга даних із розміром вікна 300. Нові дані додаються з одного кінця, старі значення видаляються з іншого кінця. Я очікую, що дані черги залишаться більш-менш послідовними, наприклад: 10,12,15,10,20, потім почнуть різко зростати: 15,10,20,22,25,26,28,30,32 ... аж до 150 …

9 time-series  maximum 

Перевіряючи, чи співвідносяться дві змінні, я помітив, що застосування кореляції Пірсона дало цифри аж до 0,1, що вказує на відсутність кореляції. Чи можна щось зробити, щоб посилити цю претензію? Набір даних (підмножина через обмеження розміщення), на яку я дивлюсь, це: 6162.178176 0.049820046 4675.14432 0.145022261 5969.056896 0.47210138 5357.506176 0.052263122 33.796224 16.45154204 …

9 correlation  data-mining  pearson-r 

Оцінюючи довірчий інтервал середнього значення, я думаю, що може застосовуватися як метод bootstrap t, так і непараметричний метод завантаження, але для першого потрібно трохи більше обчислень. Цікаво, які переваги та недоліки завантажувального пристрою t перед звичайним непараметричним завантажувальним пристроєм? Чому? Чи є деякі посилання для пояснення цього?

9 confidence-interval  bootstrap 

Я зіткнувся зі спробою продемонструвати за допомогою тестування надзвичайно низького рівня помилок для датчика (не більше 1 помилки в 1 000 000 спроб). У нас обмежений час на проведення експерименту, тому ми передбачаємо, що не зможемо отримати більше ніж 4000 спроб. Я не бачу проблем із тим, що датчик не …

9 survival  sample-size  quality-control 

Я не впевнений, який метод використовувати для моделювання взаємозв'язку між двома змінними (xxx і yyy) в експерименті описано так: Є 3 змінні: xaimxaimx_{aim}, xxx і yyy. Значення xaimxaimx_{aim}встановлюється при роботі експерименту. Однак,xxx і xaimxaimx_{aim} не завжди рівні. Коефіцієнт кореляції Пірсона між xaimxaimx_{aim} і xxx становить приблизно 0,9. Коефіцієнт кореляції Пірсона …

9 regression  correlation 

Я читав статті Вікі про Апріорі. У мене проблеми з розумінням чорносливу та кроку приєднання. Чи може хто-небудь пояснити мені, як алгоритм Apriori працює простими словами (такий, що новачок, як я, може зрозуміти легко)? Буде добре, якщо хтось пояснить покроковий процес, що бере участь у ньому.

9 data-mining  algorithms  frequentist 

Я зіткнувся з цим реченням, читаючи статтю на sciencemag.org . Зрештою, було включено відповіді лише 7600 дослідників у 12 країнах, оскільки решта даних не вважалися статистично значимими. Це правильний спосіб проведення досліджень? Не залишати результатів, оскільки їх не вважали статистично значимими?

9 statistical-significance  sampling  outliers  theory 

У мене є набір даних з близько 2000 бінарних змінних / 200 000 рядків, і я намагаюся передбачити одну бінарну залежну змінну. Моя головна мета на цьому етапі - не отримання точності прогнозування, а скоріше визначити, яка з цих змінних є важливими провісниками. Я хотів би знизити кількість змінних у …

9 machine-learning  data-mining  large-data 

У мене є якесь філософське запитання про те, коли потрібно багаторазове виправлення порівняння. Я вимірюю сигнал безперервного часу, що змінюється (в окремі моменти часу). Час від часу відбуваються окремі події, і я хотів би встановити, чи мають ці події суттєвий вплив на вимірюваний сигнал. Тож я можу взяти середній сигнал, …

9 hypothesis-testing  multiple-comparisons 

Чи може хтось дати пояснення, чому t-тест "трапляється"? Мене вчили використовувати t-тест, коли ви не знаєте стандартного відхилення сукупності (тобто ви знаєте лише стандартне відхилення вашого зразка), але я не впевнений, чому це може відрізняти його від z-тесту .

9 hypothesis-testing  t-test 

Для деякої змінної Y, яка поділяється на 3 групи (X), я хочу порівняти групи та за гіпотезою, що квантил 90% однаковий між усіма трьома групами. Які тести можна використовувати? Один з варіантів, про який я можу придумати, - це використання квантильної регресії, чи є інші альтернативи / програми? Я думаю, …

9 hypothesis-testing  anova  median  quantiles  kruskal-wallis 

В основному метою кластеризації графіків та методів виявлення спільноти є обчислення кластерів. Чи є різниця між ними?

9 clustering 

Наскільки я розумію, ми не повинні дозволяти тому самому набору даних, який ми аналізуємо, для визначення / визначення того, як виглядають попередні розподіли в байєсівському аналізі. Зокрема, недоцільно визначати попередні розподіли для байєсівського аналізу на основі зведених статистичних даних із того ж набору даних, який ви збираєтесь використовувати пріори, щоб …

9 bayesian  prior