Статистика та великі дані

Я розумію, що ми повинні використовувати ARIMA для моделювання нестаціонарних часових рядів. Крім того, усе, що я читаю, говорить, що ARMA слід використовувати лише для стаціонарних часових рядів. Що я намагаюся зрозуміти, це те, що відбувається на практиці, коли неправильно класифікують модель та припускають, d = 0що це нестаціонарний часовий …

23 r  time-series  arima  stationarity 

Минулого тижня я відвідав засідання Товариства особистісної та соціальної психології, де побачив розмову Урі Сімонсона з припущенням, що використання апріорного аналізу потужності для визначення розміру вибірки по суті марно, оскільки її результати настільки чутливі до припущень. Звичайно, це твердження суперечить тому, що мене навчали на уроці моїх методів, і проти …

23 hypothesis-testing  power-analysis  effect-size  power  methodology 

Я знайшов можливі суперечливі визначення для статистики перехресної перевірки (CV) та для статистики узагальненої перехресної валідації (GCV), пов'язаної з лінійною моделлю (з нормальним вектором помилок гомоскедастичної помилки \ boldsymbol \ varepsilon ).εY=Xβ+εY=Xβ+εY = X\boldsymbol\beta + \boldsymbol\varepsilonεε\boldsymbol\varepsilon З одного боку, Голуб, Хіт і Вахба визначають оцінку GCV λ^λ^\hat{\lambda} як (стор. 216) …

23 cross-validation 

Я використовую класифікацію дерева рішень за допомогою SPSS для набору даних, що містить близько 20 прогнокторів (категоричний з кількома категоріями). CHAID (Chi-квадрат автоматичного виявлення взаємодії) та CRT / CART (дерева класифікації та регресії) дають мені різні дерева. Чи може хтось пояснити відносні достоїнства CHAID проти CRT? Які наслідки використання одного …

23 spss  cart 

Я раз і знову відкидав або не зміг відхилити нульову гіпотезу. Якщо ви не відхилили випадок, ви робите висновок про відсутність достатніх доказів для відхилення, і ви "рухаєтесь далі" (тобто збираєте більше даних, закінчуєте експеримент тощо) Але коли ви "так" відкидаєте нульову гіпотезу, надаючи деякі докази альтернативної гіпотези, ви не …

23 hypothesis-testing 

Я працюю над проектом, де хочу отримати деяку інформацію про зміст серії відкритих нарисів. У цьому конкретному проекті 148 осіб написали нариси про гіпотетичну студентську організацію як частину більшого експерименту. Хоча в моїй галузі (соціальна психологія) типовим способом аналізу цих даних було б кодування есе вручну, я б хотів це …

23 machine-learning  model-selection  small-sample  topic-models  dirichlet-process 

Мені цікаво, чи існують якісь методи для розрахунку розміру вибірки в змішаних моделях? Я використовую lmerв R, щоб відповідати моделям (у мене є випадкові нахили та перехоплення).

23 r  mixed-model  lme4-nlme  power-analysis 

Я натрапив на дослідження, в якому пацієнти, яким було понад 50 років, були псевдовипадковими у рік народження. Якщо рік народження був парним числом, звичайний догляд, якщо непарне число, втручання. Це легше здійснити, важче підривати (легко перевірити, яке лікування мав би отримати пацієнт), легко запам’ятати (завдання тривало кілька років). Але все-таки …

23 experiment-design  clinical-trials  random-allocation 

Використовуючи t-розподіл студента з градусів свободи, параметр розташування та параметр шкали має щільністьl sk>0к>0k > 0lлlsсs Γ(k+12)Γ(k2kπs2−−−−√){1+k−1(x−ls)}−(k+1)/2,Γ(к+12)Γ(к2кπс2){1+к-1(х-лс)}-(к+1)/2,\frac{\Gamma \left(\frac{k+1}{2}\right)}{\Gamma\left(\frac{k}{2}\sqrt{k \pi s^2}\right)} \left\{ 1 + k^{-1}\left( \frac{x-l}{s}\right)\right\}^{-(k+1)/2}, як показати, що розподіл Стьюдента може бути записаний як суміш гауссових розподілів, пропустивши , та інтегруючи щільність суглоба щоб отримати граничну щільність ? Які параметри …

23 distributions  mixture 

Я думаю, що одним із основних припущень машинного навчання чи оцінки параметрів є те, що небачені дані надходять із того ж розподілу, що і навчальний набір. Однак у деяких практичних випадках розподіл тестового набору майже не відрізнятиметься від навчального набору. Скажіть про масштабну проблему багатокласифікації, яка намагається класифікувати описи товарів …

23 machine-learning  classification  skewness  unbalanced-classes  multi-class 

Я хотів задати питання, натхнене відмінною відповіддю на запит про інтуїцію бета-розподілу. Я хотів краще зрозуміти деривацію для попереднього розподілу середнього середнього. Схоже, Девід резервує параметри від середнього та діапазону. За припущенням, що середнє значення а стандартне відхилення , чи можете ви відмовитись від і , розв’язавши ці два рівняння: …

23 bayesian  prior 

Заблокований . Це питання та його відповіді заблоковано, оскільки це питання поза темою, але має історичне значення. Наразі не приймає нових відповідей чи взаємодій. Я бачив цей сюжет у додатку до недавнього документу, і мені б хотілося, щоб можна було його відтворити за допомогою R. Це розсіювач, але для виправлення …

23 r  data-visualization  scatterplot 

Я зараз читаю "Прогулянку п'янички" і не можу зрозуміти одну історію з неї. Ось це іде: Уявіть, що Джордж Лукас робить новий фільм «Зоряні війни» і на одному тестовому ринку вирішує здійснити шалений експеримент. Він випускає ідентичний фільм під двома назвами: "Зоряні війни: Епізод А" та "Зоряні війни: Епізод В". …

23 probability  bernoulli-distribution 

Яка смислова різниця між середньою квадратичною помилкою (MSE) та середньою помилкою прогнозування у квадраті (MSPE)?

23 regression  estimation  interpretation  error  prediction 

Нещодавно виникло питання, схоже на ML, щодо зміни обстановки стекерів, і я опублікував відповідь, рекомендуючи метод Пауелла, градієнтне походження, генетичні алгоритми чи інші "алгоритми наближення". У коментарі хтось сказав мені, що ці методи були "евристикою", а не "алгоритмами наближення" і часто не наближалися до теоретичного оптимуму (оскільки вони "часто застрягають …

23 machine-learning  optimization  approximation