Статистика та великі дані

Я думаю, що це захоплююча тема, і я її не повністю розумію. Який закон фізики робить так, що стільки природних явищ мають нормальне поширення? Більш інтуїтивно здавалося б, що вони мали б рівномірний розподіл. Мені так важко це зрозуміти, і я відчуваю, що мені не вистачає інформації. Чи може хтось …

29 distributions  normal-distribution  normality-assumption  uniform 

Офіційно виводячи довірчий інтервал оцінки, я закінчив формулу, яка дуже нагадує спосіб обчислення -значення.ppp Таким чином, питання: чи формально вони рівноцінні? Тобто відхиляє гіпотези з критичним значенням еквівалентним не належить довірчому інтервалу з критичним значенням ?H0=0H0=0H_0 = 0αα\alpha000αα\alpha

29 hypothesis-testing  confidence-interval  p-value 

Припустимо, у нас є випадкова величина . Якщо були істинним параметром, функцію вірогідності слід максимізувати, а похідну дорівнює нулю. Це основний принцип, що стоїть за оцінкою максимальної ймовірності.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Як я розумію, інформація про Фішера визначається як I(θ)=E[(∂∂θf(X|θ))2]I(θ)=E[(∂∂θf(X|θ))2]I(\theta) = \Bbb E \Bigg[\left(\frac{\partial}{\partial \theta}f(X|\theta)\right)^2\Bigg ] Таким чином, якщо - істинний …

29 bayesian  maximum-likelihood  likelihood  intuition  fisher-information 

Вступ до графічних моделей характеризує їх як "... шлюб між теорією графа та теорією ймовірностей". Я отримую частину теорії ймовірностей, але у мене виникають проблеми з розумінням того, куди саме підходить теорія графів. Які розуміння теорії графів допомогли поглибити наше розуміння розподілу ймовірностей та прийняття рішень у невизначеності? Я шукаю …

29 graphical-model  graph-theory  distributions 

З одного боку, у мене середній регрес, а з іншого - помилковість гравця . Помилковість Гамблера визначається Міллером і Санджурьо (2019) як "помилкова віра в те, що випадкові послідовності мають систематичну тенденцію до розвороту. Час підряд вважатиметься непропорційно ймовірним, що впаде хвости на наступному випробуванні. Я мав гарну результативність в …

29 regression  mean  fallacy  gambling 

Я хотів провести демонстрацію класу, де я порівнюю t-інтервал з інтервалом завантаження і обчислив вірогідність покриття обох. Я хотів, щоб дані надходили з перекошеного розподілу, тому я вирішив генерувати дані як exp(rnorm(10, 0, 2)) + 1зразок розміром 10 із зрушеної лонормальної. Я написав сценарій, щоб намалювати 1000 зразків і, для …

29 bootstrap  diagnostic 

Нещодавно вивчивши завантажувальний тренажер, я придумав концептуальне питання, яке все ще мене спантеличує: У вас населення, і ви хочете знати атрибут популяції, тобто , де я використовую для представлення населення. Наприклад, ця може бути середньою кількістю населення. Зазвичай ви не можете отримати всі дані від населення. Отже, ви намалюєте зразок …

29 bootstrap  simulation  resampling 

У мене експериментально спостерігається розподіл, який дуже схожий на гамма або лонормальне розподіл. Я читав, що лонормальний розподіл - це максимальний розподіл ймовірності ентропії для випадкової величини для якої фіксовано середнє значення та дисперсію . Чи має розподіл гамми подібні властивості?XXXln(X)ln⁡(X)\ln(X)

29 pdf  gamma-distribution  lognormal 

Я трохи плутаю різницю між SVM та перцептроном. Дозвольте спробувати узагальнити своє розуміння тут, і, будь ласка, не соромтесь виправити, де я помиляюся, і заповнити те, що я пропустив. Perceptron не намагається оптимізувати роздільну "відстань". Поки він знаходить гіперплан, який розділяє два набори, це добре. SVM, з іншого боку, намагається …

29 machine-learning  svm  kernel-trick 

Я хотів би використовувати GLM та Elastic Net для вибору відповідних функцій + побудувати лінійну регресійну модель (тобто як прогнозування, так і розуміння, тому краще було б залишитись із відносно малою кількістю параметрів). Вихід безперервний. Це генів на 50 випадків. Я читав про пакет, але не впевнений на 100% в …

29 r  regularization  glmnet  elastic-net  underdetermined 

Коли ви прогнозуєте відповідне значення з логістичної регресійної моделі, як обчислюються стандартні помилки? Я маю на увазі для пристосованих значень , а не для коефіцієнтів (що включає інформаційну матрицю Фішера). Я дізнався лише, як отримати числа за допомогою R(наприклад, тут на r-help або тут на переповнення стека), але не можу …

29 r  regression  logistic  mathematical-statistics  references 

Чи можливо односторонній (з групами або "рівнями") ANOVA повідомити про істотну різницю, коли жоден з парних t-тестів не робить?N> 2N>2N>2N( N- 1 ) / 2N(N-1)/2N(N-1)/2 У цій відповіді @whuber написав: Добре відомо, що глобальний тест ANOVA F може виявити різницю засобів навіть у тих випадках, коли жоден індивідуальний [невідрегульований парний] …

29 statistical-significance  anova  t-test  post-hoc 

Я трохи заплутаний щодо площі під кривою (AUC) ROC та загальної точності. Чи буде AUC пропорційним загальній точності? Іншими словами, коли ми маємо більшу загальну точність, ми обов'язково отримаємо більший AUC? Або вони за визначенням позитивно співвідносяться? Якщо вони позитивно співвідносяться, чому ми турбуємося про те, щоб вони повідомляли їх …

29 classification  roc 

Мої функції "кожен вимір має різний діапазон значення. Хочу знати, чи важливо нормалізувати цей набір даних.

29 machine-learning  svm  random-forest  normalization 

Я раніше мав справу з класифікатором Naive Bayes . Я читав про багаточленних наївних байесах останнім часом. Також задня ймовірність = (попередня * ймовірність) / (докази) . Єдина головна різниця (програмуючи ці класифікатори), яку я виявив між Naive Bayes та Multinomial Naive Bayes, полягає в тому, що Мультиноміальний Naive Bayes …

29 bayesian  classification  text-mining  naive-bayes