Статистика та великі дані

Я розумію, що ми можемо використовувати регуляризацію в регресії як мінімум квадратів w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw⁡[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) + \lambda\|\boldsymbol{w}\|^2 \right] і що ця проблема має рішення закритої форми як: w^=(XTX+λI)−1XTy.w^=(XTX+λI)−1XTy.\hat{\boldsymbol{w}} = (\boldsymbol{X}^T\boldsymbol{X}+\lambda\boldsymbol{I})^{-1}\boldsymbol{X}^T\boldsymbol{y}. Ми бачимо, що у другому рівнянні регуляризація просто додає λλ\lambda до діагоналі XTXXTX\boldsymbol{X}^T\boldsymbol{X} , що робиться для …

10 regression  regularization  ridge-regression  overfitting  matrix-inverse 

Алгоритм SVM досить старий - він був розроблений у 1960-х, але був надзвичайно популярним у 1990-х та 2000-х роках. Це класична (і досить гарна) частина курсів машинного навчання. Сьогодні здається, що в обробці медіа (зображення, звук тощо) нейронні мережі повністю домінують, тоді як в інших сферах Gradient Boosting займає дуже …

10 machine-learning  svm 

Чи може хтось, будь ласка, надати просте (непрофесійне) пояснення взаємозв'язку між розподілами Парето та теоремою центрального обмеження (наприклад, чи застосовується це? Чому / чому ні?)? Я намагаюся зрозуміти таке твердження: "Теорема центрального ліміту не працює з кожним розподілом. Це пов'язано з одним підлим фактом - засоби вибірки об'єднуються навколо середнього …

10 variance  central-limit-theorem  intuition  pareto-distribution  fat-tails 

Я роблю аналіз Matlab на даних МРТ, де я провів PCA на матриці розміром 10304x236, де 10304 - кількість вокселів (вважайте їх пікселями), а 236 - кількість часових точок. PCA дає мені 236 власних значень та пов'язаних з ними коефіцієнтів. Це все добре. Однак, коли настав час вирішити, скільки компонентів …

10 pca  eigenvalues  neuroimaging 

Я вивчаю дискримінантний аналіз, але мені важко узгодити кілька різних пояснень. Я вважаю, що мені щось треба бракувати, тому що я ніколи раніше не стикався з цим (здавалося б) рівнем розбіжності. Незважаючи на це, кількість запитань щодо дискримінаційного аналізу на цьому веб-сайті здається свідченням його складності. LDA та QDA для …

10 multivariate-analysis  discriminant-analysis 

У мене є такий дискретний розподіл, де відомі постійні:α,βα,β\alpha,\beta p ( x ; α , β) =Бета ( α + 1 , β+ х )Бета ( α , β)для x = 0 , 1 , 2 , …p(x;α,β)=Beta(α+1,β+x)Beta(α,β)for x=0,1,2,… p(x;\alpha,\beta) = \frac{\text{Beta}(\alpha+1, \beta+x)}{\text{Beta}(\alpha,\beta)} \;\;\;\;\text{for } x = 0,1,2,\dots Які існують …

10 sampling  mcmc  computational-statistics  importance-sampling  rejection-sampling 

Завантажте необхідний пакет. library(ggplot2) library(MASS) Створіть 10 000 чисел, пристосованих до розподілу гами. x <- round(rgamma(100000,shape = 2,rate = 0.2),1) x <- x[which(x>0)] Намалюйте функцію густини ймовірностей, припускаючи, що ми не знаємо, до якого розподілу x підходив. t1 <- as.data.frame(table(x)) names(t1) <- c("x","y") t1 <- transform(t1,x=as.numeric(as.character(x))) t1$y <- t1$y/sum(t1[,2]) ggplot() …

10 r  mathematical-statistics  goodness-of-fit  gamma-distribution  ggplot2 

Я завжди трохи здивований, коли бачу психологічні рекламні оголошення щодо участі в експериментальних дослідженнях. Напевно, люди, які відповідають на ці оголошення, не є вибірковою вибіркою і тому є самовибраним населенням. Оскільки відомо, що рандомізація вирішує задачу самовибору, мені було цікаво, чи випадкова вибірка невипадкової вибірки насправді щось змінила. Як ти …

10 sampling  psychology  random-allocation 

Я хочу навчитися ANOVA. Перш ніж я почати вивчати, як працює алгоритм (які обчислення потрібно робити) і чому він працює, я спершу хотів би дізнатися, яку проблему ми насправді вирішуємо за допомогою ANOVA, або на яку відповідь ми намагаємось відповісти. Іншими словами: Що таке вхід і що є результатом алгоритму? …

10 anova 

У моїх лекційних записках написано: t-розподіл виглядає нормально, хоча і з трохи важчими хвостами. Я розумію, чому це виглядало б нормально (через теорему про центральний межа). Але мені важко зрозуміти, як математично довести, що у нього важчі хвости, ніж у звичайного розподілу, і чи є спосіб виміряти, наскільки це важче, …

10 normal-distribution  t-distribution  heavy-tailed 

Я намагаюся зрозуміти архітектуру RNN. Я знайшов цей підручник, який був дуже корисним: http://colah.github.io/posts/2015-08-U Understanding-LSTMs/ Особливо це зображення: Як це вписується у мережу передачі даних? Це зображення лише черговий вузол у кожному шарі?

10 neural-networks  lstm 

Я хочу оцінити співвідношення між двома змінними, A і B, використовуючи взаємну інформацію. Спосіб її обчислення - це бінінг спостережень (див. Приклад Python-коду нижче). Однак які фактори визначають, яка кількість бункерів є розумною? Мені потрібно, щоб обчислення були швидкими, тому я не можу просто використовувати багато бункерів, щоб бути на …

10 information-theory  mutual-information  binning 

Контекст Я намагаюся зрозуміти, як coxph () приймає та обробляє повторні записи для предметів (або пацієнта / замовника, якщо вам зручніше). Одні називають цей формат Лонг, інші називають це «повторними заходами». Дивіться, наприклад, набір даних, що включає стовпчик ідентифікатора в розділі Відповіді за адресою: Найкращі пакети для моделей Cox з …

10 r  repeated-measures  survival  cox-model  frailty 

У мене є 1-D випадкова величина, яка надзвичайно перекошена. Для нормалізації цього розподілу я хочу використовувати медіану, а не середню. моє запитання таке: чи можу я обчислити дисперсію розподілу за допомогою медіани у формулі замість середнього? тобто можу я замінити V a r (X) = ∑ [ (Хi- м е …

10 variance  mean  median 

Які ваші думки щодо використання регресії для проектування поза діапазоном даних? Якщо ми впевнені, що вона відповідає лінійній або силовій моделі моделі, чи не могла вона бути корисною поза діапазоном даних? Наприклад, у мене є обсяг, керований ціною. Ми повинні мати можливість проектувати ціни за межами діапазону даних, на який …

10 regression  dataset  linear-model