Статистика та великі дані

Skellam Розподіл описує різницю між двома змінними , які мають розподіл Пуассона. Чи існує подібний розподіл, який описує різницю між змінними, які слідують за негативними біноміальними розподілами? Мої дані виробляються методом Пуассона, але містять неабияку кількість шуму, що призводить до надмірної дисперсії в розповсюдженні. Таким чином, моделювання даних з негативним …

18 distributions  modeling  poisson-distribution  negative-binomial  skellam 

Я сподіваюся, що хтось може допомогти виправити для мене точку плутанини. Скажіть, я хочу перевірити, чи значно відрізняються два набори коефіцієнтів регресії один від одного, встановивши наступне: yi=α+βxi+ϵiyi=α+βxi+ϵiy_i = \alpha + \beta x_i + \epsilon_i , з 5 незалежними змінними. 2 групи з приблизно однаковими розмірами n1,n2n1,n2n_1, n_2 (хоча це …

18 regression  hypothesis-testing  multiple-regression 

В χ2χ2\chi^2 тестуванні, що основа для використання квадратного кореня з очікуваних відліків як стандартні відхилення (тобто очікуваних відліків в відхиленнях) кожен з нормальних розподілів? Єдине, про що я міг би взагалі обговорити це, це http://www.physics.csbsju.edu/stats/chi-square.html , і він просто згадує про розповсюдження Пуассона. Як просту ілюстрацію моєї плутанини, що робити, …

18 hypothesis-testing  chi-squared 

Припустимо, у мене є два множини XXX і і спільний розподіл ймовірностей над цими множинами . Нехай і позначають граничні розподіли по і відповідно.YYYp(x,y)p(x,y)p(x,y)p(x)p(x)p(x)p(y)p(y)p(y)XXXYYY Взаємна інформація між і визначається як: XXXYYYI(X;Y)=∑x,yp(x,y)⋅log(p(x,y)p(x)p(y))I(X;Y)=∑x,yp(x,y)⋅log⁡(p(x,y)p(x)p(y))I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right) тобто це середнє значення точкової взаємної інформації pmi .(x,y)≡log(p(x,y)p(x)p(y))(x,y)≡log⁡(p(x,y)p(x)p(y))(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right) Припустимо, я знаю верхню та …

18 entropy  mutual-information  information-theory 

У мене є 5 змінних, і я намагаюся передбачити свою цільову змінну, яка повинна бути в межах від 0 до 70. Як я можу використовувати цю інформацію для кращого моделювання своєї цілі?

18 regression  bounds 

Фон У мене є змінна з невідомим розподілом. У мене є 500 зразків, але я хотів би продемонструвати точність, з якою я можу обчислити дисперсію, наприклад, стверджувати, що розмір вибірки 500 достатній. Мені також цікаво знати мінімальний розмір вибірки, який би знадобився для оцінки дисперсії з точністю .X%X%X\% Запитання Як …

18 estimation  random-variable  variance  sampling  sample-size 

У мене виникає питання щодо обчислення коефіцієнта усадки Джеймса-Штейна в науковому американському документі Бредлі Ефрона та Карла Морріса 1977 року, "Парадокс Штейна в статистиці" . Я зібрав дані для бейсболістів, і вони наведені нижче: Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 Berry, …

18 estimation  shrinkage  steins-phenomenon 

Чи має цей тип діаграми назву? Що ще важливіше, чи є бібліотека візуалізації, яку я можу використовувати для її створення? http://www.nytimes.com/interactive/2007/12/15/us/politics/DEBATE.html

18 data-visualization 

Наразі я використовую навчання Вітербі для проблеми сегментації зображень. Мені хотілося знати, які переваги / недоліки полягає у використанні алгоритму Баума-Велча замість навчання Вітербі.

18 machine-learning  hidden-markov-model  image-processing  viterbi-algorithm  baum-welch 

Я зіткнувся з деякими статистиками, які ніколи не використовують для прогнозування інші моделі, окрім лінійної регресії, оскільки вони вважають, що "моделі ML", такі як випадкове збільшення лісу або градієнта, важко пояснити або "не інтерпретувати". У лінійній регресії, враховуючи, що набір припущень перевірено (нормальність помилок, гомоскедастичність, відсутність мультиколінеарності), t-тести забезпечують спосіб …

18 regression  machine-learning  multiple-regression  model-interpretation 

Моє розуміння алгоритму таке: Ніякий пробовідбірник (NUTS) - це гамільтонівський метод Монте-Карло. Це означає, що це не метод Маркова ланцюга, і, таким чином, цей алгоритм дозволяє уникнути випадкової частини прогулянки, яку часто вважають неефективною і повільною для сходження. Замість того, щоб робити випадкову ходьбу, NUTS робить стрибки довжиною x. Кожен …

18 bayesian  monte-carlo  markov-process 

Я знаю про переваги регуляризації при побудові прогнозних моделей (зміщення проти дисперсійності, запобігання надмірного розміщення). Але мені цікаво, чи гарна ідея також робити регуляризацію (ласо, хребет, еластична сітка), коли основною метою регресійної моделі є висновок про коефіцієнти (бачити, які прогноктори є статистично значущими). Я хотів би почути думки людей, а …

18 inference  lasso  ridge-regression  elastic-net  selectiveinference 

Це мій кадр даних: Group <- c("G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G1","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G2","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3","G3") Subject <- c("S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15","S1","S2","S3","S4","S5","S6","S7","S8","S9","S10","S11","S12","S13","S14","S15") Value <- c(9.832217741,13.62390117,13.19671612,14.68552076,9.26683366,11.67886655,14.65083473,12.20969772,11.58494621,13.58474896,12.49053635,10.28208078,12.21945867,12.58276212,15.42648969,9.466436017,11.46582655,10.78725485,10.66159358,10.86701127,12.97863424,12.85276916,8.672953949,10.44587257,13.62135205,13.64038394,12.45778874,8.655142642,10.65925259,13.18336949,11.96595556,13.5552118,11.8337142,14.01763101,11.37502161,14.14801305,13.21640866,9.141392359,11.65848845,14.20350364,14.1829714,11.26202565,11.98431285,13.77216009,11.57303893) data <- data.frame(Group, Subject, Value) Потім я запускаю лінійно-змішану модель ефектів, щоб порівняти різницю 3 груп на "Значення", де "Тема" є випадковим фактором: library(lme4) library(lmerTest) model <- lmer (Value~Group + (1|Subject), data = data) summary(model) Результати: Fixed …

18 r  lme4-nlme  post-hoc 

Яка часова складність алгоритму k -NN з наївно-підхідним пошуком (без kd дерева чи аналогів)? Мене цікавить її часова складність, враховуючи також гіперпараметр k . Я знайшов суперечливі відповіді: O (nd + kn), де n - простота навчального набору і d - розмірність кожного зразка. [1] O (ndk), де знову n …

18 k-nearest-neighbour  time-complexity 

Я думаю, що це основне питання, і це стосується напрямку самого градієнта, але я шукаю приклади, коли методи 2-го порядку (наприклад, BFGS ) ефективніші, ніж простий градієнт.

18 optimization