Статистика та великі дані

Я досить новачок у статистиці (жменька курсів Uni для початківців) і цікавився вибіркою з невідомих дистрибутивів. Зокрема, якщо ви не маєте поняття про базовий розподіл, чи є якийсь спосіб «гарантувати» отримання репрезентативного зразка? Приклад для ілюстрації: скажіть, ви намагаєтеся з’ясувати глобальний розподіл багатства. Для будь-якої окремої людини можна якось дізнатися …

9 distributions  estimation  sampling  sample-size  algorithms 

Я маю зразок (розмір 250) з популяції. Я не знаю розподілу населення. Головне питання: я хочу бальну оцінку 1- го відсотка населення, а потім я хочу 95% -ний інтервал довіри навколо моєї точкової оцінки. Моєю бальною оцінкою буде зразок 1- го відсотка. Я позначаю це .xxx Після цього я намагаюся …

9 confidence-interval  bootstrap  quantiles  extreme-value 

Розглянемо наступний код R: > data <- data.frame( a=c(NA,2,3,4,5,6),b=c(2.2,NA,6.1,8.3,10.2,12.13),c=c(4.2,7.9,NA,16.1,19.9,23)) > data a b c 1 NA 2.20 4.2 2 2 NA 7.9 3 3 6.10 NA 4 4 8.30 16.1 5 5 10.20 19.9 6 6 12.13 23.0 Як ви бачите, я склав ці дані так приблизно c = 2*b …

9 r  data-imputation  multiple-imputation 

Закрито . Це питання ґрунтується на думці . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб на нього можна було відповісти фактами та цитатами, відредагувавши цю публікацію . Закрито 5 років тому . Я нещодавно випускник свого університету, і ступінь бакалавра зі статистики. Мені дуже подобається статистика, …

9 careers 

Мені з інших публікацій стало зрозуміло, що не можна віднести «важливість» чи «значущість» змінним прогнозувача, які входять в модель ласо, тому що обчислення р-значень цих змінних або стандартних відхилень все ще триває. Згідно з цим міркуванням, чи правильно стверджувати, що один НЕ МОЖЕ говорити, що змінні, які були виключені з …

9 statistical-significance  bootstrap  simulation  lasso  regression-strategies 

Нижче наведено графік із с. 202 з Dataclysm Крістіана Руддера , хоча його зробив Джеймс Дауделл. Він ілюструє взаємозв'язки між різними топ-200 підкредитами, які є цікавими на reddit.com, де користувачі можуть надсилати посилання, коментарі та голоси. Вони схожі на теги на цьому сайті. Розміри областей субредагування представляють їхню популярність. Підредакти …

9 clustering  data-visualization 

Як обчислити відповідний попередній час, якщо у вас є помилка вимірювання приладу? Цей параграф є з книги Крессі "Статистика просторово-часових даних": Часто трапляється, що є якась попередня інформація щодо дисперсії помилок вимірювань, що дозволяє задавати досить інформативну модель параметрів. Наприклад, якщо ми припускаємо умовно незалежні помилки вимірювання, які є iid …

9 bayesian  standard-error  error  prior  measurement-error 

Це питання може бути німим, але я помітив, що є дві різні форми регресії Лассо . Ми знаємо, що проблема Лассо полягає в тому, щоб мінімізувати мету, що складається з квадратної втрати плюс штрафний термін -1, виражений таким чином, LLLminβ∥y−Xβ∥22+λ∥β∥1minβ‖y−Xβ‖22+λ‖β‖1 \min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \; Але …

9 lasso 

З "По всій вірогідності: статистичне моделювання та умовивід з використанням ймовірності" Ю. Павітана, ймовірність повторної параметризації визначається як так що якщо g один-до-одного, то L ^ * (\ psi) = L (g ^ {- 1} (\ psi)) (стор. 45). Я намагаюся показати вправу 2.20, в якій сказано, що якщо \ …

9 mathematical-statistics  inference  likelihood  fisher-information 

У мене було домашнє завдання висловити негативний біноміальний розподіл як експоненціальне сімейство розподілів, враховуючи, що параметр дисперсії був відомою постійною. Це було досить просто, але я задумався, чому вони вимагають, щоб ми тримали цей параметр фіксованим. Я виявив, що не можу придумати спосіб встановити його у правильній формі, незважаючи два …

9 self-study  mathematical-statistics  negative-binomial  proof  exponential-family 

Скажімо, у мене в мішку N куль. На своєму першому розіграші я відзначаю м'яч і замінюю його в мішку. На другому розіграші, якщо я беру позначений кулю, повертаю його в сумку. Якщо, однак, я беру не помічений кулю, то відзначаю його і повертаю в сумку. Я продовжую це для будь-якої …

9 probability  estimation  population  combinatorics  capture-mark-recapture 

Я хочу запустити регресію з 4 до 5 пояснювальних змінних, але у мене є лише 15 спостережень. Не маючи можливості припустити, що ці змінні зазвичай розподілені, чи існує непараметричний чи будь-який інший дійсний метод регресії?

9 regression  small-sample 

Я новачок у аналізі виживання, хоча маю певні знання щодо класифікації та регресії. Для регресії ми маємо статистику MSE та R квадрат. Але як можна сказати, що модель виживання A перевершує модель виживання B, крім деяких графічних графіків (крива КМ)? Якщо можливо, поясніть різницю прикладом (наприклад, пакет rpart в R). …

9 regression  survival  goodness-of-fit  cart  rpart 

Я регулярно використовую тести на перестановку і люблю їх простоту. Я найбільше дізнався з книги "Методи перестановки" Good, в якій автор здається досить креативним у виборі статистики тестів на всіх прикладах. Також цей пост створює враження, що існує велика свобода вибору тестової статистики. Мені цікаво, чи є теоретичні вимоги, якими …

9 hypothesis-testing  permutation-test 

Мій друг статистики розповів мені про цікаву методику, яка використовувалась для отримання чесних відповідей на опитування, які стосувались чутливих питань. Я пригадую загальну суть методу, але мені цікаво, чи хтось знає деталі та чи на нього десь посилаються. Історія полягала в тому, що Флорида AMA хотіла оцінити вживання наркотиків серед …

9 categorical-data  survey