Статистика та великі дані

Коли я читаю про те, як налаштувати ваші дані, одне, що мені часто траплялося, - це те, що перетворення деяких безперервних даних у категоричні дані не є хорошою ідеєю, оскільки ви дуже добре можете зробити неправильний висновок, якщо пороги погано визначені. Однак на даний момент у мене є деякі дані …

14 categorical-data  continuous-data 

Часто буває так, що довірчий інтервал з покриттям 95% дуже схожий на достовірний інтервал, який містить 95% задньої щільності. Це відбувається, коли попередній є рівномірним або майже однорідним в останньому випадку. Таким чином, довірчий інтервал часто можна використовувати для наближення достовірного інтервалу і навпаки. Важливо, що з цього можна зробити …

14 bayesian  confidence-interval  frequentist  credible-interval 

Це визначення статистики у wikipedia Більш формально, статистична теорія визначає статистику як функцію вибірки, де сама функція не залежить від розподілу вибірки; тобто функцію можна заявити перед реалізацією даних. Термін статистика використовується як для функції, так і для значення функції на даному вибірці. Я думаю, що я розумію більшість цього …

14 mathematical-statistics  definition 

Я помічаю в статистиці / методах машинного навчання, розподіл часто наближається до Гаусса, а потім Гаусса використовується для вибірки. Вони починаються з обчислення перших двох моментів розподілу, і використовують їх для оцінки μμ\mu і σ2σ2\sigma^2 . Тоді вони можуть взяти зразок у того гаусса. Мені здається, чим більше моментів я …

14 probability  sampling  moments 

Чи розподіл Коші якось є "непередбачуваним" розподілом? Я намагався робити cs <- function(n) { return(rcauchy(n,0,1)) } в R для безлічі n значень і помітили, що вони час від часу генерують досить непередбачувані значення. Порівняйте це з напр as <- function(n) { return(rnorm(n,0,1)) } що завжди видає "компактну" хмару точок. За …

14 distributions  intuition  cauchy 

Питання Якщо X 1 , ⋯ , X n ∼ N ( μ , 1 )X1,⋯,Xn∼N(μ,1)X_1,\cdots,X_n \sim \mathcal{N}(\mu, 1) - IID, то обчисліть E ( X 1 ∣ T )E(X1∣T)\mathbb{E}\left( X_1 \mid T \right) , де T = ∑ i X iT=∑iXiT = \sum_i X_i . Спроба . Перевірте, чи …

14 probability  self-study  mathematical-statistics  conditional-probability  conditional-expectation 

У мене є деякі дані, які відповідають приблизно лінійній лінії: Коли я роблю лінійну регресію цих значень, я отримую лінійне рівняння: у= 0,997 х - 0,0136у=0,997х-0,0136y = 0.997x-0.0136 В ідеальному світі рівняння повинно бути .у= ху=хy = x Ясна річ, мої лінійні значення близькі до ідеального, але не зовсім. Моє …

14 regression  hypothesis-testing  statistical-significance 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Це широко коментується в жовтій і не настільки жовтій пресі, що Сімпсони (телесеріал) не раз прогнозували майбутнє. Вичерпні онлайн-статті про це є …

14 statistics-in-media 

Оскільки алгоритм дерева рішень розділяється на атрибут на кожному кроці, максимальна глибина дерева рішень дорівнює кількості атрибутів даних. Це правильно?

14 classification  cart 

Щодо прискорення алгоритмів, я б сказав, що вони розвивалися досить добре. На початку 1995 року була представлена ​​AdaBoost, потім через деякий час це була градієнтна машина для підсилення (GBM). Нещодавно, близько 2015 року, було представлено XGBoost, який є точним, справляється з оснащенням і став переможцем кількох змагань Kaggle. У 2017 …

14 random-forest  boosting  bagging 

Розглянемо наступні твердження про Титанік: Припущення 1: На кораблі були лише чоловіки та жінки Припущення 2: Була велика кількість чоловіків, а також жінок Заява 1: 90 відсотків усіх жінок вижили Заява 2: 90 відсотків усіх, хто вижив, були жінками Перший вказує на те, що врятування жінок, ймовірно, було пріоритетним (незалежно …

14 conditional-probability  descriptive-statistics  reporting 

Я аспірант зі статистики і як такий брав участь у парі співпраці з прикладними вченими (економістами, лісниками,…). Ці співпраці - це забава (більшість часу), і я багато вчиться, але є і деякі ускладнення, наприклад: Іноді мій погляд на те, що є хорошою статистичною моделлю, відрізняється від досвіду моїх співробітників та …

14 references 

Література поглибленого вивчення повна розумних хитрощів із використанням непостійних темпів навчання в градієнтному узвозі. Такі речі, як експоненціальний розпад, RMSprop, Adagrad тощо, легко здійснити і доступні у кожному глибокому навчальному пакеті, проте вони, як видається, не існують поза нейронних мереж. Чи є для цього причина? Якщо люди просто не хвилюються, …

14 machine-learning  deep-learning  optimization  gradient-descent 

Я вагаюся, чи запитувати це тут у статистиці StackExchange або в мовознавстві / англійській мові, але я вважаю, що тут може бути більше користувачів, які не сприймають мови, ніж користувачів, які користуються статистикою на іншому форумі;) Я часто читаю доповіді, в яких згадується про кореляцію як дієслово в активному голосі, …

14 correlation  terminology 

Закрито . Це питання має бути більш зосередженим . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно зосередило увагу на одній проблемі, лише відредагувавши цю публікацію . Закрито 2 роки тому . Зараз я переглядаю магістерську програму, зосереджену на статистиці / економетриці. У мого майстра всі …

14 machine-learning  forecasting  predictive-models  prediction  out-of-sample