Статистика та великі дані

За яких обставин слід розглянути можливість використання методів регуляризації (регрес хребта, ласо або найменший кут) замість OLS? Якщо це допомагає керувати дискусією, головним моїм інтересом є підвищення точності прогнозування.

83 regression  least-squares  lasso  ridge-regression  fused-lasso 

Як різні методи перехресної валідації порівнюють з точки зору дисперсії моделі та зміщення? Моє запитання частково мотивоване цією темою: Оптимальна кількість складок у кратній перехресній валідації: чи завжди рейтинг резюме найкращий вибір? KKKК. Відповідь наводить на думку, що моделі, засвоєні з перехресною валідацією «відхід один-один», мають більшу дисперсію, ніж ті, …

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

Яка різниця між трьома наведеними нижче термінами? процентиль квантил четверо

83 descriptive-statistics  quantiles  median  percentage 

При вирішенні бізнес-проблем із використанням даних прийнято вважати, що принаймні одне ключове припущення про те, що класична статистика недостатку не є дійсною. Більшість часу ніхто не намагається перевірити ці припущення, щоб ви насправді ніколи не знали. Наприклад, що так багато загальних веб-метрик є "довгохвостими" (відносно звичайного розповсюдження), на сьогоднішній день …

82 model-selection  nonparametric  outliers  robust  philosophical 

Подивіться на цей графік Excel: Лінія «здорового глузду» найкраще підійде як майже вертикальна лінія прямо через центр точок (відредагована рукою червоним кольором). Однак лінійна лінія тренду, визначена Excel, є діагональною чорною лінією. Чому Excel створив щось, що (для людського ока) виявляється невірним? Як я можу створити найкраще підходящу лінію, яка …

82 regression  excel  intuition 

Функція активації tanh: tanh(x)=2⋅σ(2x)−1tanh(x)=2⋅σ(2x)−1tanh \left( x \right) = 2 \cdot \sigma \left( 2 x \right) - 1 Де , сигмоїдна функція, визначається як: .σ(x)σ(x)\sigma(x) σ(x)=ex1+exσ(x)=ex1+ex\sigma(x) = \frac{e^x}{1 + e^x} Запитання: Чи дійсно має значення між цими двома функціями активації (tanh vs. sigma)? Яка функція краще в яких випадках?

82 machine-learning  neural-networks  optimization  cost-maximization 

Я досить часто зустрічаю термін "рішення закритої форми". Що означає рішення закритої форми? Як можна визначити, чи існує розв’язання формальної форми для даної проблеми? Шукаючи в Інтернеті, я знайшов деяку інформацію, але нічого в контексті розробки статистичної чи ймовірнісної моделі / рішення. Я дуже добре розумію регресію, тому, якщо хтось …

82 regression  machine-learning  probability  terminology  stochastic-processes 

Я знаю, що це з коміксу, який відомий тим, що скористався певними аналітичними тенденціями , але насправді це виглядає обґрунтовано після кількох хвилин погляду. Чи може хтось окреслити для мене, що робить ця " модифікована теорема Байєса "?

81 bayesian  hierarchical-bayesian 

Цікаво, чи існує чітка різниця між так званими нульово-завищеними розподілами (моделями) та так званими розподілами перешкод-нуль (моделі)? У літературі такі терміни зустрічаються досить часто, і я підозрюю, що вони не однакові, але ви, будь ласка, поясніть мені різницю простими термінами?

81 zero-inflation 

Я шукаю нетехнічне визначення ласо і для чого він використовується.

81 regression  lasso  regularization  shrinkage 

Гаразд, тому я думаю, що у мене достатньо гідний зразок, враховуючи велике правило 20: 1: досить великий зразок (N = 374) для загальної кількості 7 змінних прогнозних прогнозів. Моя проблема полягає в наступному: який би набір змінних предиктора я не використовував, класифікації ніколи не стають кращими, ніж специфічність 100% та …

81 regression  logistic  sample-size  unbalanced-classes 

Який найчистіший і найпростіший спосіб пояснити комусь поняття дисперсії? Що це означає інтуїтивно? Якщо потрібно пояснити це своїй дитині, як би це зробити? Це поняття, яке у мене є складним у артикуляції, особливо коли стосуються відмінність від ризику. Я розумію це математично і можу це пояснити і так. Але коли …

81 distributions  variance  standard-deviation  inference  intuition 

Нещодавнє запитання про різницю між достовірністю та достовірними інтервалами змусило мене перечитати статтю Едвіна Джейнеса на цю тему: Jaynes, ET, 1976. «Інтервали довіри проти баєсовських інтервалів», в основах теорії ймовірностей, статистичних виводах та статистичних теоріях науки, В. Л. Харпер та Каліфорнія Хукер (ред.), Д. Райдель, Дордрехт, с. 175; ( pdf …

81 bayesian  confidence-interval 

Щодо p-значення s, мені цікаво, чому % та % здаються золотим стандартом . Чому б не інші значення, наприклад, % чи %?111555"statistical significance"666101010 Чи є в цьому фундаментальна математична причина, чи це просто широко поширена конвенція?

80 hypothesis-testing  statistical-significance  p-value  history 

Для інтервалу прогнозування в лінійній регресії ви все ще використовуєте для створення інтервалу. Ви також використовуєте це для створення довірчого інтервалу . Яка різниця між ними?Е[Y| x0]E^[Y|x]=β0^+β^1xE^[Y|x]=β0^+β^1x\hat{E}[Y|x] = \hat{\beta_0}+\hat{\beta}_{1}xE[Y|x0]E[Y|x0]E[Y|x_0]

80 regression  confidence-interval  predictive-models  prediction-interval