Статистика та великі дані

Наприклад, при регресії, наприклад, обирати два гіперпараметри - це частота функції (наприклад, найбільший показник многочлена) та величина регуляризації. Що мене бентежить, це чому просто не вибрати функцію низької ємності, а потім ігнорувати будь-яку регуляризацію? Таким чином, це не буде надмірно. Якщо у мене є функція високої ємності разом з регуляризацією, …

32 regression  machine-learning  optimization  regularization  polynomial 

Я часто бачу як написання "гетероскедастичний" і "гетероскедастичний", так само і "гомоскедастичний" і "гомоскедастичний". Здається, немає різниці в значенні між варіантами "с" і "k", просто орфографічна різниця, пов'язана з грецькою етимологією слова. Які джерела двох чітко написаних? Чи є одне використання більш поширеним, ніж інше, і чи відображає вони різницю …

32 terminology  heteroscedasticity  etymology 

Я натрапив на цей документ, який використовує виявлення аномалії посилань для прогнозування актуальних тем, і мені здалося, що це неймовірно інтригує. Документ - "Виявлення нових тем у соціальних потоках за допомогою виявлення аномалії посилань" . Я б хотів тиражувати це на інший набір даних, але я недостатньо знайомий з методами, …

32 time-series  machine-learning  outliers  python  change-point 

Добре відомо, що дослідникам слід витрачати час на спостереження та дослідження існуючих даних та досліджень, перш ніж формувати гіпотезу, а потім збирати дані для перевірки цієї гіпотези (маючи на увазі тестування на значення нульової гіпотези). Багато базових книг статистики попереджають, що гіпотези повинні формуватися апріорно і не можуть бути змінені …

32 hypothesis-testing 

Я, як правило, використовую BIC, оскільки я розумію, що він оцінює парність сильніше, ніж AIC. Однак я вирішив зараз використовувати більш комплексний підхід і хотів би також використовувати AIC. Я знаю, що Raftery (1995) представив приємні вказівки щодо відмінностей BIC: 0-2 є слабким, 2-4 - позитивним доказом того, що одна …

32 r  model-selection  references  aic  bic 

Я хочу виконати логістичну регресію з наступною біноміальною відповіддю та з та як мої прогнози. X1X1X_1X2X2X_2 Я можу представити ті самі дані, що й відповіді Бернуллі, у наступному форматі. Виходи логістичної регресії для цих двох наборів даних здебільшого однакові. Залишки відхилення та АПК різні. (Різниця між нульовим відхиленням і залишковим …

32 logistic  binomial  aic  bernoulli-distribution  deviance 

Оскільки можна обчислити довірчі інтервали для p-значень, а оскільки протилежне оцінці інтервалу - оцінка балів: Чи є p-значення бальною оцінкою?

32 confidence-interval  estimation  p-value  estimators  point-estimation 

Я щойно натрапив на квартет Anscombe (чотири набори даних, які мають майже нерозрізнену описову статистику, але виглядають зовсім інакше, якщо побудовано на графіці), і мені цікаво, чи є інші більш-менш відомі набори даних, які були створені для демонстрації важливості певних аспектів статистичних аналізів.

32 regression  data-visualization  dataset 

Припустимо, у мене є 2 набори: Встановіть A : кількість елементів , ,мк = 2,4 σ = 0,8n = 10n=10n= 10μ = 2,4μ=2.4\mu = 2.4σ= 0,8σ=0.8\sigma = 0.8 Встановити B : кількість елементів , ,мк = 2 σ = 1,2n = 5n=5n= 5μ = 2μ=2\mu = 2σ= 1,2σ=1.2\sigma = 1.2 …

32 standard-deviation 

Коли я дивлюсь новини, я помітив, що опитування Галлапа за такими речами, як президентські вибори мають [я припускаю випадкові] розміри вибірки, що перевищує 1000. З того, що я пам’ятаю зі статистики коледжу, було те, що розмір вибірки 30 був «значно великим» зразком. Здавалося, що розмір вибірки понад 30 є безглуздим …

32 sampling  sample-size  power-analysis 

З документації для anova(): Коли дається послідовність об'єктів, 'anova' перевіряє моделі один проти одного у визначеному порядку ... Що означає тестування моделей одна проти одної? І чому порядок має значення? Ось приклад з підручника GenABEL : > modelAdd = lm(qt~as.numeric(snp1)) > modelDom = lm(qt~I(as.numeric(snp1)>=2)) > modelRec = lm(qt~I(as.numeric(snp1)>=3)) anova(modelAdd, modelGen, …

32 r  anova 

Як відомо всім, SVM може використовувати метод ядра для проектування точок даних у більш високих просторах, щоб точки могли бути розділені лінійним простором. Але ми також можемо використовувати логістичну регресію для вибору цієї межі в просторі ядра, тож які переваги SVM? Оскільки SVM використовує розріджену модель, в якій лише ті …

32 svm 

Я чув, що часткові кореляції між випадковими змінними можна знайти, перевернувши матрицю коваріації та взявши відповідні комірки з такої результуючої матриці точності (цей факт згадується в http://en.wikipedia.org/wiki/Partial_correlation , але без доказів) . Чому це так?

32 covariance  covariance-matrix  linear-algebra  partial-correlation  matrix-inverse 

Чи популярна реалізація умовних випадкових полів у Python ? Я не можу знайти те, що широко використовується і популярне!

32 machine-learning  classification  python  conditional-random-field 

Існує ряд надійних оцінювачів масштабу . Помітним прикладом є середнє абсолютне відхилення, яке відноситься до стандартного відхилення як . У байєсівській системі існує ряд способів чітко оцінити розташування приблизно нормального розподілу (скажімо, нормального зараження сторонніми людьми), наприклад, можна припустити, що дані поширюються як при розподілі, так і по розподілу Лапласа. …

32 r  bayesian  estimation  standard-deviation  robust