Статистика та великі дані

У мене є два часові ряди (обидва гладкі), які я хотів би перехресно співвіднести, щоб побачити, наскільки вони співвіднесені. Я маю намір використовувати коефіцієнт кореляції Пірсона. Чи підходить це? Моє друге питання - я можу вибрати вибірку двох часових рядів так само, як мені подобається. тобто я можу вибрати, скільки …

47 time-series  correlation  pearson-r  smoothing 

Як інтерпретувати нульове та залишкове відхилення в GLM в R? Мовляв, ми говоримо, що менший AIC кращий. Чи є подібне і швидке тлумачення відхилень? Нульове відхилення: 1146,1 на 1077 градусів свободи Залишкове відхилення: 4589,4 на 1099 градусів свободи AIC: 11089

47 generalized-linear-model  deviance 

( Statisoft, Inc.) (2013), Підручник з електронної статистики , "Класифікатор Naive Bayes" : Щоб продемонструвати концепцію класифікації наївних баїв, розглянемо приклад, показаний на ілюстрації вище. Як зазначено, об'єкти можна класифікувати як ЗЕЛЕНІ або ЧЕРВЕНІ. Моє завдання - класифікувати нові випадки по мірі їх надходження, тобто вирішувати, до якої мітки класу …

47 machine-learning  naive-bayes 

Уявіть, що ви повинні звітувати про кількість кандидатів, які щорічно проходять тест. Здається, досить складно зробити висновок про спостережуваний відсоток успіху, наприклад, на більш широкій сукупності через специфіку цільової сукупності. Тож ви можете врахувати, що ці дані представляють всю сукупність. Чи є результати тестів, які свідчать про те, що пропорції …

47 hypothesis-testing  population  sampling 

Я впевнений, що у мене це цілком загорнута голова, але я просто не можу це зрозуміти. T-тест порівнює два звичайних розподілу, використовуючи розподіл Z. Ось чому існує припущення про нормальність у DATA. ANOVA еквівалентна лінійній регресії з фіктивними змінними і використовує суми квадратів, як і OLS. Ось чому існує припущення …

47 distributions  regression  normality-assumption  t-test  anova 

Це питання мене спантеличувало вже давно. Я розумію використання 'log' для максимізації ймовірності, тому не запитую про «log». Моє запитання таке: оскільки максимізація ймовірності журналу рівнозначна мінімізації "негативної ймовірності журналу" (NLL), чому ми винайшли цю NLL? Чому ми не використовуємо "позитивну ймовірність" весь час? За яких обставин надається перевага NLL? …

47 maximum-likelihood  likelihood 

В останні роки конволюційні нейронні мережі (CNN) стали найсучаснішим для розпізнавання об'єктів в комп'ютерному зорі. Зазвичай CNN складається з декількох згорткових шарів, за якими слідують два повністю з'єднані шари. Інтуїція, що стоїть за цим, полягає в тому, що згорткові шари навчаються кращому представленню вхідних даних, а повністю пов'язані шари потім …

46 machine-learning  neural-networks  svm  deep-learning  conv-neural-network 

Я щойно читав цю статтю про фактор Байєса для абсолютно незв'язаної проблеми, коли натрапив на цей уривок Тестування гіпотез за допомогою факторів Байєса є більш надійним, ніж тестування частої гіпотези, оскільки форма Байєса уникає упередженості вибору моделі, оцінює докази на користь нульової гіпотези, включає невизначеність моделі та дозволяє порівнювати невкладені …

46 hypothesis-testing  frequentist 

Я бачив, що "залишки" визначаються по-різному як "передбачувані мінус фактичні значення" або "фактичні мінус прогнозовані значення". Для ілюстрації, щоб показати, що обидві формули широко використовуються, порівняйте такі пошукові веб-сторінки: залишковий "прогнозований мінус фактичний" залишковий "фактичний мінус передбачуваний" На практиці це майже ніколи не має значення, оскільки ознака невидимих ​​залишків зазвичай …

46 residuals  terminology  error 

У статті "Дискусія: чи повинні екологи стати байєсами?" Брайан Денніс дає напрочуд врівноважений та позитивний погляд на статистику Байєса, коли його метою здається попередити людей про це. Однак в одному абзаці, без жодних цитат і виправдань, він говорить: Байєси, бачите, не дозволяють дивитися на їх залишки. Це порушує принцип ймовірності …

46 bayesian  residuals  frequentist  likelihood-principle 

Мені цікаво природу . Чи може хто-небудь розповісти щось інтуїтивно про "Що говорить про дані?"Σ−1Σ−1\Sigma^{-1}Σ−1Σ−1\Sigma^{-1} Редагувати: Дякуємо за відповіді Пройшовши кілька чудових курсів, я хотів би додати кілька балів: Це міра інформації, тобто - кількість інформації вздовж напрямку .xxTΣ−1xxTΣ−1xx^T\Sigma^{-1}xxxx Подвійність: Оскільки є позитивно визначеним, тож і , тож вони є …

46 bayesian  maximum-likelihood  covariance  matrix 

Я завершив аналіз даних і отримав "статистично значущі результати", що відповідає моїй гіпотезі. Однак студент статистики сказав мені, що це передчасний висновок. Чому? Чи потрібно ще щось включити до мого звіту?

46 hypothesis-testing  statistical-significance  spss  p-value 

У цій статті під назвою "ВИБОРИ УЗАГАЛЬНЕНИХ ЛІНІЙНИХ МОДЕЛІВ, ЗАСТОСОВАНИХ ДО МЕДИЧНИХ ДАНИХ", автори пишуть: У узагальненій лінійній моделі середнє перетворюється функцією зв’язку замість самої реакції. Два способи трансформації можуть призвести до зовсім різних результатів; наприклад, середнє значення log-трансформованих відповідей не те саме, що логарифм середньої відповіді . Взагалі, колишнього …

46 generalized-linear-model  model-selection  lognormal 

Чи може хтось пояснити, навіщо нам потрібна велика кількість дерев у випадкових лісах, коли кількість предикторів велика? Як можна визначити оптимальну кількість дерев?

46 machine-learning  random-forest 

Нехай X ∼ N2( μ , Σ )X∼N2(μ,Σ)\mathbf{X} \sim N_{2}(\mathbf{\mu}, \mathbf{\Sigma}) . Тоді умовний розподіл Х1X1X_1 огляду на те, що Х2= х2X2=x2X_2 = x_2 є багатоваріантним, нормально розподіленим із середнім: Е[ С( X1| Х2= х2) ] = μ1+ σ12σ22( х2- мк2)E[P(X1|X2=x2)]=μ1+σ12σ22(x2−μ2) E[P(X_1 | X_2 = x_2)] = \mu_1+\frac{\sigma_{12}}{\sigma_{22}}(x_2-\mu_2) і дисперсія: …

46 normal-distribution  multivariate-analysis  intuition