Статистика та великі дані

Питання та відповіді для людей, зацікавлених у статистиці, машинному навчанні, аналізі даних, інтелектуальному аналізу даних та візуалізації даних

1
Необхідна і достатня умова спільного МФР для незалежності
Припустимо, у мене є спільна функція генерування моменту для спільного розподілу з CDF . Чи є необхідною і достатньою умовою незалежності і ? Я перевірив пару підручників, в яких згадувалась лише необхідність:MX,Y(s,t)MX,Y(s,t)M_{X,Y}(s,t)FX,Y(x,y)FX,Y(x,y)F_{X,Y}(x,y)MX,Y(s,t)=MX,Y(s,0)⋅MX,Y(0,t)MX,Y(s,t)=MX,Y(s,0)⋅MX,Y(0,t)M_{X,Y}(s,t)=M_{X,Y}(s,0)⋅M_{X,Y}(0,t)XXXYYY FX,Y(x,y)=FX(x)⋅FY(y)⟹MX,Y(s,t)=MX(s)⋅MY(t)FX,Y(x,y)=FX(x)⋅FY(y)⟹MX,Y(s,t)=MX(s)⋅MY(t)F_{X,Y}(x,y)=F_X(x)\cdot F_Y(y) \implies M_{X,Y}(s,t)=M_X(s) \cdot M_Y(t) Цей результат зрозумілий, оскільки незалежність означає . Оскільки MGF-поля маргіналів визначаються спільним …

1
Чому діагностика заснована на залишках?
У простій лінійній регресії часто хочеться перевірити, чи виконуються певні припущення, щоб можна було зробити висновок (наприклад, залишки зазвичай розподіляються). Чи доцільно перевіряти припущення, перевіряючи, чи правильно розміщені встановлені значення?

4
Порівнюючи максимальну оцінку ймовірності (MLE) та теорему Байєса
У теорії Байєса , а з книги, яку я читаю, називається ймовірність , але я припускаю , що це всього лише умовна ймовірність від дається , НЕ так?p(y|x)=p(x|y)p(y)p(x)p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p(x|y)p(x|y)p(x|y)xxxyyy В оцінці максимальної правдоподібності намагається максимізувати , НЕ так? Якщо так, я сильно плутаюсь, тому що це обидві випадкові величини, …

2
Як підходить крива, як я обчислюю 95% довірчий інтервал для встановлених параметрів?
Я підганяю криві до своїх даних, щоб отримати один параметр. Однак я не впевнений, що таке визначеність цього параметра та як би я обчислив / виразив його довірчий інтервал %.959595 Скажімо, для набору даних, що містить дані, які експоненціально розпадаються, я підганяю криву до кожного набору даних. Тоді інформація, яку …

3
Обчисліть невизначеність ухилу лінійної регресії на основі невизначеності даних
Як обчислити невизначеність ухилу лінійної регресії на основі невизначеності даних (можливо, в Excel / Mathematica)? Приклад: Маємо точки даних (0,0), (1,2), (2,4), (3,6), (4,8), ... (8, 16), але кожне значення y має невизначеність 4. Більшість функцій, які я знайшов, обчислили б невизначеність як 0, оскільки точки ідеально відповідають функції y …

2
Чи дає MCMC, що виконує детальний баланс, стаціонарний розподіл?
Я думаю, що я розумію рівняння детальної умови балансу, де зазначено, що для ймовірності переходу та стаціонарного розподілу ланцюг Маркова задовольняє детальний баланс, якщоqqqππ\piq(x|y)π(y)=q(y|x)π(x),q(x|y)π(y)=q(y|x)π(x),q(x|y)\pi(y)=q(y|x)\pi(x), це має більше сенсу для мене, якщо я перезавантажую його як: q(x|y)q(y|x)=π(x)π(y).q(x|y)q(y|x)=π(x)π(y).\frac{q(x|y)}{q(y|x)}= \frac{\pi(x)}{\pi(y)}. В основному, ймовірність переходу зі стану у стан повинна бути пропорційною відношенню їх …

4
Тестування гіпотези з великими даними
Як ви виконуєте тести на гіпотези з великими даними? Я написав наступний сценарій MATLAB, щоб підкреслити мою розгубленість. Все, що вона робить, - це генерувати два випадкових ряду та запускати просту лінійну регресію однієї змінної на іншу. Він виконує цю регресію кілька разів, використовуючи різні випадкові значення та повідомляє середні …

2
Чому I Моран не дорівнює “-1” у ідеально розсіяній точці
Вікіпедія помилкова ... чи я її не розумію? Вікіпедія: Білі та чорні квадрати («шаховий малюнок») ідеально розійшлися, так що в Морана я був би -1. Якби білі квадрати були складені до однієї половини дошки, а чорні - до іншої, то для Морану я був би близький до +1. Випадкове розташування …

1
Досяжна кореляція експоненціальних випадкових величин
Який діапазон досяжних кореляцій для пари експоненціально розподілених випадкових величин і , де є параметри швидкості?X 2 ∼ E x p ( λ 2 ) λ 1 , λ 2 > 0X1∼Exp(λ1)X1∼Exp(λ1)X_1 \sim {\rm Exp}(\lambda_1)X2∼Exp(λ2)X2∼Exp(λ2)X_2 \sim {\rm Exp}(\lambda_2)λ1,λ2>0λ1,λ2>0\lambda_1, \lambda_2 > 0

2
Прогнозування погодинних часових рядів з денною, тижневою та річною періодичністю
Основна редакція: Я хотів би сказати велике спасибі Dave & Nick за їх відгуки. Хороша новина полягає в тому, що я отримав цикл для роботи (принцип, запозичений з посади проф. Гіднмана щодо пакетного прогнозування). Щоб консолідувати невирішені запити: а) Як я збільшую максимальну кількість ітерацій для auto.arima - схоже, що …

2
Гетероскедастичність і нормальність залишків
Я маю лінійну регресію, що досить добре, я думаю (це для університетського проекту, тому я не повинен бути дуже точним). Справа в тому, що якщо я побудую залишки проти передбачуваних значень, є (на думку мого вчителя) натяк на гетероскдастичність. Але якщо я побудую QQ-графік залишків, зрозуміло, що вони зазвичай розподіляються. …

1
-tests vs
Я намагаюся з’ясувати, яка саме різниця між -tests та z -tests.тttzzz Наскільки я можу сказати, для обох класів тестів використовується одна і та ж статистика тесту, щось із форми б^- Сseˆ( б)^)b^−Cse^(b^)\frac{\hat{b} - C}{\widehat{\operatorname{se}}(\hat{b})} де б наведено приклад статистики, C деяка посилання (місце розташування) постійний (яка залежить від особливостей тесту), …

1
Динамічний факторний аналіз та модель простору стану
Пакет MARSS в R пропонує функцію динамічного аналізу факторів. У цьому пакеті динамічна факторна модель записана як особлива форма моделі простору стану, і вони припускають, що загальні тенденції слідують за процесом AR (1). Оскільки я не дуже знайомий з цими двома методами, я стикаюся з двома питаннями: Чи є динамічний …

1
Маніпулювання логістичною регресійною моделлю
Я хотів би зрозуміти, що робить наступний код. Людина, яка написала код, вже не працює тут, і він майже повністю недокументований. Мене попросили дослідити це хтось, хто думає, що " це байєсівська модель логістичної регресії " bglm <- function(Y,X) { # Y is a vector of binary responses # X …

3
Математичне моделювання нейронних мереж як графічних моделей
Я намагаюся зробити математичний зв’язок між нейронною мережею та графічною моделлю. У графічних моделях ідея проста: розподіл ймовірностей розподіляється відповідно до кліків на графіку, при цьому потенціали, як правило, належать до експоненціальної родини. Чи існує рівнозначне міркування для нейронної мережі? Чи можна виразити розподіл ймовірності над одиницями (змінними) в машині …

Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.