Статистика та великі дані

В останні роки структурний підхід до економетрики порівняно з економетрикою зі зменшеною формою набув все більшої популярності. Це передбачає тісне поєднання теоретичних економічних моделей та статистики з метою оцінки параметрів, що цікавлять. Нав'язування більшої теоретичної структури таким чином, як ми використовуємо дані та статистичні методи, має на меті забезпечити вказівки, …

17 econometrics  references 

Припустимо, я нормально поширював дані. Для кожного елементу даних я хочу перевірити, наскільки кількість SD знаходиться далеко від середнього. У даних може бути зовнішній вигляд (ймовірно, лише один, але може бути і два-три), чи ні, але в основному це те, що я шукаю. Чи має сенс тимчасово виключити елемент, на …

17 cross-validation  standard-deviation  mean  outliers 

Я маю на вищому повноваженні 1, що вибірки Гіббса є особливим випадком алгоритму Метрополіс-Гастінгса для вибірки Маркова ланцюга Монте-Карло. Алгоритм MH завжди дає ймовірність переходу із властивістю детального балансу; Я очікую, що Гіббс теж повинен. То де я в наступному простому випадку помилився? Для цільового розподілу на двох дискретних (для …

17 mcmc  gibbs 

Це моє перше повідомлення в StackExchange, але я використовую його як ресурс досить довгий час, я зроблю все можливе, щоб використовувати відповідний формат і внести відповідні зміни. Також це багатозначне питання. Я не був впевнений, чи варто розділити це питання на кілька різних постів або лише на одну. Оскільки всі …

17 r  logistic  model-selection  regression-strategies 

Розглянемо середньоцентричний процес AR (2) Xt=ϕ1Xt−1+ϕ2Xt−2+ϵtXt=ϕ1Xt−1+ϕ2Xt−2+ϵtX_t=\phi_1X_{t-1}+\phi_2X_{t-2}+\epsilon_t де ϵtϵt\epsilon_t - стандартний процес білого шуму. Просто для простоти дозвольте мені називати ϕ1=bϕ1=b\phi_1=b і ϕ2=aϕ2=a\phi_{2}=a . Орієнтуючись на корені рівняння характеристик, я отримав z1,2=−b±b2+4a−−−−−−√2az1,2=−b±b2+4a2az_{1,2}=\frac{-b\pm\sqrt{b^2+4a}}{2a} Класичні умови в підручниках такі:{|a|&lt;1a±b&lt;1{|a|&lt;1a±b&lt;1\begin{cases}|a|<1 \\ a\pm b<1 \end{cases} Я намагався вирішити вручну (за допомогою Mathematica) нерівності коренів, тобто …

17 self-study  stationarity  arma 

Я просто читав про міру відхилення для логістичної регресії. Однак частина, яку називають насиченою моделлю, мені незрозуміла. Я здійснив обширний пошук в Google, але жоден з результатів не відповів на моє запитання. Поки я з'ясував, що насичена модель має параметр для кожного спостереження, що як наслідок призводить до ідеального прилягання. …

17 logistic  deviance 

У мене є питання про опущені змінні зміщення в логістичній та лінійній регресії. Скажімо, я опускаю деякі змінні з лінійної регресійної моделі. Прикиньте, що ці опущені змінні не співвідносяться зі змінними, які я включив у свою модель. Ці опущені змінні не зміщують коефіцієнтів у моїй моделі. Але в рамках логістичної …

17 regression  logistic  least-squares  bias 

Після деяких пошуків я знаходжу дуже мало щодо включення ваг спостереження / помилок вимірювань у аналіз основних компонентів. Те, що я знаходжу, зазвичай покладається на ітеративний підхід до включення зважувань (наприклад, тут ). Моє запитання, чому такий підхід необхідний? Чому ми не можемо використовувати власні вектори зваженої матриці коваріації?

17 pca  measurement-error  weighted-data 

Я можу скористатись деякими вказівками щодо представлення деяких даних. Цей перший графік являє собою порівняльний випадок для цитокіну IL-10. Я вручну встановив вісь y, щоб включати 99% даних. Я встановив це вручну, тому що група випадків має надзвичайний зовнішній вигляд. Мої співробітники вагаються з видаленням зовнішнього набору даних. Я з …

17 r  data-visualization  outliers  boxplot  presentation 

Ми знаємо про те, що нульова кореляція не передбачає незалежності. Мене цікавить, чи означає ненульове співвідношення залежність - тобто якщо для деяких випадкових змінних і , чи можна взагалі сказати, що ?Corr ( X , Y ) ≠ 0 X Y f X , Y ( x , y ) …

17 correlation  independence 

Мені потрібно генерувати випадкові числа після нормального розподілу в інтервалі . (Я працюю в Р.)(a,b)(a,b)(a,b) Я знаю, що функція rnorm(n,mean,sd)генерує випадкові числа після нормального розподілу, але як встановити межі інтервалу в межах цього? Чи є для цього якісь функції R?

17 r  normal-distribution  matlab  simulation  random-generation 

Основні курси статистики часто пропонують використовувати звичайне розподіл для оцінки середнього параметра популяції, коли розмір вибірки n великий (як правило, більше 30 або 50). Т-розподіл Стьюдента використовується для менших розмірів вибірки для врахування невизначеності у стандартному відхиленні вибірки. Коли розмір вибірки великий, стандартне відхилення вибірки дає хорошу інформацію про стандартне …

17 normal-distribution  confidence-interval  t-distribution 

Я шукаю конкретні, реальні випадки, коли причинно-наслідкові зв’язки були неналежним чином виведені з доказів кореляції. Зокрема, мене цікавлять приклади, які відповідають наступним критеріям: Наявність причинно-наслідкових зв’язків було прийнято як факт досить широкий, щоб мати помітні наслідки (на державну політику, дискурс, окремі рішення тощо). Посилання було зроблене виключно на основі співвіднесених …

17 correlation  causality 

Якщо в PCA ядра я вибираю лінійне ядро , результат буде відрізнятися від звичайного лінійного PCA ? Чи принципово різні рішення чи існує певне чітко визначене співвідношення?K(x,y)=x⊤yK(x,y)=x⊤yK(\mathbf{x},\mathbf{y}) = \mathbf x^\top \mathbf y

17 pca  kernel-trick 

Чи містять однакову інформацію у форматі pdf та pmf та cdf? Для мене pdf дає усю вірогідність певній точці (в основному області під ймовірністю). Pmf дають ймовірність певної точки. У cdf наведено ймовірність під певним моментом. Тож у мене pdf та cdf мають однакову інформацію, але у pmf немає, тому …

17 probability  distributions  pdf  inference  cdf