Статистика та великі дані

Останнім часом мені довелося прочитати кілька робіт з економіки (сфера, з якою я не надто знайомий). Одне, що я помітив, - це те, що навіть коли змінна відповідь є бінарною, лінійні регресійні моделі, встановлені за допомогою OLS, є всюдисущими. Моє питання, таким чином: Чому перевагу надає лінійна регресія, наприклад, логістична …

13 regression  logistic  econometrics 

Ми маємо справу з лонормальним розподілом у курсах фінансів, і в моєму підручнику просто зазначено, що це правда, що мені здається неприємним, оскільки мій математичний фон не дуже сильний, але я хочу, щоб інтуїція. Хтось може мені показати, чому це так?

13 distributions  expected-value  lognormal 

Дуглас Бейтс зазначає, що наступні моделі є еквівалентом "якщо матриця коваріації дисперсії для випадкових ефектів, що оцінюються за вектором, має спеціальну форму, що називається складовою симетрією" ( слайд 91 у цій презентації ): m1 <- lmer(y ~ factor + (0 + factor|group), data) m2 <- lmer(y ~ factor + (1|group) …

13 r  anova  mixed-model  repeated-measures  lme4-nlme 

Я читав це запитання щодо широкомасштабної регресії ( посилання ), де Віктор зазначив цікавий момент: "Практично будь-який статистичний тест, який ви проводите, буде настільки потужним, що майже впевнено визначити" суттєвий "ефект. Вам потрібно значно більше зосередитися на статистичній важливості, наприклад, на розмірі ефекту, а не на значущості". --- блуд Мені …

13 regression  statistical-significance 

Я плутаю між двома термінами "функція, що генерує ймовірність", і "функція, що генерує момент". Чим ці терміни відрізняються?

13 probability  distributions  terminology  intuition  mgf 

Мені хотілося знати, наскільки машинне навчання вимагає оптимізації. З того, що я чув, статистика є важливою математичною темою для людей, які працюють з машинним навчанням. Так само, наскільки важливо, щоб хтось, хто працює з машинним навчанням, дізнався про опуклу або невипуклу оптимізацію?

13 machine-learning  optimization 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Цей рядок повертає перші 4 рядки в кадрі даних combinedдляfeature_a combined.iloc[0:4]["feature_a"] Як очікувалося, наступний рядок повертає 2-й, 4-й та 16-й рядки в …

13 python  pandas 

В даний час мій роботодавець проводить опитування компанії про ставлення до офісу, тобто про почуття. У минулому вони відкрили опитування для всіх напрямків бізнесу (припустимо, 10 дуже різних відділів) та всіх працівників у них (Припустимо, загалом 1000 працівників у всій компанії) Кількість працівників у кожному відділі не однакова і одна …

13 survey  survey-sampling 

Я дуже глум, навіть задаючи таке основне питання, але ось що: Якщо у мене є випадкова величина яка може приймати значення і , з і , то якщо я витягу з неї вибірок, я отримаю біноміальний розподіл.XXX000111P(X=1)=pP(X=1)=pP(X=1) = pP(X=0)=1−pP(X=0)=1−pP(X=0) = 1-pnnn Середнє значення розподілу - μ=np=E(X)μ=np=E(X)\mu = np = E(X) …

13 variance  binomial 

Я натрапив на доказ одного з властивостей моделі ARCH, який говорить про те, що якщо , то { X t } є нерухомим iff ∑ p i = 1 b i &lt; 1, де модель ARCH:Е ( X2т) &lt; ∞E(Xt2)&lt;∞\mathbb{E}(X_t^2) < \infty{ Xт}{Xt}\{X_t\}∑pi = 1бi&lt; 1∑i=1pbi&lt;1\sum_{i=1}^pb_i < 1 Хт= σтϵтXt=σtϵtX_t …

13 mathematical-statistics  stationarity  garch 

Як я впевнений, всі тут уже знають, PDF-файл дистрибутива Beta X∼B(a,b)X∼B(a,b)X \sim B(a,b) надає f(x)=1B(a,b)xa−1(1−x)b−1f(x)=1B(a,b)xa−1(1−x)b−1f(x) = \frac{1}{B(a,b)}x^{a-1}(1-x)^{b-1} Я полював всюди за поясненнями про походження цієї формули, але не можу її знайти. Кожна стаття, яку я знайшов у розповсюдженні бета-версії, начебто дає цю формулу, ілюструє кілька її форм, а потім переходимо …

13 probability  mathematical-statistics  pdf  beta-distribution  history 

норма є унікальною (принаймні частково) , тому що знаходиться на кордоні між неопуклі і опуклі. норма є «найбільш розрідженим» опукла норма (правда?). p = 1 L 1L1L1L_1p=1p=1p=1L1L1L_1 Я розумію, що норма Евкліда має коріння в геометрії, і вона має чітку інтерпретацію, коли розміри мають однакові одиниці. Але я не розумію, …

13 regression  regularization  sparse 

Скажімо, у нас є проблема бінарної класифікації з переважно категоричними ознаками. Ми використовуємо деяку нелінійну модель (наприклад, XGBoost або Random Forests), щоб дізнатися її. Чи варто все-таки турбуватися про багатоколірність? Чому? Якщо відповідь на вищезазначене відповідає дійсності, як з цим боротися, враховуючи, що використовуються ці типи нелінійних моделей?

13 classification  random-forest  multicollinearity  xgboost 

У мене є вихідні дані, які містять близько 20 стовпців (20 функцій). Десять із них - це суцільні дані, 10 з них - категоричні. Деякі з категоричних даних можуть мати приблизно 50 різних значень (США). Після того як я попередньо обробляла дані, 10 безперервних стовпців стають 10 підготовленими стовпцями, а …

13 machine-learning  neural-networks  tensorflow  data-preprocessing  theano 

Я знаю, що в лінійній регресії змінна відповідь повинна бути безперервною, але чому це так? Я не можу знайти щось в Інтернеті, що пояснює, чому я не можу використовувати дискретні дані для змінної відповіді.

13 regression  linear