Статистика та великі дані

Яке значення відрізняє лінійна та нелінійна моделі? Питання Нелінійна проти узагальненої лінійної моделі: як ви ставитесь до логістичної, пуассонової регресії тощо? і його відповідь була надзвичайно корисним з’ясуванням лінійності / нелінійності узагальнених лінійних моделей. Мабуть критично важливим є відмежування лінійних від нелінійних моделей, але мені незрозуміло чому? Наприклад, розглянемо такі …

12 linear-model  nonlinear-regression  nonlinear 

Якщо - розподіл ймовірності з ненульовими значеннями на , для якого типу (s) існує константа така, що для всіх ?p(x)p(x)p(x)[0,+∞)[0,+∞)[0,+\infty)p(x)p(x)p(x)c>0c>0c\gt 0∫∞0p(x)logp(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2∫0∞p(x)log⁡p(x)(1+ϵ)p(x(1+ϵ))dx≤cϵ2\int_0^{\infty}p(x)\log{\frac{ p(x)}{(1+\epsilon)p({x}(1+\epsilon))}}dx \leq c \epsilon^20<ϵ<10<ϵ<10\lt\epsilon\lt 1 Нерівність, наведена вище, насправді є дивергенцією Кулбека-Лейблера між розподілом та стислим його варіантом . Я з’ясував, що ця нерівність стосується розподілів експоненціальної, гамма та …

12 probability  stochastic-processes  kullback-leibler  probability-inequalities 

Мене бентежить деякі деталі теореми Слуцького : Нехай , дві послідовності скалярних / векторних / матричних випадкових елементів.{Xn}{Xn}\{X_n\}{ Yн}{Yn}\{Y_n\} Якщо у розподілі до випадкового елемента а вірогідно до постійної , то умови, що є незворотним, де позначає конвергенцію розподілу.ХнXnX_nХXXYнYnY_ncccХн+ Yн ХнYн Хн/ Ун →г Х+ c→г c X→г Х/ с,Xn+Yn …

12 probability  random-variable  convergence  slutsky-theorem 

Я вважаю, що похідна Гауссового процесу (GP) - це інший GP, і тому я хотів би знати, чи є рівняння закритої форми для рівнянь прогнозування похідної GP? Зокрема, я використовую квадратичне експоненціальне ядро ​​коваріації (яке також називають гауссова) і хочу знати, як робити прогнози щодо похідної Гауссового процесу.

12 stochastic-processes  gaussian-process  derivative 

Цікаво, чому ієрархічний софтмакс кращий для нечастого слова, тоді як негативний вибірки краще для частих слів у моделях CBOW та пропуску грам word2vec. Я прочитав претензію на https://code.google.com/p/word2vec/ .

12 natural-language  word2vec  word-embeddings  softmax 

Мені цікаво твердження, зроблене внизу першої сторінки цього тексту стосовно коригуванняR2adjustedRadjusted2R^2_\mathrm{adjusted} R2adjusted=1−(1−R2)(n−1n−m−1).Radjusted2=1−(1−R2)(n−1n−m−1).R^2_\mathrm{adjusted} =1-(1-R^2)\left({\frac{n-1}{n-m-1}}\right). У тексті зазначено: Логіка коригування така: у звичайній множинній регресії випадковий предиктор пояснює в середньому частку 1/(n–1)1/(n–1)1/(n – 1) варіації відповіді, так що mmm випадкові предиктори пояснюють разом, в середньому, m/(n–1)m/(n–1)m/(n – 1) варіації відповіді; іншими словами, …

12 regression  expected-value  goodness-of-fit  r-squared 

Передумови: Тут є кілька чудових питань / відповідей щодо того, як відкалібрувати моделі, які прогнозують ймовірність того, що результат відбудеться. Наприклад Шкала барію та його розкладання на роздільну здатність, невизначеність та надійність . Калібрувальні графіки та ізотонічна регресія . Ці методи часто вимагають використання методу бінінгу за передбачуваними ймовірностями, так …

12 probability  predictive-models  binary-data  calibration  scoring-rules 

При моделюванні даних про кількість позовів у страховому середовищі я почав із Пуассона, але потім помітив перевищення рівня. Квазі-Пуассон краще моделював більшу співвідношення середньої дисперсії, ніж основний Пуассон, але я помітив, що коефіцієнти були однаковими як у моделях Пуассона, так і в Квазі-Пуассона. Якщо це не помилка, чому це відбувається? …

12 r  count-data  poisson-regression  overdispersion  quasi-likelihood 

Я тестую рівність засобів, використовуючи t-тест Вельча. Основний розподіл далеко не нормальний (більш хиткий, ніж приклад у відповідній дискусії тут ). Я можу отримати більше даних, але хотів би дещо принципово визначити, в якій мірі це робити. Чи є хороша евристика для оцінки оцінки прийнятності розподілу вибірки? Які відхилення від …

12 normal-distribution  t-test  bootstrap  central-limit-theorem  approximation 

Я вивчаю лінійну регресію, використовуючи Вступ до лінійного регресійного аналізу Монтгомері, Пека та Вінінга . Я хотів би вибрати проект аналізу даних. Я наївно вважаю, що лінійна регресія підходить лише тоді, коли можна підозрювати, що між пояснювальними змінними та змінною відповіді існують лінійні функціональні зв'язки. Але, здається, не багато додатків …

12 regression  data-transformation  model  linear  regression-strategies 

Як зазначено в назві, скажіть, якщо я малюю випадковим чином 4 картки, а ви малюєте 6 з тієї ж колоди, яка ймовірність того, що моя найвища карта б'є вашу найвищу карту? Як це зміниться, якщо ми будемо малювати з різних колод? Дякую!

12 probability  maximum 

Я маю на увазі питання та його відповіді: Як порівняти (ймовірність) прогнозованої здатності моделей, розроблених за допомогою логістичної регресії? автор @Clark Chong та відповіді / коментарі від @Frank Harrell. і до питання Ступені свободи у тесті Хосмера-Лемешоуχ2χ2\chi^2 та коментарі. Я прочитав статті Д. В. Хосмера, Т. Хосмера, С. Ле Чессі, …

12 hypothesis-testing  logistic  predictive-models  regression-strategies  hosmer-lemeshow-test 

Я хотів би провести порядкову логістичну регресію в Python - для змінної відповіді з трьома рівнями та з кількома пояснювальними факторами. statsmodelsПакет підтримує двійковий логит і модель полиномиального логіт (MNLogit), але не впорядковану логит. Оскільки основна математика не така вже й інша, мені цікаво, чи можна її легко реалізувати, використовуючи …

12 categorical-data  python  logit  ordered-logit  statsmodels 

Скажіть, що я використовую RNN / LSTM для аналізу настроїв, що є підходом до багатьох (див. Цей блог ). Мережа тренується за допомогою усіченого зворотного розповсюдження через час (BPTT), де мережа розкручується лише 30 останніх кроків, як зазвичай. У моєму випадку кожен мій розділ тексту, який я хочу класифікувати, набагато …

12 neural-networks  deep-learning  natural-language  backpropagation 

Припустимо, у мене є панель пояснювальних змінних , для , , а також вектор змінних залежних від бінарних результатів . Тож спостерігається лише в кінцевий час а не в будь-який раніше час. Повністю загальний випадок полягає в тому, щоб мати кілька для для кожної одиниці в кожен момент часу , …

12 regression  machine-learning  reinforcement-learning