Статистика та великі дані

Чи є якісь припущення щодо помилок для логістичної регресії, такі як постійна дисперсія термінів помилки та нормальність залишків? Також зазвичай, якщо у вас є точки, відстань Кука яких перевищує 4 / n, ви видаляєте їх? Якщо ви все-таки видалите їх, як ви можете зрозуміти, чи краще модель із вилученими точками?

10 regression  logistic  residuals  diagnostic  cooks-distance 

Перегляньте редагування. Коли у вас є дані з важкими хвостами, регресія з помилками студента-т здається інтуїтивно зрозумілою справою. Досліджуючи цю можливість, я наткнувся на цей документ: Breusch, TS, Robertson, JC, & Welsh, AH (01 листопада 1997). Новий одяг імператора: критика багатоваріантної регресійної моделі. Statistica Neerlandica, 51, 3.) ( посилання , …

10 regression  mathematical-statistics  modeling  robust 

Думка про вірогідність завжди змушує усвідомити, наскільки я поганий у підрахунку ... Розглянемо послідовність нnn основних літер A ,Т,С, і GA,T,C, and GA,\; T, \; C, \text{ and } G , коженрівній мірі можуть з'явитися. Яка ймовірність, що ця послідовність містить певну послідовність базових пар, що представляють інтерес довжиниr ≤ …

10 probability  combinatorics 

Припустимо, у нас є два зразки, і ми хочемо визначити, чи вони виведені з одного і того ж розподілу, а вибірки A, B складаються з деяких цілих чисел. Якщо ми перевіримо це за допомогою двопробного тесту перестановки, зокрема, переглянувши перестановки, де відмінності в засобах зразків такі ж екстремальні, як і …

10 permutation-test 

Традиційним підходом побудови функцій для видобутку тексту є підхід із пакету слів, який можна вдосконалити, використовуючи tf-idf для налаштування вектора ознак, що характеризує даний текстовий документ. В даний час я намагаюся використовувати біграмову мовну модель або (N-грам) для побудови функціонального вектора, але не знаю, як це зробити? Чи можемо ми …

10 machine-learning  data-mining  text-mining  natural-language  language-models 

Гранична модель враховує кореляції всередині кожного кластера. Умовна модель також враховує кореляцію в межах кожного кластера. Мої запитання: Чи маргінальна модель моделює основні ефекти для всієї сукупності, тоді як умовна модель моделює основні ефекти в кластері та в цілій популяції? Інтерпретація коефіцієнтів граничної моделі в основному така ж, як "звичайна …

10 repeated-measures  interpretation  regression-coefficients  marginal-model 

У мене є кілька розподілів (10 малюнків на малюнку нижче). Насправді це гістограми: на осі x є 70 значень, що є розмірами деяких частинок у розчині, і для кожного значення x відповідне значення y - це частка частинок, розмір яких становить приблизно значення x. Я б хотів згрупувати ці дистрибутиви. …

10 clustering 

У мене є часовий ряд (скажімо, - ), і мені потрібно передбачити наступний зразок (скажімо, ), використовуючи модель наприклад нейронна мережа або множинна лінійна регресія. На час n я маю всю вибірку від до , і мені потрібно передбачити ; в момент мене є всі вибірки від до , і …

10 time-series  prediction-interval 

Я намагаюся знайти співвідношення між дихотомічною та суцільною змінною. З моєї основної роботи з цього питання я виявив, що я повинен використовувати незалежний t-тест, і передумовою цього є те, що розподіл змінної має бути нормальним. Я провів тест Колмогорова-Смірнова для перевірки нормальності і виявив, що суцільна змінна є ненормальною і …

10 normal-distribution  categorical-data  continuous-data  kolmogorov-smirnov  association-measure 

Моє запитання, чи є якісь хороші онлайн-матеріали для вивчення цього. Щось добре знайомить речі, особливо моделі ARMA та пов'язану з ними математику. Редагувати: Я шукаю щось із найвищого рівня на бакалавраті. Щось подібне до вступу Броквеля та Девіса в часові ряди та прогнозування

10 time-series  references  arma 

З огляду на множину перехресних перевірок логістичної регресії та отримані множинні оцінки кожного коефіцієнта регресії, як слід вимірювати, чи є прогноктор (чи набір предикторів) стійким та значущим на основі коефіцієнтів (ів) регресії ? Чи відрізняється це від лінійної регресії?

10 regression  model-selection  cross-validation 

У мене є прототип машини для виготовлення деталей. У першому тесті машина виробляє деталей, і двійковий класифікатор повідомляє мені, що частини несправні ( , зазвичай і ), а частини хороші.d 1 d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≈ 10 4 N 1 …

10 hypothesis-testing  statistical-significance  classification  proportion 

Я намагаюся згрупувати, наприклад, рядки про програмування з іншими рядками про програмування, рядки про фізику з іншими рядками про фізику тощо, для широкого кола тем. Незважаючи на яскравий теоретичний лінгвістичний аспект проблеми, я хочу реально зробити це за допомогою програмування / програмного забезпечення. Епізод: Зважаючи на велику кількість рядків, як …

10 natural-language  data-mining 

Якщо я вибираю 232 особи з пулу з 363 людей без заміни, яка ймовірність того, що 2 із списку з 12 конкретних людей будуть в цьому відборі? Це випадковий розіграш для ультра-гонки, де було 233 учасники на 232 місця. Існує аргумент про те, чи був відбір упередженим щодо певної групи …

10 combinatorics  randomness  hypergeometric 

Я хочу зробити декілька лінійних регресій, а потім передбачити нові значення з невеликою екстраполяцією. У мене є змінна відповідь у діапазоні від -2 до +7 та три предиктори (діапазони приблизно +10 - +200). Розподіл майже нормальний. Але взаємозв'язок між відповіддю та предикторами не є лінійним, на графіках я бачу криві. …

10 regression  data-transformation