Статистика та великі дані

Я намагаюся відтворити optimрезультати з простої лінійної регресії, забезпеченої glmабо навіть nlsR-функціями. Оцінки параметрів однакові, але оцінка залишкової дисперсії та стандартні похибки інших параметрів не однакові, особливо коли розмір вибірки невеликий. Я припускаю, що це пов'язано з різницею в тому, як обчислюється залишкова стандартна помилка між максимальною ймовірністю та найменшим …

16 r  maximum-likelihood  optimization 

Отже, ми знаємо, що сума отрут з параметром λ сама по собі є пуассоном з n λ . Отже, гіпотетично можна взяти x ∼ p o i s s o n ( λ = 1 ) і сказати, що це насправді ∑ n 1 x i ∼ p o i …

16 poisson-distribution  central-limit-theorem  asymptotics 

Мене плутає рівняння, яке служить визначенням рівня небезпеки. Я розумію, що таке рівень небезпеки, але я просто не бачу, як рівняння виражає цю інтуїцію. Якщо - випадкова величина, яка представляє момент часу смерті когось на часовому інтервалі . Тоді рівень небезпеки:xxx[0,T][0,T][0,T] h(x)=f(x)1−F(x)h(x)=f(x)1−F(x)h(x)=\frac{f(x)}{1-F(x)} Там , де не представляє собою ймовірність смерті …

16 survival  intuition  hazard 

(Спочатку розміщено на MSE.) Я бачив, як багато евристичних дискусій класичної теореми про центральну межу говорять про нормальний розподіл (або будь-який із стабільних розподілів) як про «атрактор» у просторі ймовірностей щільності. Наприклад, розгляньте ці пропозиції у верхній частині звернення Вікіпедії : У більш загальному використанні центральною граничною теоремою є будь-яка …

16 probability  mathematical-statistics  convergence  central-limit-theorem  convolution 

Чому F -тест різниці дисперсій настільки чутливий до припущення про нормальний розподіл навіть для великих NNN ? Я спробував здійснити пошук в Інтернеті та відвідав бібліотеку, але жодна з них не дала хороших відповідей. Там сказано, що тест дуже чутливий до порушення припущення про нормальний розподіл, але я не розумію, …

16 normality-assumption  f-test 

Мені потрібно трохи допомогти в пошкодженні даних з анкети. Один з моїх колег застосував анкету, але ненавмисно, замість того, щоб використати оригінальну 5-бальну шкалу Лікерта (категорично не погоджуюсь із сильною згодою), він вставив 6-ю відповідь у шкалу. І, що ще гірше, шостий варіант відповіді… “Я не знаю”. Проблема полягає у …

16 likert  data-imputation 

Хтось окрім Егона Пірсона звертався до доповіді Вільяма Сілі Госсета 1904 р. "Застосування" Закону про помилку "до роботи пивоварні"? Я думаю, що це властивість Гіннеса, але, враховуючи його історичне значення, було б дуже цікаво прочитати, якби хтось знав, як це зробити.

16 statistical-significance  history 

Я намагаюся зрозуміти контекст відомої книги Міньського та Паперта «Перцептрони» 1969 року, настільки критичного для нейронних мереж. Наскільки я знаю, інших загальних алгоритмів навчання під контролем не було, окрім персептрон: дерева рішень почали стати корисними лише наприкінці 70-х, випадкові ліси та СВМ - 90-ті. Здається, що метод джекніфа був уже …

16 classification  neural-networks  history 

Пакет caret - це блискуча бібліотека R для побудови декількох моделей машинного навчання, має декілька функцій для побудови моделі та оцінки. Для налаштування параметрів та навчання моделей, пакет caret пропонує «повторний cv» як один із методів. Як хороша практика, налаштування параметрів може бути здійснено з використанням вкладеної перехресної перевірки K-кратного, …

16 cross-validation  caret 

Я відчуваю, що я бачив цю тему, яку обговорювали тут раніше, але не зміг знайти нічого конкретного. Потім знову я також не дуже впевнений, що шукати. У мене є одномірний набір упорядкованих даних. Я гіпотезую, що всі точки в множині виведені з одного розподілу. Як я можу перевірити цю гіпотезу? …

16 hypothesis-testing  distributions  mixture 

Я зіткнувся з цією статтею Гітти Ванвінккелен та Хендріка Блокеля в 2012 році, ставлячи під сумнів корисність повторної перехресної перевірки, яка стала популярною методикою зменшення дисперсії перехресної перевірки. Автори продемонстрували, що при повторній перехресній валідації зменшується дисперсія прогнозування моделі, оскільки один і той же набір даних вибірки перепробовується, середнє значення …

16 cross-validation 

У мене є просте - і, можливо, очевидно тривіальне - питання: чому стандартне відхилення називається саме так, " стандартним "? Це тому, що воно стандартизує порівняння наборів даних та результатів щодо їх розповсюдження? Пошук на Stack Exchange не викликає цього питання, а також пошук Google з етимології терміна не дає …

16 standard-deviation  terminology  history  etymology 

При поясненні регресії LASSO часто використовується діаграма алмазу і кола. Кажуть, що оскільки форма обмеження в LASSO є алмазом, отримане рішення з найменшими квадратами може торкатися кута алмазу таким чином, що це призводить до усадки деякої змінної. Однак при регресії хребта, оскільки це коло, він часто не торкнеться осі. Я …

16 regression  lasso  ridge-regression 

Я використовую численні лінійні регресії для опису зв’язків між Y і X1, X2. З теорії я зрозумів, що множинна регресія передбачає лінійні зв’язки між Y і кожним з X (Y і X1, Y і X2). Я не використовую жодної трансформації X. Отже, я отримав модель з R = 0,45 і …

16 regression  multiple-regression  python  linear 

Я намагаюся обміняти різницю між відбором вибірки та ендогенністю, і в свою чергу, чим моделі Гекмана (для вирішення відбору вибірки) відрізняються від інструментальних змінних регресій (для боротьби з ендогенністю). Чи правильно сказати, що відбір вибірки - це специфічна форма ендогенності, де ендогенна змінна - це ймовірність лікування? Крім того, мені …

16 instrumental-variables  endogeneity  2sls  heckman