Статистика та великі дані

Я хотів би генерувати дані за допомогою "Моделі 1" та підходити до них "Модель 2". Основна ідея полягає у дослідженні властивостей міцності "Моделі 2". Мене особливо цікавить ступінь покриття 95% довірчого інтервалу (на основі нормального наближення). Як встановити кількість запусків ітерації? Чи правда, що більші, ніж необхідні, тиражі можуть призвести …

11 simulation  monte-carlo 

У моделі пропорційної небезпеки Кокса з багатьма змінними, якщо залишки Шенфельда не є однозначною для однієї зі змінних, чи це може визнати недійсною всю модель або просто може бути проігнорована лише неякісна змінна? Тобто інтерпретуйте коефіцієнти для інших змінних, але не інтерпретуйте отримані коефіцієнти для малоефективної змінної. Існує кілька стандартних …

11 residuals  cox-model  schoenfeld-residuals 

Я провів glm в R, і біля нижньої частини summary()виводу, він констатує (Dispersion parameter for gaussian family taken to be 28.35031) Я зробив кілька розкопок в Google і дізнався, що параметр дисперсії використовується для відповідності стандартним помилкам. Я сподіваюся, що хтось міг би надати більш детальну інформацію про те, що …

11 r  generalized-linear-model 

Прочитавши розділ 3 в Елементах статистичного навчання (Хасті, Тібшрани та Фрідман), я задумався, чи можна реалізувати відомі методи усадки, які цитуються у назві цього питання, з урахуванням структури коваріації, тобто мінімізувати (можливо, більш загальне ) кількість ( у⃗ - Xβ⃗ )ТV- 1( у⃗ - Xβ⃗ ) + λ f( β) …

11 lasso  ridge-regression 

У мене є освіта на рівні випускників з чистої математики (теорія вимірювань, функціональний аналіз, алгебра оператора тощо). У мене також є робота, яка вимагає певних знань теорії ймовірностей (від базових принципів до технічних технологій навчання). Моє запитання: Чи може хтось надати деякі канонічні читання та довідкові матеріали, які: Самостійне введення …

11 probability  references 

Чи є відома інтерпретація перехресної перевірки байесівської, ML або MDL? Чи можу я трактувати перехресну перевірку як виконання правильного оновлення на спеціально створеному попередньому?

11 bayesian  cross-validation  maximum-likelihood 

Коли я визначаю свою лямбда через перехресну перевірку, всі коефіцієнти стають нульовими. Але у мене є деякі натяки з літератури про те, що деякі прогнози обов'язково повинні вплинути на результат. Чи сміття довільно вибирати лямбда, щоб було стільки ж рідкості, скільки бажається? Я хочу вибрати топ-10 прогнозів з 135 для …

11 lasso 

Моя мета - використовувати коефіцієнти, отримані попередніми дослідженнями з цього питання, для прогнозування фактичних результатів, отриманих набором незалежних змінних. Однак у дослідницькому документі наведено лише коефіцієнти бета-версії та значення t. Хотілося б знати, чи можна перетворити стандартизовані коефіцієнти в нестандартні. Було б корисно перетворити мої нестандартні незалежні змінні в стандартизовані …

11 regression-coefficients 

Я вчений-інформатик, що працює в галузі видобутку даних. Не секрет сказати, що комп'ютерні фахівці доволі погано займаються систематичною експериментальною розробкою та оцінкою - використання p-значень і оцінок достовірності вважається просунутим :). Що я хотів би знати, чи є хороші курси / матеріал, щоб навчити комп'ютерних спеціалістів про хороший експериментальний дизайн. …

11 references  experiment-design 

Мені відомо тест Ramset Reset, який може виявити нелінійні залежності. Однак якщо ви просто викинете один з коефіцієнтів регресії (просто лінійні залежності), ви можете отримати зміщення, залежно від кореляцій. Очевидно, тест Скидання не виявляється. Я не знайшов тест для цього випадку, але це твердження: "Ви не можете перевірити OVB, крім …

11 regression  multiple-regression  bias  causality  diagnostic 

Фон: Типовий метааналіз у психології може намагатися моделювати співвідношення між двома змінними X та Y. Аналіз, як правило, передбачає отримання набору відповідних кореляцій з літератури разом із розмірами вибірки. Потім формули можуть бути застосовані для обчислення середньозваженого співвідношення. Тоді можуть бути проведені аналізи, щоб побачити, чи відрізняються кореляції в різних …

11 simulation  meta-analysis 

Я працюю над сильно перекошеними даними, тому я використовую медіану замість середнього, щоб узагальнити центральну тенденцію. Я хотів би мати міру дисперсності. Хоча я часто бачу людей, які повідомляють про середнє стандартне відхилення±±\pm або медіану четвертинки,±±\pm щоб узагальнити центральну тенденцію, чи нормально повідомляти про середню середню абсолютну дисперсію (MAD)±±\pm ? …

11 mean  skewness  median  reporting  mad 

У своїй відповіді на моє попереднє запитання @Erik P. дає вираз де κ - надлишок куртозу розподілу. Наведено посилання на запис у Вікіпедії щодорозподілу вибіркової дисперсії, але на сторінці Вікіпедії написано "потрібне цитування".Var[s2] = σ4( 2n - 1+ κн),Var[s2]=σ4(2n−1+κn), \mathrm{Var}[s^2]=\sigma^4 \left(\frac{2}{n-1} + \frac{\kappa}{n}\right) \>, κκ\kappa Моє первинне запитання: чи є …

11 estimation  variance  references 

Як можна інтерпретувати та генерувати діаграми квасолі. Ось один приклад, взятий від Walkes et al. 2010 рік . Які саме дані є найбільш корисними? (джерело: biomedcentral.com )

11 data-visualization  boxplot 

У мене є колекція даних, яку, на мою думку, спочатку я вважав звичайною. Тоді я насправді переглянув це і зрозумів, що це не так, головним чином через те, що дані перекошені, і я також зробив тест на шапіро-вілкс. Я все одно хотів би проаналізувати це за допомогою статистичних методів, і …

11 hypothesis-testing  normal-distribution  goodness-of-fit  skewness  skew-normal