Статистика та великі дані

Я прочитав пару пояснень алгоритму ЕМ (наприклад, з розпізнавання шаблонів Бішопа та машинного навчання та з першого курсу з машинного навчання Роджера та Героламі). Виведення ЕМ нормально, я це розумію. Я також розумію, чому алгоритм щось прикриває: на кожному кроці ми вдосконалюємо результат і ймовірність обмежується 1,0, тому, використовуючи простий …

24 missing-data  convergence  expectation-maximization 

У мене є проблема з перевагами позначення фактора моделі як випадкового з кількох причин. Мені здається, що майже у всіх випадках оптимальним рішенням є трактування всіх факторів як фіксованих. По-перше, відмінність фіксованого проти випадкового є досить довільною. Стандартне пояснення полягає в тому, що якщо хтось зацікавлений у конкретних експериментальних одиницях …

24 model-selection  random-effects-model  aic  fixed-effects-model  mixed-model 

Зазвичай при аналізі основних компонентів (PCA) використовуються перші кілька ПК, а ПК з низькою дисперсією відпадає, оскільки вони не пояснюють великої кількості варіацій даних. Однак, чи є приклади, коли ПК з низькою варіацією корисний (тобто використовують у контексті даних, мають інтуїтивне пояснення тощо) і їх не слід викидати?

24 pca 

Чи можливо провести регресію, якщо всі залежні та незалежні змінні є категоричними змінними?

24 regression  logistic  categorical-data 

Це питання було перенесено з обміну стека математики, оскільки на нього можна відповісти на перехресній валідації. Мігрували 6 років тому . Я вивчав модель пропорційних небезпек Кокса, і це питання висвітлено в більшості текстів. Кокс запропонував пристосувати коефіцієнти функції небезпеки, використовуючи метод часткової ймовірності, але чому б просто не підходити …

24 survival  cox-model 

Я десь з літератури читав, що тест Шапіро-Вілка вважається найкращим тестом на нормальність, оскільки для заданого рівня значущості, , ймовірність відхилення нульової гіпотези, якщо вона помилкова, вища, ніж у випадку іншої тести на нормальність.αα\alpha Чи можете ви пояснити мені, використовуючи математичні аргументи, якщо це можливо, як саме це працює порівняно …

24 hypothesis-testing  normal-distribution  normality-assumption 

Який найбільш відповідний метод вибірки для оцінки продуктивності класифікатора для певного набору даних та порівняння його з іншими класифікаторами? Перехресне підтвердження здається стандартною практикою, але я читав, що такі методи, як завантажувальний .632, є кращим вибором. Надалі: Чи впливає вибір метрики ефективності на відповідь (якщо я використовую AUC замість точності)? …

24 machine-learning  classification  predictive-models  cross-validation  bootstrap 

У мене є значення для True Positive (TP)та False Negative (FN)наступні: TP = 0.25 FN = 0.75 З цих значень можна обчислити False Positive (FP)і True Negative (TN)?

24 roc  confusion-matrix  sensitivity-specificity 

Чи існує загальний метод, який використовується для визначення кількості навчальних зразків, необхідних для підготовки класифікатора (LDA у цьому випадку) для отримання мінімальної точності узагальнення порогу? Я прошу, тому що я хотів би мінімізувати час калібрування, який зазвичай потрібен в інтерфейсі мозок-комп'ютер.

24 classification 

У мене є база даних даних про передачу даних між різними вузлами. Це величезна база даних (майже 40 мільйонів передач). Одним з атрибутів є кількість переданих байтів (нбайт), яка становить від 0 байт до 2 тера байт. Я б хотів кластеризувати nbytes таким чином, що за даними кластерів k деякі …

24 clustering  k-means 

Проблема У регресії звичайно обчислюється середня помилка у квадраті (MSE) для вибірки: для вимірювання якості прогноктора.MSE=1n∑i=1n(g(xi)−gˆ(xi))2MSE=1n∑i=1n(g(xi)−g^(xi))2 \text{MSE} = \frac{1}{n} \sum_{i=1}^n\left(g(x_i) - \widehat{g}(x_i)\right)^2 Зараз я працюю над проблемою регресії, де мета полягає в тому, щоб передбачити ціну, яку клієнти готові платити за товар з урахуванням ряду числових особливостей. Якщо прогнозована ціна …

24 regression  error  loss-functions 

У мене 17 років (з 1995 по 2011 рік) даних свідоцтва про смерть, пов’язаних із смертю від самогубства для штату в США. Існує багато міфологій про самогубства та місяці / пори року, багато чого суперечливе, а також про літературу, яку я ' Подивившись, я не розумію використаних методів або впевненості …

24 r  chi-squared  arima  count-data  seasonality 

Власне, я хотів запитати вас, як я можу визначити умову, що закінчується для спуску градієнта. Чи можу я зупинити його на основі кількості ітерацій, тобто враховуючи значення параметрів для, скажімо, 100 ітерацій? Або я повинен зачекати так, що різні в двох параметрах значення "new" і "old" дуже малі на порядок …

24 algorithms  optimization  gradient-descent 

Якщо найкращим лінійним наближенням (з використанням найменших квадратів) моїх точок даних є лінія y=mx+by=mx+by=mx+b , то як я можу обчислити похибку наближення? Якщо я обчислюю стандартне відхилення відмінностей між спостереженнями та прогнозами , чи можу я пізніше сказати, що до інтервалу належить реальне (але не спостережуване) значення ( ) з …

24 regression  normal-distribution  least-squares  prediction-interval 

У мене є дві змінні: назва наркотиків (DN) та відповідні побічні явища (AE), які стоять у співвідношенні «багато до багатьох». Зафіксовано 33 556 найменувань препаратів та 9 556 побічних подій. Розмір вибірки становить близько 5,8 мільйона спостережень. Я хочу вивчити та зрозуміти зв'язок / зв’язок між DN та AE. Я …

24 r  categorical-data  data-visualization  large-data  association-measure