Статистика та великі дані

Яка різниця між проблемою багатокласового і багаторівневою?

52 classification  clustering  terminology  multi-class  multilabel 

Щоразу, коли використовується регуляризація, вона часто додається до функції витрат, наприклад у наступній функції витрат. Це має для мене інтуїтивний сенс, оскільки мінімізувати значення Функція витрат означає мінімізацію похибки (лівий член) і мінімізацію величин коефіцієнтів (правий член) одночасно (або принаймні врівноваження двох мінімізацій).J(θ)=12(y−θXT)(y−θXT)T+α∥θ∥22J(θ)=12(y−θXT)(y−θXT)T+α‖θ‖22 J(\theta)=\frac 1 2(y-\theta X^T)(y-\theta X^T)^T+\alpha\|\theta\|_2^2 Моє запитання: …

51 regularization 

Я бачив різні теоретичні погляди на графіку, наприклад Граматику графіки . Але я не бачив нічого еквівалентного щодо таблиць. За цей час я розробив неформальну модель передового досвіду в дизайні столів. Однак я хотів би мати змогу надати хороші рекомендації студентам. У посібнику зі стилів APA є кілька порад щодо …

51 tables 

Деякий матеріал, який я бачив на машинному навчанні, говорив, що погана ідея підходити до проблеми класифікації шляхом регресії. Але я думаю, що завжди можна зробити безперервну регресію, щоб відповідати даним і скоротити безперервний прогноз, щоб отримати дискретні класифікації. То чому це погана ідея?

51 regression  machine-learning  classification 

У мене є дані тесту, які можна було б використовувати для розрізнення нормальних і пухлинних клітин. Згідно кривої ROC, для цієї мети добре виглядає (площа під кривою 0,9): Мої запитання: Як визначити точку відсічення для цього тесту та його довірчий інтервал, коли показання слід оцінювати як неоднозначні? Який найкращий спосіб …

51 r  data-visualization  confidence-interval  roc  ggplot2 

Фільтр частинок і фільтр Калмана є рекурсивним байесовськими . Я часто стикаюся з фільтрами Калмана у своїй галузі, але дуже рідко бачу використання фільтра для частинок. Коли один би використовувався над іншим?

51 bayesian  particle-filter  kalman-filter 

У своїй доповіді 1984 р. "Статистика і причинно-наслідкові умовиводи" Пол Голланд підняв одне з найбільш фундаментальних питань статистики: Що може сказати статистична модель про причинно-наслідкові зв’язки? Це призвело до його девізу: БЕЗ ПРИЧИНИ НЕ БУДУВАННЯ що підкреслювало важливість обмежень навколо експериментів, які вважають причиною. Ендрю Гельман робить подібний момент : …

51 causality 

Чому і коли ми повинні використовувати Взаємну інформацію для вимірювання статистичних кореляцій, таких як "Пірсон", "Сперман" або "Тау Кендалла"?

51 correlation  mathematical-statistics  mutual-information 

Я знаю, це може здатися, що це поза темою, але вислухай мене. У режимі переповнення стека і тут ми отримуємо голоси за повідомлення, все це зберігається в табличній формі. Наприклад: пост ідентифікатор виборця ідентифікатор типу голосування дата ------- -------- --------- -------- 10 1 2 2000-1-1 10:00:01 11 3 3 2000-1-1 …

51 time-series  hypothesis-testing  data-mining  markov-process  censoring 

Коротке визначення стимулювання : Чи може набір слабких учнів створити одного сильного учня? Слабкий учень визначається як класифікатор, який лише трохи корелює з справжньою класифікацією (він може мітити приклади краще, ніж випадкові здогадки). Коротке визначення випадкових лісів : Випадкові ліси вирощують багато дерев класифікації. Щоб класифікувати новий об’єкт із вхідного …

51 machine-learning  random-forest  boosting  bagging 

Поясніть, будь ласка, різницю байєсівської оцінки та максимальної оцінки ймовірності?

50 bayesian  maximum-likelihood 

Оскільки РФ може обробляти нелінійність, але не може надати коефіцієнтів, чи було б розумно використовувати випадковий ліс для збору найважливіших характеристик, а потім підключити ці функції до множинної лінійної регресійної моделі для отримання їх коефіцієнтів?

50 regression  machine-learning  feature-selection  random-forest  regression-strategies 

Мені було цікаво, чи є спосіб сказати ймовірність того, що щось вийде з ладу (продукт), якщо ми маємо 100 000 продуктів на місцях за 1 рік і без відмов? Яка ймовірність того, що один із наступних 10000 проданих продуктів провалиться?

50 probability  survival  binomial 

Я маю справу з лінійними даними з випереджаючими людьми, деякі з яких мають більше 5 стандартних відхилень від розрахункової лінії регресії. Я шукаю техніку лінійної регресії, яка зменшує вплив цих точок. Поки що я зробив, це оцінити лінію регресії з усіма даними, потім відкинути точку даних з дуже великими залишками …

50 regression  linear-model  outliers  robust  fused-lasso 

Нещодавно я натрапив на Tableau і спробував візуалізувати дані з бази даних та CSV-файлу. Користувальницький інтерфейс дозволяє користувачеві візуалізувати часові та просторові дані та створювати графіки за мить. Такий інструмент дійсно корисний, оскільки дозволяє графічно спостерігати за даними, не записуючи код. Оскільки є багато джерел даних, з яких мені доводиться …

50 data-visualization  software  interactive-visualization