Статистика та великі дані

У курсі машинного навчання Стенфорда Ендрю Нг згадав про застосування ML в ІТ. Через деякий час, коли я отримав DDoS середнього розміру (близько 20k ботів) на нашому сайті, я вирішив боротися з ним, використовуючи простий класифікатор Neural Network. Я написав цей сценарій python приблизно за 30 хвилин: https://github.com/SaveTheRbtz/junk/tree/master/neural_networks_vs_ddos Він використовує …

12 classification  neural-networks  unsupervised-learning 

Припустимо, я будую модель прогнозування, де я намагаюся передбачити кілька подій (наприклад, як перекидання штампів, так і метання монети). Більшість алгоритмів, які мені знайомі з роботою лише з однією ціллю, тому мені цікаво, чи існує стандартний підхід до подібного роду речей. Я бачу два можливі варіанти. Мабуть, найбільш наївним підходом …

12 machine-learning  classification  predictive-models  multi-class 

Техніка особливостей часто є важливою складовою для машинного навчання (її активно використовували, щоб виграти Кубок KDD у 2010 році ). Однак я вважаю, що і більшість технічних методів знищити будь-яке інтуїтивне значення основних рис або дуже специфічні для певного домену або навіть конкретних типів функцій. Класичним прикладом першого є аналіз …

12 predictive-models  feature-selection  feature-construction 

Я шукаю програму (в R або SAS або окрему, якщо безкоштовна або низька вартість), яка зробить аналіз потужності для порядкової логістичної регресії.

12 logistic  power-analysis  ordered-logit 

Я хотів би знати, яка статистична література є актуальною для наступної проблеми, і, можливо, навіть ідея, як її вирішити. Уявіть таку проблему: У нас є 4 можливі методи лікування якогось захворювання. Для того, щоб перевірити, яке лікування краще, ми проводимо спеціальне випробування. У судовому процесі ми починаємо з відсутності суб'єктів, …

12 hypothesis-testing  chi-squared  p-value  multiple-comparisons  sequential-analysis 

Що виражається термінами нульового-, першого-, другого-, третього і т.д. порядку кореляції? Дякую!

12 correlation 

У мене є кілька питань по приводу позначень , використовуваних в розділі 9.2 Відсутності початкового переваги будь-якого класифікатора в Дуда, хартії і Лелека розпізнаванню . Спочатку дозвольте процитувати якийсь відповідний текст із книги: Для простоти розглянемо двокатегорійну задачу, де навчальний набір складається з шаблонів та пов'язаних з ними міток категорії …

12 machine-learning 

У мене є 2 загальних / більше теоретичних питання. 1) Мені цікаво, як SVM обробляють змінні взаємодії під час побудови прогнозних моделей. Наприклад, якщо у мене є дві функції f1 і f2, і ціль залежить від f1, f2, і скажімо, f1 * f2 (або якась функція h (f1, f2)), чи …

12 machine-learning  predictive-models  svm  interaction 

Вчорашнє запитання Визначте точність моделі, яка оцінює ймовірність події, мене цікавить оцінка ймовірності. Оцінка Brier - середній показник помилки у квадраті. Чи вимірює аналогічне середнє значення абсолютної похибки маєте також ім’я?1N∑i = 1N( р р е дi c t i o ni- р е фe r e n c ei)21N∑i=1N(prегicтiонi-rеfеrенcеi)2\frac{1}{N}\sum\limits …

12 classification  error  validation  scoring-rules  brier-score 

Я моделюю подію з двома результатами, a і b. Я створив модель, яка оцінює ймовірність того, що відбудеться або a, або b (тобто модель обчислить, що a відбудеться з 40% шансом, а b відбудеться з 60% шансом). Я маю великий запис результатів випробувань із оцінками моделі. Я хотів би оцінити, …

12 predictive-models  scoring-rules 

Хто-небудь може сказати мені, як робити моделювання залишків, частоти та грошової вартості (RFM) та моделювання вартості клієнта в R? Також, може хтось посилає мені якусь літературу про це?

12 r  references  marketing 

Які найкращі методи пристосування "режиму" даних, вибірених із безперервного розповсюдження? Оскільки режим є технічно невизначеним (правда?) Для безперервного розповсюдження, я справді запитую "як ти знаходиш найпоширеніше значення"? Якщо ви припускаєте, що батьківський розподіл є гауссовим, ви можете поповнити дані і знайти, скажімо, що режим - це місце біна з найбільшою …

12 distributions  fitting  mode 

Нещодавно я пройшов вступний курс з багаторівневого моделювання. Більшість використовуваних нами наборів даних та прикладів були з соціальних наук. Щойно я пройшов 2-тижневе стажування у відділі біостатики, де вони хочуть, щоб я розпочав проект щодо зміни на стаціонарі рівня пацієнтів на екстрений стан, який має високий рівень смертності, як між …

12 r  stata  multilevel-analysis  epidemiology 

Яка краща функція витрат для випадкового лісового дерева: індекс Джині чи ентропія? Я намагаюся реалізувати випадковий ліс у Clojure.

12 classification  random-forest  cart 

Як правило, коли стикаються з безперервними, але перекошеними заходами результатів у поздовжньому дизайні (скажімо, з одним ефектом між суб'єктами), загальним підходом є перетворення результату на нормальність. Якщо ситуація екстремальна, наприклад, із усіченими спостереженнями, можна пофантазувати і скористатися моделлю кривої зростання Тобіта чи якоюсь такою. Але я в збитку, коли бачу …

12 repeated-measures  data-transformation  skewness