Статистика та великі дані

Я читав 2008 документ Джеффа Каммінг реплікації і Інтервали: значення передбачати майбутнє лише смутно, але довірчі інтервали роблять набагато краще pppppp p p[~ 200 посилань в Google Scholar] - і бентежить одне з центральних вимог. Це одна з серії робіт, де Кеммінг сперечається проти -значень і на користь довірчих інтервалів; …

52 hypothesis-testing  p-value  power  replicability 

Я читав книгу Тукі «Дослідницький аналіз даних». Написана в 1977 році, книга наголошує на методах паперу / олівця. Чи є більш «сучасний» наступник, який враховує, що ми можемо миттєво побудувати великі набори даних?

52 data-visualization  references  descriptive-statistics  eda 

Для проблеми з ласо таким, що \ | \ beta \ | _1 \ leq t . Я часто бачу результат м'якого порогу \ beta_j ^ {\ text {lasso}} = \ mathrm {sgn} (\ beta ^ {\ text {LS}} _ j) (| \ beta_j ^ {\ text {LS}} | | …

52 lasso 

Багато авторів статей, які я читаю, стверджують, що SVM - це чудова техніка для вирішення проблеми регресії / класифікації, усвідомлюючи, що вони не змогли отримати подібних результатів через NN. Часто порівняння стверджує, що SVM, замість NN, Майте сильну теорію заснування Досягти глобального оптимуму завдяки квадратичному програмуванню Немає проблем з вибором …

52 machine-learning  svm  neural-networks 

Якщо я запускаю randomForestмодель, я можу робити прогнози на основі моделі. Чи є спосіб отримати інтервал прогнозування кожного з прогнозів таким, що я знаю, наскільки "впевнена" модель у своїй відповіді. Якщо це можливо, це просто ґрунтується на мінливості залежної змінної для всієї моделі чи вона матиме більш широкі та вузькі …

52 r  confidence-interval  random-forest 

На сторінці Вікіпедії на ANOVA перелічено три припущення , а саме: Незалежність випадків - це припущення про модель, яка спрощує статистичний аналіз. Нормальність - розподіл залишків нормальний. Рівність (або «однорідність») дисперсій, що називається гомоскедастичністю ... Цікавим тут є друге припущення. Кілька джерел перераховують припущення по-різному. Деякі кажуть про нормальність необроблених …

52 anova  residuals  assumptions  normality-assumption 

Здається, що багато людей (включаючи мене) люблять робити дослідницький аналіз даних в Excel. Деякі обмеження, такі як кількість рядків, дозволених у електронній таблиці, є більшими, але в більшості випадків не унеможливлюють використання Excel для гри з даними. Документ Маккаллоу та Хайзера практично кричить, що ви отримаєте всі результати неправильно - …

52 software  computational-statistics  excel 

Припустимо, у мене є три групи з чотирма взаємовиключними характеристиками. Я беру випадкові зразки з кожної сукупності і будую перехресну таблицю або таблицю частот для характеристик, які я вимірюю. Чи правильно я кажу, що: Якщо я хотів би перевірити, чи існує взаємозв'язок між сукупністю та характеристиками (наприклад, чи одна популяція …

52 chi-squared  proportion  contingency-tables  z-test 

Стандартизований розподіл Гаусса на можна визначити, чітко вказавши його щільність: RR\mathbb{R}12π−−√e−x2/212πe−x2/2 \frac{1}{\sqrt{2\pi}}e^{-x^2/2} або його характерна функція. Як згадується в цьому питанні, це також єдиний розподіл, для якого середнє значення та дисперсія вибірки не залежать. Які ще дивовижні альтернативні характеристики гауссових заходів, які ви знаєте? Я прийму найдивовижнішу відповідь

52 probability  normal-distribution  mathematical-statistics  characteristic-function 

У мене є (симетрична) матриця, Mяка представляє відстань між кожною парою вузлів. Наприклад, ABCDEFGHIJKL А 0 20 20 20 40 60 60 60 100 120 120 120 В 20 0 20 20 60 80 80 80 120 120 140 140 140 C 20 20 0 20 60 80 80 80 …

52 clustering 

У мене є набір даних у вигляді (функції, двійковий вихід 0 або 1), але 1 трапляється досить рідко, тому просто передбачуючи 0, я отримую точність між 70% і 90% (залежно від конкретних даних, на які я дивлюся ). Методи МЛ дають мені приблизно таку саму точність, і я вважаю, що …

52 machine-learning  classification  binary-data  unbalanced-classes 

Я розумію, як artificial neural network (ANN)можна тренуватися під наглядом, використовуючи зворотні пропорції для поліпшення пристосування, зменшуючи помилку в прогнозах. Я чув, що ANN може бути використаний для непідвладного навчання, але як це можна зробити без якоїсь функції витрат для керування етапами оптимізації? За допомогою k-засобів або алгоритму ЕМ існує …

52 clustering  neural-networks  unsupervised-learning  self-organizing-maps 

Я будую регресійні моделі. Як крок попередньої обробки, я масштабую свої функції, щоб вони мали середнє значення 0 і стандартне відхилення 1. Чи потрібно також нормалізувати цільові значення?

52 regression  machine-learning 

Багато досліджень із соціальних наук використовують шкали Лікерта. Коли доцільно використовувати дані Лікерта як порядкові, а коли доцільно використовувати їх як інтервальні дані?

52 ordinal-data  likert  scales  measurement 

Ми вже мали кілька питань про незбалансоване даних при використанні логістичної регресії , SVM , дерева рішень , упаковки в пакети і ряд інших подібних питань, що робить його дуже популярною темою! На жаль, кожне з питань, схоже, відповідає алгоритму, і я не знайшов загальних рекомендацій щодо поводження з незбалансованими …

52 machine-learning  classification  predictive-models  unbalanced-classes