Статистика та великі дані

Я проводив змагання з машинного навчання, де вони використовують RMSLE (кореневу середню квадратичну логарифмічну помилку), щоб оцінити ефективність, прогнозуючи ціну продажу категорії обладнання. Проблема в тому, що я не впевнений, як інтерпретувати успіх свого остаточного результату. Наприклад , якщо я досяг RMSLE з я міг підняти його експонентну потужність і …

29 regression  machine-learning  interpretation  measurement-error  theory 

На основі оціночної точності класифікації я хочу перевірити, чи є один класифікатор статистично кращим на базовому наборі, ніж інший класифікатор. Для кожного класифікатора я вибираю навчальний та тестовий зразок випадковим чином із базового набору, треную модель та тестую модель. Я роблю це десять разів для кожного класифікатора. Тому я маю …

29 machine-learning  classification  t-test 

Я намагаюся вивчити різні методи перехресної перевірки, насамперед з наміром застосувати до контрольованих методів багатофакторного аналізу. Два, з якими я стикався, - це методи перехресної перевірки в K-кратному і Монте-Карло. Я читав, що K-кратність - це зміна Монте-Карло, але я не впевнений, що повністю розумію, що складає визначення Монте-Карло. Чи …

29 cross-validation  monte-carlo 

Для одновимірних оцінювачів щільності ядра (KDE) я використовую правило Сільвермана для обчислення :hhh 0.9min(sd,IQR/1.34)×n−0.20.9min(sd,IQR/1.34)×n−0.2\begin{equation} 0.9 \min(sd, IQR/1.34)\times n^{-0.2} \end{equation} Назвіть стандартні правила для багатоваріантного KDE (якщо припустити нормальне ядро).

29 smoothing  kernel-smoothing 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Я використовую caret, щоб запустити перехрещений випадковий ліс над набором даних. Змінна Y - фактор. У моєму наборі даних немає NaN, Inf …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

Я вивчаю PCA з курсу Coursera Ендрю Нґ та інших матеріалів. У першому завданні курсу Stanford NLP cs224n , а в лекційному відео від Ендрю Нг вони роблять сингулярне розкладання значення замість власного вектора розкладання коваріаційної матриці, і Ng навіть говорить, що SVD чисельно стабільніше, ніж ейгендекомпозиція. З мого розуміння, …

29 pca  linear-algebra  svd  eigenvalues  numerics 

Я роблю курс машинного навчання Стенфорда на Coursera. У главі з логістичної регресії функція витрат така: Потім, це похідне тут: Я намагався отримати похідну від функції витрат, але отримав щось зовсім інше. Як отримується похідна? Які є посередницькими кроками?

29 regression  logistic  gradient-descent  derivative 

Я маю нижче приклад, який я взяв із документації sklearn 'sklearn.metrics.classification_report. Що я не розумію, це чому для кожного класу існують значення f1-балів, точності та відкликання, де я вважаю, що клас є міткою передбачувача? Я думав, що оцінка f1 говорить вам про загальну точність моделі. Також, що нам говорить стовпчик …

29 machine-learning  python  scikit-learn  precision-recall 

У мене є питання щодо перехресної перевірки. Я в середині курсу машинного навчання на Cursera. Одна з тем про перехресне підтвердження. Мені було важко слідувати. Я точно знаю, навіщо нам потрібне резюме, тому що ми хочемо, щоб наші моделі добре працювали над майбутніми (невідомими) даними, а резюме не дозволяє переробляти. …

29 machine-learning  cross-validation 

Я використовую пакет robustbase, щоб виконати оцінку glm . Однак коли я це роблю, я отримую таку помилку: Error in solve.default(crossprod(X, DiagB * X)/nobs, EEq) : system is computationally singular: reciprocal condition number = 1.66807e-16 Що це означає / вказує? І як я можу це налагодити? PS. Якщо вам потрібно …

29 r  generalized-linear-model  robust 

У мене є два класифікатори A: наївна байєсівська мережа B: дерево (окремо пов'язане) байєсівської мережі Щодо точності та інших заходів, A працює порівняно гірше, ніж B. Однак, коли я використовую пакети R ROCR та AUC для аналізу ROC, виявляється, що AUC для A вище, ніж AUC для B. Чому це …

29 machine-learning  classification  roc  auc  bayesian-network 

Я намагаюся придумати метрику для вимірювання нерівномірності розподілу для експерименту, який я виконую. У мене є випадкова змінна, яка повинна бути рівномірно розподілена в більшості випадків, і я хотів би мати можливість визначити (і, можливо, виміряти ступінь) прикладів наборів даних, де змінна не рівномірно розподілена в межах деякої межі. Приклад …

28 distributions  variance  random-variable  uniform 

Статистика.com опублікував проблему тижня: рівень шахрайства з житловим страхуванням становить 10% (один із десяти претензій є шахрайським). Консультант запропонував систему машинного навчання для розгляду претензій та класифікації їх як шахрайства чи без шахрайства. Система на 90% ефективніше виявляє шахрайські претензії, але лише 80% ефективна в правильній класифікації заяв про не …

28 probability  bayesian  puzzle 

Я дізнався, що при роботі з даними, використовуючи підхід, заснований на моделі, першим кроком є ​​моделювання процедури даних як статистичної моделі. Потім наступним кроком є ​​розробка ефективного / швидкого алгоритму виведення / навчання на основі цієї статистичної моделі. Тож я хочу запитати, яка статистична модель стоїть за алгоритмом векторної машини …

28 machine-learning  svm  modeling 

Під сумішшю двох нормальних розподілів: https://en.wikipedia.org/wiki/Multimodal_distribution#Mixture_of_two_normal_distributions "Суміш двох нормальних розподілів має п'ять параметрів для оцінювання: два засоби, дві дисперсії та параметр змішування. Суміш двох нормальних розподілів з рівними стандартними відхиленнями є бімодальною, лише якщо їхні значення відрізняються щонайменше вдвічі від загального стандартного відхилення . " Я шукаю виведення або інтуїтивне …

28 bimodal