Статистика та великі дані

Це питання може бути занадто відкритим, щоб отримати остаточну відповідь, але, сподіваємось, ні. Алгоритми машинного навчання, такі як SVM, GBM, Random Forest тощо, як правило, мають деякі вільні параметри, які, крім деякого правила керівництва, повинні бути налаштовані на кожен набір даних. Як правило, це робиться за допомогою певної техніки повторного …

34 machine-learning  cross-validation  bootstrap  optimization  resampling 

У мене є набір даних, який не впорядкований якимось особливим чином, але при графіку чітко визначено дві чіткі тенденції. Проста лінійна регресія тут насправді не була б адекватною через чітке розмежування двох серій. Чи є простий спосіб отримати дві незалежні лінійні лінії тренду? Для запису я використовую Python, і мені …

34 time-series  python  curve-fitting 

Може хтось, будь ласка, запропонує приємне пояснення, чому це не гарна ідея навчити студентів, що значення p - це проблема (їх результати обумовлені випадковим випадком). Я розумію, що р-значення є проблемою (отримання більш екстремальних даних | нульова гіпотеза правдива). Мене реально цікавить, яка шкода сказати їм, що це колишнє (окрім …

34 p-value  randomness  teaching 

X і Y не співвідносяться (-.01); однак, коли я розміщую X у множинній регресії, що прогнозує Y, поряд з трьома (A, B, C) іншими (пов'язаними) змінними, X та дві інші змінні (A, B) є важливими провісниками Y. Зауважимо, що дві інші ( Змінні A, B) суттєво корелюються з Y поза …

34 regression  correlation  interpretation  causality 

Я намагаюся використовувати силуетний графік, щоб визначити кількість кластерів у моєму наборі даних. З огляду на набір даних Train , я використав наступний код matlab Train_data = full(Train); Result = []; for num_of_cluster = 1:20 centroid = kmeans(Train_data,num_of_cluster,'distance','sqeuclid'); s = silhouette(Train_data,centroid,'sqeuclid'); Result = [ Result; num_of_cluster mean(s)]; end plot( Result(:,1),Result(:,2),'r*-.');` …

34 data-visualization  clustering  matlab 

У недавньому призначенні нам сказали використовувати PCA на цифрах MNIST, щоб зменшити розміри з 64 (8 x 8 зображень) до 2. Потім нам довелося кластеризувати цифри за допомогою Гауссової моделі суміші. PCA, що використовує лише 2 основних компоненти, не дає чітких кластерів, і в результаті модель не в змозі створити …

34 classification  clustering  pca  dimensionality-reduction  tsne 

У мене виникають труднощі з розумінням того, як інтерпретувати вихідний показник важливості з пакету Random Forest. Середнє зниження точності зазвичай характеризується як "зниження точності моделі від перестановки значень у кожній функції". Це твердження про функцію в цілому або про конкретні значення в межах функції? В будь-якому випадку, чи означає середнє …

34 r  machine-learning  classification  random-forest 

Чи можу я назвати модель, у якій теорема Байєса використовується "баєсовою моделлю"? Боюся, таке визначення може бути занадто широким. Отже, що саме є байєсівською моделлю?

34 machine-learning  bayesian 

Чому тестова статистика випробування на коефіцієнт ймовірності розподіляється по квадрату? 2(ln Lalt model−ln Lnull model)∼χ2dfalt−dfnull2(ln⁡ Lalt model−ln⁡ Lnull model)∼χdfalt−dfnull22(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}

34 distributions  chi-squared  likelihood-ratio 

Дорогі всі - я помітив щось дивне, чого я не можу пояснити, чи не так? Підсумовуючи: ручний підхід до обчислення довірчого інтервалу в моделі логістичної регресії та функції R confint()дають різні результати. Я пережив прикладну логістичну регресію Hosmer & Lemeshow (2-е видання). У 3-й главі є приклад обчислення коефіцієнта шансів …

34 r  regression  logistic  confidence-interval  profile-likelihood  correlation  mcmc  error  mixture  measurement  data-augmentation  r  logistic  goodness-of-fit  r  time-series  exponential  descriptive-statistics  average  expected-value  data-visualization  anova  teaching  hypothesis-testing  multivariate-analysis  r  r  mixed-model  clustering  categorical-data  unsupervised-learning  r  logistic  anova  binomial  estimation  variance  expected-value  r  r  anova  mixed-model  multiple-comparisons  repeated-measures  project-management  r  poisson-distribution  control-chart  project-management  regression  residuals  r  distributions  data-visualization  r  unbiased-estimator  kurtosis  expected-value  regression  spss  meta-analysis  r  censoring  regression  classification  data-mining  mixture 

Мені цікаво , повторюваних процедур , які можуть бути використані , щоб виявити функціональну форму функції , y = f(A, B, C) + error_termде мій єдиний вхід безліч спостережень ( y, A, Bі C). Зверніть увагу, що функціональна форма fневідома. Розглянемо наступний набір даних: AA BB CC DD EE FF …

34 regression  machine-learning  algorithms  model-selection  data-mining 

Почну, кажу, що це проблема домашнього завдання прямо з книги. Я витратив пару годин на пошук, як знайти очікувані значення, і визначив, що нічого не розумію. Нехай має CDF . Знайдіть для тих значень для яких існує .XXXF(x)=1−x−α,x≥1F(x)=1−x−α,x≥1F(x) = 1 - x^{-\alpha}, x\ge1E(X)E(X)E(X)αα\alphaE(X)E(X)E(X) Я поняття не маю, як це навіть …

34 self-study  expected-value 

Дерева рішень здаються дуже зрозумілим методом машинного навчання. Після його створення людина може бути легко перевірена людиною, що є великою перевагою в деяких програмах. Які практичні слабкі сторони дерев рішень?

34 machine-learning  nonparametric  cart 

Хтось може сказати мені, що розуміється під фразою «слабкий учень»? Це має бути слабкою гіпотезою? Мене плутає зв’язок між слабким учнем та слабким класифікатором. Обидва однакові чи є якась різниця? У AdaBoost алгоритму T=10. Що мається на увазі під цим? Чому ми обираємо T=10?

34 classification  svm  terminology  adaboost  pac-learning 

Я бачив, як люди доклали чимало зусиль для SVM та ядер, і вони виглядають досить цікаво як починаючі в машинному навчанні. Але якщо ми сподіваємось, що майже завжди ми зможемо знайти рішення, що перевершує ефективність, з точки зору (глибокої) Нейронної мережі, у чому сенс спроби інших методів у цю епоху? …

33 machine-learning  svm  kernel-trick  supervised-learning