Статистика та великі дані

Я досить новачок у байєсівській статистиці, і я натрапив на виправлену кореляційну міру, SparCC , яка використовує процес Діріхле у підставці його алгоритму. Я намагався пройти алгоритм поетапно, щоб зрозуміти, що відбувається, але я не впевнений, що саме робить alphaвекторний параметр при розподілі Діріхле і як він нормалізує alphaвекторний параметр? …

26 distributions  bayesian  dirichlet-distribution 

Це, мабуть, нерозумне питання, але чи теорія ймовірності - це вивчення функцій, які інтегруються / збиваються в одну? EDIT. Я забув негативність. Тож чи є теорія ймовірності вивчення негативних функцій, які інтегруються / сумуються до однієї?

26 probability  mathematical-statistics  measure-theory 

Нещодавно я завершив змагання з Kaggle, в якому оцінку roc auc використовували згідно вимог змагань. Перед цим проектом я зазвичай використовував показник f1 як показник для вимірювання продуктивності моделі. Ідучи вперед, мені цікаво, як мені вибрати між цими двома показниками? Коли використовувати які та які їх плюси і мінуси? До …

26 machine-learning  modeling  roc  scoring-rules 

Я дуже люблю піклуватися про його здатність до налаштування параметрів та рівномірний інтерфейс, але я помітив, що він завжди потребує повних наборів даних (тобто без NA), навіть якщо застосована "гола" модель дозволяє НС. Це дуже турбує, що стосовно цього слід застосовувати трудові методи імпутації, які в першу чергу не потрібні. …

26 r  missing-data  data-imputation  caret 

З огляду на наближення PCA (або SVD) з матриці XXX з матрицею X , ми знаємо , що X є найкращим нізкоразрядним наближенням X .X^X^\hat XX^X^\hat XXXX Це відповідно до індукованої норми ∥⋅∥2∥⋅∥2\parallel \cdot \parallel_2 (тобто найбільшої норми власного значення) або відповідно до норми Frobenius ∥⋅∥F∥⋅∥F\parallel \cdot \parallel_F ?

26 pca  svd  matrix-decomposition 

Я десь прочитав, що метод Варіаційного Байєса - це узагальнення алгоритму ЕМ. Дійсно, ітеративні частини алгоритмів дуже схожі. Щоб перевірити, чи алгоритм ЕМ є спеціальною версією Variational Bayes, я спробував наступне: YYY - це дані, - це збір прихованих змінних, а - параметри. У варіаційних Бейсах ми можемо зробити наближення …

26 bayesian  expectation-maximization  variational-bayes 

Різні тести гіпотез, такі як тест GOF , Колмогоров-Смирнов, Андерсон-Дарлінг тощо, дотримуються цього основного формату:χ2χ2\chi^{2} H0H0H_0 : Дані відповідають наведеному розподілу. H1H1H_1: The data do not follow the given distribution. Typically, one assesses the claim that some given data follows some given distribution, and if one rejects H0H0H_0, the data …

26 hypothesis-testing  distributions  goodness-of-fit  ecdf 

Яка інтуїтивно зрозуміла різниця між випадковою змінною, що сходиться у ймовірності, порівняно з випадковою змінною, що сходить у розподілі? Я прочитав численні визначення та математичні рівняння, але це не дуже допомагає. (Будь ласка, майте на увазі, я студент, який вивчає економетрику.) Як випадкова змінна може сходитися до одного числа, а …

26 distributions  random-variable  convergence  intuition 

Я використовував лінійний дискримінантний аналіз (LDA) з scikit-learnбібліотеки машинного навчання (Python) для зменшення розмірності і трохи цікавився результатами. Мені зараз цікаво, чим scikit-learnзаймається LDA , щоб результати виглядали інакше, ніж, наприклад, ручний підхід або LDA, зроблені в Р. Було б чудово, якби хтось міг дати мені тут деяку інформацію. Що …

26 python  scikit-learn  dimensionality-reduction  discriminant-analysis  svd 

Яка різниця між класифікатором SVM один-проти-всіх? Чи означає один класифікатор один проти всіх класифікацію всіх типів / категорій нового зображення, а один проти одного означає, що кожен тип / категорія нового зображення класифікується з різним класифікатором (кожна категорія обробляється спеціальним класифікатором)? Наприклад, якщо нове зображення слід класифікувати на коло, прямокутник, …

26 machine-learning  classification  svm 

Який розподіл коефіцієнта визначення, або R у квадраті, , в лінійній одновимірній множинній регресії за нульовою гіпотезою ?R2R2R^2H0:β=0Н0: β= 0H_0:\beta=0 Як це залежить від кількості предикторів та кількості вибірок ? Чи існує вираз закритої форми для режиму цього розподілу?kкkn>kn > kn>k Зокрема, у мене є відчуття, що для простої регресії …

26 regression  mathematical-statistics  r-squared  intuition 

Я читав доповідь Hoekstra et al за 2014 рік на тему "Надійна неправильна інтерпретація довірчих інтервалів", яку я завантажив із веб-сайту Wagenmakers . На передостанній сторінці з’являється наступне зображення. На думку авторів, False - правильна відповідь на всі ці твердження. Я не дуже впевнений, чому твердження неправдиві, і наскільки я …

26 hypothesis-testing  confidence-interval 

Чи існує формула закритої форми (або якась пов'язана з нею) ЕМД між x1∼N(μ1,Σ1)x1∼N(μ1,Σ1)x_1\sim N(\mu_1, \Sigma_1) та x2∼N(μ2,Σ2)x2∼N(μ2,Σ2)x_2 \sim N(\mu_2, \Sigma_2) ?

26 normal-distribution  distance 

У мене є набір реальних чисел. Мені потрібно оцінити квантил нового числа. Чи є чистий спосіб зробити це в R? загалом? Я сподіваюся, що це не ультратривіально ;-) Дуже вдячний за вашу відповідь. ПК

26 r 

Чи може хтось пояснити відмінності та навести конкретні приклади, як використовувати ці три аналізи? LDA - лінійний дискримінантний аналіз FDA - дискримінантний аналіз Фішера QDA - Квадратичний дискримінантний аналіз Я шукав всюди, але не міг знайти реальних прикладів з реальними значеннями, щоб побачити, як використовуються ці аналізи та обчислюють дані, …

26 classification  discriminant-analysis