Статистика та великі дані

F1 бал - це гармонійне середнє значення точності та відкликання. Вісь y відкликання - це справжня позитивна швидкість (яка також є відкликанням). Отже, колись класифікатори можуть мати низький рівень виклику, але дуже високий AUC, що це означає? Які відмінності між AUC та F1-балом?

14 machine-learning  precision-recall  auc  accuracy 

Т-тест Велча на неоднакові дисперсії (також відомий як Велч-Саттерватвайт або Велч-Аспін), як правило, має не цілі ступені ступеня свободи . Як слід цитувати ці ступені свободи при повідомленні про результати тесту? "Зазвичай, округляючи до найближчого цілого числа, перш ніж звертатися до стандартних таблиць t", відповідно до різних джерел * - …

14 t-test  degrees-of-freedom  reporting 

Чи обробляє SVM незбалансований набір даних? Це будь-які параметри (наприклад, C або вартість помилкової класифікації), що обробляють незбалансований набір даних?

14 machine-learning  svm  unbalanced-classes 

Цитата з wikipedia: У статистиці послідовний оцінювач або асимптотично послідовний оцінювач - це оцінювач - правило для обчислення оцінок параметра володіє властивістю, яке в міру того, як кількість використаних точок даних збільшується нескінченно, результуюча послідовність оцінок з вірогідністю сходить до .θ ∗θ∗θ∗θ^*θ∗θ∗θ^* Щоб зробити це твердження точним, нехай θ∗θ∗\theta^* є …

14 machine-learning  mathematical-statistics  consistency 

http://en.wikipedia.org/wiki/Delta_method У статті у Вікіпедії було припущено, що g′(θ)g′(θ)g'(\theta) повинен існувати, а g′(θ)g′(θ)g'(\theta) має нульове значення. Чи можливо знайти асимптотичний розподіл для n−−√(g(Xn)−g(θ))n(g(Xn)−g(θ))\sqrt{n}(g(X_n)-g(\theta)) враховуючи, щог'( θ )г'(θ)g'(\theta)може бути нульовим ін--√( Xн- θ ) →гN( 0 , σ2)н(Хн-θ)→гN(0,σ2)\sqrt{n}(X_n-\theta) \stackrel{d}{\rightarrow} N(0,\sigma^2)?

14 delta-method 

Я подивився в Інтернеті, але не зміг знайти нічого корисного. Я в основному шукаю спосіб оцінити, наскільки «рівномірно» розподіляється значення. Як і в "рівномірному" розподілі, як X : і "нерівномірно" розподіленого Y розподілу приблизно однакового середнього та стандартного відхилення: Але чи є міра рівності m, така, що m (X)> m …

14 variance  standard-deviation  descriptive-statistics  measurement 

Мені було цікаво, в чому полягають основні, змістовні відмінності між Теорією реагування на предмет та Аналіз підтверджуючого фактора. Я розумію, що в обчисленнях є відмінності (зосереджуючись більше на позиції проти коваріацій; логарифмічні та лінійні). Однак я не маю уявлення, що це означає з точки зору вищого рівня - чи це …

14 confirmatory-factor  irt 

Я читав різні описи цензурованих даних: А) Як пояснено в цій темі, цензуруються не кількісні дані нижче або вище певного порогу. Некваліфіковані засоби означають, що вище або нижче певного порогу, але ми не знаємо точного значення. Потім дані маркуються за низьким або високим пороговим значенням у моделі регресії. Він відповідає …

14 regression  terminology  censoring 

Припустимо, виконується так звана непараметрична завантажувальна програма шляхом складання зразків розміром кожна з вихідних спостережень із заміною. Я вважаю, що ця процедура рівнозначна оцінці функції кумулятивного розподілу за емпіричним cdf:BBBnnnnnn http://en.wikipedia.org/wiki/Empirical_distribution_function а потім отримання зразків завантажувальної машини шляхом імітації спостережень із розрахункового cdf разів підряд.nnnBBB Якщо я маю рацію в …

14 bootstrap  sample-size  sample  small-sample  finite-population 

Це питання не стосується конкретно R, але я вирішив використовувати його Rдля ілюстрації. Розглянемо код для створення довірчих смуг навколо (нормальної) qq-лінії: library(car) library(MASS) b0<-lm(deaths~.,data=road) qqPlot(b0$resid,pch=16,line="robust") Я шукаю пояснення (або альтернативне посилання на паперовий / онлайн-документ, що пояснює), як будуються ці групи довіри (я бачив посилання на Fox 2002 у …

14 confidence-interval  linear-model  qq-plot 

Друг представляє клієнта в апеляційному порядку після кримінального судового розгляду, в якому виявляється, що вибір присяжних був расовим упередженням. Публічний склад журі складався з 30 осіб у 4 расових групах. Обвинувачення застосувало необов'язкові виклики, щоб усунути 10 людей із пулу. Кількість людей та кількість актуальних проблем у кожній расовій групі …

14 probability  statistical-significance  references  bias  combinatorics 

Я знаю, що існує алгоритм кластеризації k-означає і k-медіана. Один, який використовує середнє як центр кластера, а другий, використовує медіану. Моє запитання: коли / де використовувати який?

14 clustering  k-means 

У мене є проблема бінарної класифікації з кількох функцій. Чи мають коефіцієнти (регульованої) логістичної регресії інтерпретаційне значення? Я думав, що вони можуть вказати на розмір впливу, враховуючи, що особливості попередньо нормалізуються. Однак у моїй проблемі коефіцієнти, здається, залежать від особливостей, які я вибираю. Навіть знак коефіцієнтів змінюється різними наборами функцій, …

14 logistic  regression-coefficients 

Я часто чую твердження, що байєсівська статистика може бути дуже суб’єктивною. Основним аргументом є те, що висновок залежить від вибору попереднього (навіть якщо можна вибрати принцип байдужості або максимальної ентропії для вибору попереднього). Для порівняння, стверджує твердження, часто-часто статистика є більш об'єктивною. Скільки правди в цьому твердженні? Крім того, це …

14 bayesian  interpretation  frequentist  philosophical 

Діагностика Гельмана і Рубіна використовується для перевірки конвергенції декількох ланцюгів mcmc, що працюють паралельно. Він порівнює дисперсію всередині ланцюга з дисперсією між ланцюгами, експозиція нижче: Кроки (для кожного параметра): Виконайте m ≥ 2 ланцюгів довжиною 2n від перерізних початкових значень. Відкиньте перші n малюнків у кожному ланцюжку. Обчисліть дисперсію всередині …

14 mcmc  convergence  covariance-matrix