Статистика та великі дані

Нещодавно я натрапив на слово "Повчальне навчання зміцненню". Я розумію, що таке "Рекурентна нейронна мережа" і що таке "Навчання підсилення", але не зміг знайти багато інформації про те, що таке "Повсюдне навчання зміцненню". Чи може хтось пояснити мені, що таке "Повсюдне навчання підсилення" і в чому різниця між "Поточним навчанням …

20 machine-learning  reinforcement-learning 

У тесті статистичної значущості за підписами Вілкоксона ми зіткнулися з деякими даними, які дають значення значення 0,04993 . З порогом p < 0,05 , чи достатньо цього результату, щоб відкинути нульову гіпотезу, чи безпечніше сказати, що тест був непереконливим, оскільки якщо ми округлимо значення p до 3 десяткових знаків, воно …

20 hypothesis-testing  statistical-significance  p-value 

З Енциклопедії статистичних наук я розумію, що за даними дихотомічних (бінарних: 1 = присутній; 0 = відсутніх) атрибутів (змінних) ми можемо сформувати таблицю непередбачених ситуацій для будь-яких двох об'єктів i та j вибірки:ppp j 1 0 ------- 1 | a | b | i ------- 0 | c | d …

20 binary-data  similarities  association-measure 

Вікіпедія та віньєтка із сендвіч-пакету R надають хорошу інформацію про припущення, що підтримують стандартні помилки коефіцієнта OLS та математичну основу сендвіч-оцінювачів. Мені все ще не зрозуміло, як вирішується проблема гетероседастичності залишків, мабуть, тому, що я не розумію в першу чергу стандартну оцінку дисперсії коефіцієнтів OLS. Яка інтуїція стоїть за сендвіч-оцінкою?

20 multiple-regression  residuals  heteroscedasticity  robust-standard-error 

Чи є спосіб перевірити лінійну відокремленість двокласного набору даних у великих розмірах? Мої вектори функцій 40-довгі. Я знаю, що я завжди можу проводити експерименти з логістичною регресією та визначати швидкість поштовху проти помилкової тривоги, щоб зробити висновок, чи є два класи лінійно відокремленими чи ні, але було б добре знати, …

20 machine-learning  classification 

Чи може хтось довести наступний зв’язок між метрикою інформації Фішера та відносною ентропією (або розбіжністю KL) чисто математично суворим способом? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3) де a=(a1,…,an),da=(da1,…,dan)a=(a1,…,an),da=(da1,…,dan)a=(a^1,\dots, a^n), da=(da^1,\dots,da^n) , gi,j=∫∂i(logp(x;a))∂j(logp(x;a)) p(x;a) dxgi,j=∫∂i(log⁡p(x;a))∂j(log⁡p(x;a)) p(x;a) dxg_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log …

20 mathematical-statistics  kullback-leibler  fisher-information 

Припустимо, - неперервні випадкові величини з кінцевими секундами. Варіант сукупності коефіцієнта кореляції коефіцієнта кореляції Спірмена ρ_s можна визначити як коефіцієнт продуктового моменту Пірсона ρ інтегралів ймовірності, перетворює F_X (X) і F_Y (Y) , де F_X, F_Y - це cdf's X і Y , тобтоX,YX,YX,Yρsρsρ_sFX(X)FX(X)F_X(X)FY(Y)FY(Y)F_Y(Y)FX,FYFX,FYF_X,F_YXXXYYY ρs(X,Y)=ρ(F(X),F(Y))ρs(X,Y)=ρ(F(X),F(Y))ρ_s(X,Y)=ρ(F(X),F(Y)) . Цікаво, чи можна взагалі …

20 correlation  pearson-r  spearman-rho 

У підході до алгоритму ЕМ ми використовуємо нерівність Дженсена, щоб дійти доlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlog⁡p(x|θ)≥∫log⁡p(z,x|θ)p(z|x,θ(k))dz−∫log⁡p(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz і визначимо через θ ( k + 1 ) = arg max θ ∫ log p ( z , x | θ ) p ( z …

20 mixture  expectation-maximization 

Я не хочу знати, чи мають деякі явища в природі нормальне поширення, але чи можемо ми десь побачити форму нормальної кривої, як ми можемо бачити її, наприклад, у полі Галтона. Дивіться цю цифру з Вікіпедії. Зауважте, що багато математичних фігур чи кривих прямо бачать у природі, наприклад, золоту середину та …

20 distributions  normality-assumption 

Я хочу реалізувати алгоритм EM вручну , а потім порівняти його з результатами normalmixEMз mixtoolsпакета. Звичайно, я був би радий, якщо вони обоє призведуть до однакових результатів. Основна довідка - Джеффрі Маклахлан (2000), Моделі кінцевих сумішей . У мене щільність суміші двох гауссів, загалом вигляд, імовірність журналу визначається (Маклаклан, сторінка …

20 r  expectation-maximization  gaussian-mixture 

Я використовую libsvm в режимі C-SVC з поліномним ядром ступеня 2, і мені потрібно тренувати кілька SVM. Кожен навчальний набір має 10 функцій та 5000 векторів. Під час тренінгу я отримую це попередження для більшості СВМ, які я треную: WARNING: reaching max number of iterations optimization finished, #iter = 10000000 …

20 machine-learning  cross-validation  svm  regularization  libsvm 

Брейман каже, що дерева вирощуються з поза обрізкою. Чому? Я маю на увазі сказати, що повинна бути вагома причина, чому дерева у випадкових лісах не обрізають. З іншого боку, дуже важливо обрізати єдине дерево рішень, щоб уникнути надмірного розміщення. Чи є література доступна для читання з цієї причини? Звичайно, дерева …

20 machine-learning 

Співробітниця аналізує деякі біологічні дані для своєї дисертації з деякою неприємною гетероседастичністю (малюнок нижче). Вона аналізує це за змішаною моделлю, але все ще має проблеми з залишками. Перетворення змінних відповідей змін журналу очищує речі, і на основі відгуків на це питання, здається, є відповідним підходом. Однак спочатку ми думали, що …

20 mixed-model  poisson-distribution  biostatistics 

Дані для певних видів змінних, як правило, є ненормальними, якщо вимірюватись у певних популяціях (наприклад, рівень депресії у популяції людей з великим депресивним розладом). Враховуючи, що Пірсон припускає нормальність, наскільки надійною є статистика тесту в умовах ненормативності? У мене є ряд змінних, для яких я хотів би коефіцієнтів кореляції, але …

20 correlation 

Я працюю над алгоритмом, який спирається на те, що спостереження YYY s зазвичай розподіляються, і я хотів би перевірити стійкість алгоритму до цього припущення емпірично. Щоб зробити це, я шукав послідовність перетворень T1(),…,Tn()T1(),…,Tn()T_1(), \dots, T_n() , яка буде поступово руйнувати нормальності YYY . Наприклад, якщо YYY s нормальні, вони мають …

20 data-transformation  normality-assumption  skewness  kurtosis