Статистика та великі дані

Виконуючи лінійну класифікацію SVM, часто корисно нормалізувати дані тренувань, наприклад, віднімаючи середнє та ділення на стандартне відхилення, а потім масштабувати дані тесту із середнім та стандартним відхиленням даних тренувань. Чому цей процес різко змінює ефективність класифікації?

15 machine-learning  svm  standardization 

Припустимо, що дві групи, що складаються з і n 2, класифікують набір з 25 предметів від більшості до найменш важливих. Які найкращі способи порівняння цих рейтингів?н1n1n_1н2n2n_2 Зрозуміло, що можна зробити 25 тестів Манна-Вітні U, але це призведе до інтерпретації 25 результатів тестів, що може бути занадто багато (і при суворому …

15 ranking  group-differences 

Я програмую kNN алгоритм і хотів би знати наступне: Перерви у краватці: Що станеться, якщо чіткого переможця в голосуванні більшості немає? Наприклад, всі k найближчі сусіди є з різних класів, або для k = 4 є 2 сусіди з класу A і 2 сусіди з класу B? Що станеться, якщо …

15 k-nearest-neighbour  weights  ties 

Я тільки почав вчитися користуватися Стен і rstan. Якщо я завжди не плутався з тим, як працюють JAGS / BUGS, я вважав, що вам завжди потрібно визначити попередній розподіл для кожного параметра в моделі, з якої слід виводитись. Схоже, вам не доведеться робити цього в Стен на основі його документації. …

15 mcmc  prior  jags  graphical-model  stan 

Мені часто доводиться задавати питання на кшталт "Я знаю, що ця змінна лежить у і більша частина маси лежить у а потім постійно відхиляється до 1. Який розподіл я можу використовувати для моделювання її? "( 0 , 1 ) ( 0 , .20 )хxx( 0 , 1 )(0,1)(0,1)( 0 , …

15 distributions  references 

Я працював із взаємною інформацією деякий час. Але я знайшов зовсім недавній захід у «світі кореляції», який також можна використовувати для вимірювання незалежності розподілу, так звану «кореляцію відстані» (також названу броунівською кореляцією): http://en.wikipedia.org/wiki/Brownian_covariance . Я перевірив папери, де вводиться цей захід, але не знайшовши ніякої алюзії на взаємну інформацію. Отже, …

15 correlation  mutual-information  distance-covariance 

Я отримав результати тесту за рангом Манна-Вітні, який я не розумію. Медіана двох популяцій однакова (6,9). Верхні та нижчі кванти кожної групи населення: 6,64 & 7,2 6.60 & 7.1 Р-значення, отримане в результаті тесту порівняння цих сукупностей, становить 0,007. Чи можуть ці популяції суттєво відрізнятися? Це пов’язано з поширенням про …

15 nonparametric  median  ranks  wilcoxon-mann-whitney 

Нехай є розподіленою випадковою величиною c-квадратом з ступенями свободи. Назвіть найбільш чіткі відомі межі наступних ймовірностей kХ∼ χ2кX∼χk2X \sim \chi^2_kкkk Р [Х> t ] ≤ 1 - δ1( т , к )P[X>t]≤1−δ1(t,k) \mathbb{P}[X > t] \leq 1 - \delta_1(t, k) і Р [Х< z] ≤ 1 - δ2( z, к …

15 probability  chi-squared 

Я хотів би поради щодо методу аналізу, який я використовую, щоб знати, чи це він статистично звучить. Я виміряв дві точки процеси і Т 2 = т 2 1 , т 2 2 , . . . , t 2 м, і я хочу визначити, чи події в T 1 …

15 point-process  cross-correlation 

Я переглядаю документ, який використовує нерівність оракул, щоб довести щось, але я не в змозі зрозуміти, що він навіть намагається зробити. Коли я шукав в Інтернеті про "нерівність Oracle", деякі джерела направили мене до статті "Candes, Emmanuel J." Сучасна статистична оцінка через нерівності оракул ". "які можна знайти тут https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf …

15 mathematical-statistics  estimation  probability-inequalities  inequality  oracle 

Я хочу зробити проект оптичного розпізнавання символів (OCR). Після деяких досліджень я натрапив на архітектуру, яка здається цікавою: CNN + RNN + CTC. Мені знайомі стислі нейронні мережі (CNN) та періодичні нейронні мережі (RNN), але що таке часова класифікація коннекціоністів (CTC)? Мені б хотілося пояснення в умовах непростої людини.

15 machine-learning  deep-learning  conv-neural-network  rnn 

Чи не могли б хтось пояснити мені, чому потрібно нормалізувати дані при використанні K найближчих сусідів. Я намагався розібратися в цьому, але все ще не можу його зрозуміти. Я знайшов таке посилання: https://discuss.analyticsvidhya.com/t/why-it-is-ne необходимо-to-normalize-in-knn/2715 Але в цьому поясненні я не розумію, чому більший діапазон в одній з особливостей впливає на …

15 k-nearest-neighbour 

Я намагаюся зрозуміти нульові завищені розподіли. Хто вони? В чому справа? Якщо у мене є дані з багатьма нулями, то я міг би підходити до логістичної регресії спочатку обчислити ймовірність нулів, а потім я міг видалити всі нулі, а потім підходити до звичайної регресії за допомогою мого вибору розподілу (пуассон, …

15 zero-inflation 

Під час міні-серійного навчання нейронної мережі я почув, що важливою практикою є переміщення даних тренувань перед кожною епохою. Чи може хтось пояснити, чому перемішування в кожну епоху допомагає? З пошуку Google я знайшов такі відповіді: це допомагає навчанню швидко сходитися це запобігає будь-які упередження під час тренувань це заважає моделі …

15 neural-networks 

Що таке функція генерування моменту (MGF)? Чи можете ви пояснити це простим та легким прикладом? Будь ласка, обмежтесь, використовуючи офіційні математичні позначення, наскільки це можливо.

15 moments  intuition  mgf