Статистика та великі дані

Певні гіпотези можна перевірити, використовуючи t- test Стьюдента (можливо, використовуючи корекцію Уелча на неоднакові відхилення у випадку з двома зразками) або непараметричний тест, наприклад, тест парного підписання Вілкоксона з підписаним рангом, тест Вілкоксона-Манна-Вітні U, або тест на парні знаки. Як ми можемо прийняти принципове рішення про тест, який тест є …

96 hypothesis-testing  t-test  nonparametric  small-sample  wilcoxon-mann-whitney 

Багато класифікаторів машинного навчання (наприклад, машини, що підтримують вектор) дозволяють вказати ядро. Який би був інтуїтивний спосіб пояснення, що таке ядро? Один із аспектів, про які я думав, - це відмінність між лінійними та нелінійними ядрами. Простіше кажучи, я міг би говорити про «функції лінійного рішення» та «функції нелінійного рішення». …

96 machine-learning  svm  references  kernel-trick  intuition 

Під час використання SVM нам потрібно вибрати ядро. Цікаво, як вибрати ядро. Якісь критерії вибору ядра?

95 machine-learning  svm  kernel-trick 

Багато книг та навчальних посібників з нейронної мережі витрачають багато часу на алгоритм зворотного розповсюдження, який по суті є інструментом для обчислення градієнта. Припустимо, ми будуємо модель з параметрами / вагами ~ 10K. Чи можливо запустити оптимізацію за допомогою деяких алгоритмів оптимізації без градієнта? Я думаю, що обчислення числового градієнта …

94 machine-learning  neural-networks  optimization  backpropagation 

У контексті нейронних мереж, яка різниця між швидкістю навчання та зниженням ваги?

94 neural-networks  terminology 

Словосполучення р- хакінг (також: " дноуглублення даних" , "сунуння" або "риболовля") відноситься до різних видів статистичних зловживань, результати яких стають штучно статистично значущими. Існує багато способів досягти "більш значущого" результату, включаючи, але жодним чином не обмежуючись: тільки аналіз «цікаве» підмножина даних , в яких був знайдений зразок; невміння правильно налаштувати …

94 hypothesis-testing  statistical-significance  p-value  model-selection  reproducible-research 

Яку книгу ви б рекомендували вченим, які не є статистиками? Чітка доставка найбільше цінується. А також пояснення відповідних прийомів і методів для типових завдань: аналіз часових рядів, представлення та агрегація великих наборів даних.

94 references 

Припустимо, у мене є великий набір багатоваріантних даних, принаймні три змінні. Як я можу знайти аутлієрів? Парні розсіювачі не працюватимуть, оскільки можливе існування зовнішньої структури в трьох вимірах, що не є стороннім у жодному з двох розмірних підпросторів. Я думаю не про проблему регресії, а про справжні багатовимірні дані. Тож …

94 multivariate-analysis  outliers 

Чи є довідники (документи), які містять вичерпний перелік функцій активації в нейронних мережах разом з їх плюсами / мінусами (і в ідеалі деякі вказівники на публікації, де вони були успішними чи не такими успішними)?

94 neural-networks  references 

У своїй робочій ролі я часто працюю з наборами даних інших людей, неспеціалісти приносять мені клінічні дані, і я допомагаю їм узагальнити їх та провести статистичні тести. Проблема, яку я маю, полягає в тому, що набори даних, які мені привозять, майже завжди пронизані друкарськими помилками, невідповідностями та всіма іншими проблемами. …

93 dataset  outliers  checking 

Мені цікаво, як обчислити точність та згадати, використовуючи матрицю плутанини для задачі класифікації класів. Зокрема, спостереження може бути призначене лише його найбільш ймовірному класу / етикетці. Я хотів би обчислити: Точність = TP / (TP + FP) Нагадаємо = TP / (TP + FN) для кожного класу, а потім обчисліть …

92 machine-learning  classification  precision-recall  multi-class 

Я розумію, що стаціонарний часовий ряд - це той, середнє значення та дисперсія якого постійні у часі. Чи може хтось пояснити, чому ми маємо переконатися, що наш набір даних є нерухомим, перш ніж ми можемо на ньому запускати різні моделі ARIMA або ARM? Чи це стосується також звичайних регресійних моделей, …

92 regression  time-series  stationarity 

Коли хтось цікавиться статистикою, дихотомія "Частота" проти "Байєсіана" незабаром стає звичною (а хто так і не прочитав " Сигнал і шум" Нейт Сілвер ?). У переговорах та вступних курсах точка зору є надзвичайно частою ( MLE , значення), але, як правило, є невеликий проміжок часу, присвячений захопленню формулою Байєса і …

92 bayesian  mathematical-statistics  inference  bayes  frequentist 

Що таке коваріація простою мовою, і як вона пов'язана із термінами залежність , кореляція та дисперсія-коваріаційна структура стосовно проектів повторних заходів?

92 correlation  repeated-measures  terminology  covariance  independence 

У багатьох бібліотеках нейронної мережі є "вбудовувальні шари", як у Кераса або Лазанья . Я не впевнений, що розумію його функцію, незважаючи на те, що я читав документацію. Наприклад, у документації Keras написано: Перетворіть додатні цілі числа (індекси) у вектори денс фіксованого розміру, наприклад. [[4], [20]] -> [[0,25, 0,1], [0,6, …

92 machine-learning  neural-networks  python  word-embeddings