Статистика та великі дані

Я натрапив на цю нитку, дивлячись на відмінності між завантажувальним завантаженням та перехресною валідацією - чудова відповідь та посилання до речі. Що мені цікаво , зараз, якби я повинен був виконати повторне 10-кратне CV слова для розрахунку точності класифікатора в, скільки разів н я повинен повторити? Чи залежить n від …

18 cross-validation 

У мене є кадр даних, який містить два часові ряди: дати та номери версій версій Emacs та Firefox. За допомогою однієї команди ggplot2 легко скласти діаграму, яка використовує loess (таким чином, що виглядає трохи кумедно, що я не заперечую), щоб перетворити точки в рядки. Як я можу продовжити лінії в …

18 prediction  ggplot2 

Чому дивергенція KL є негативною? З точки зору теорії інформації, я маю таке інтуїтивне розуміння: Скажімо, є два ансамблі AAA і BBB які складаються з одного набору елементів, позначених xxx . p(x)p(x)p(x) і q(x)q(x)q(x) - різні розподіли ймовірностей щодо ансамблів AAA і BBB відповідно. З точки зору теорії інформації, являє …

18 information-theory  kullback-leibler 

Я намагаюся зрозуміти, як я можу отримати важливість функції категоричної змінної, яка була розбита на фіктивні змінні. Я використовую scikit-learn, який не обробляє для вас категоричні змінні, як це роблять R або h2o. Якщо я розбиваю категоричну змінну вниз на манекенні змінні, я отримую окремі імпорти функцій для класу в …

18 categorical-data  random-forest  interpretation  importance 

Зачинено. Це питання поза темою . Наразі відповіді не приймаються. Хочете вдосконалити це питання? Оновіть питання, щоб воно було тематичним для перехресної перевірки. Закрито 2 роки тому . Поки що я видалив колінеарні змінні як частину процесу підготовки даних, переглянувши таблиці кореляції та усунувши змінні, що перевищують певний поріг. Чи …

18 python  multicollinearity  scikit-learn 

Я хочу реалізувати алгоритм у статті, яка використовує ядро ​​SVD для розкладання матриці даних. Тому я читав матеріали про методи ядра та PCA ядра тощо. Але це все ще дуже незрозуміло для мене, особливо якщо мова йде про математичні деталі, і у мене є кілька питань. Чому методи ядра? Або …

18 pca  svd  kernel-trick 

Я щойно закінчив читати цю дискусію. Вони стверджують, що PR AUC кращий за RUC AUC на незбалансованому наборі даних. Наприклад, у нас є 10 зразків тестових наборів даних. 9 зразків є позитивними та 1 - негативними. У нас є жахлива модель, яка прогнозує все позитивне. Таким чином, ми матимемо метрику, …

18 machine-learning  model-selection  roc  unbalanced-classes  precision-recall 

Я бачив сюжети тесту / тренувальної помилки, які раптово падають у певні епохи під час тренувань нейронної мережі, і мені цікаво, що викликає ці стрибки продуктивності: Це зображення взято з Kaiming He Github, але подібні сюжети з'являються у багатьох роботах.

18 conv-neural-network 

Я написав програму, яка генерує випадкові дані. Якщо програма працює правильно, ці дані повинні слідувати конкретному, відомому розподілу ймовірностей. Я хотів би запустити програму, зробити деякі обчислення результату та придумати p-значення. До того, як хто-небудь ще скаже: Я розумію, що тестування гіпотез не може виявити, коли програма працює правильно. Він …

17 distributions  hypothesis-testing  random-generation 

У мене є числова змінна, яка виявляється несуттєвою в багатовимірній логістичній регресійній моделі. Однак, коли я класифікую його на групи, раптом він стає значущим. Для мене це дуже протиінтуїтивно: коли класифікуємо змінну, ми видаємо деяку інформацію. Як це може бути?

17 regression  logistic  statistical-significance  multivariate-analysis 

Контекст: У прикладі 8-шкільних шкіл Гельмана (Bayesian Data Analysis, 3-е видання, гл. 5.5) є 8 паралельних експериментів у 8 школах, які перевіряють ефект коучингу. Кожен експеримент дає оцінку ефективності коучінгу та пов'язаної з ним стандартної помилки. Потім автори будують ієрархічну модель для 8 точок даних ефекту коучінга наступним чином: yi∼N(θi,sei)θi∼N(μ,τ)yi∼N(θi,sei)θi∼N(μ,τ) …

17 bayesian  hierarchical-bayesian 

Я прочитав незліченну кількість публікацій на цьому веб-сайті, які надзвичайно суперечать використанню ступінчастого вибору змінних, використовуючи будь-який критерій, будь то p-значення, AIC, BIC тощо. Я розумію, чому ці процедури взагалі досить погані для вибору змінних. Мабуть, відомий пост Гунґа тут чітко ілюструє, чому; врешті-решт ми перевіряємо гіпотезу на тому ж …

17 forecasting  predictive-models  arima  aic  stepwise-regression 

Я тренував лінійну регресійну модель, використовуючи набір змінних / особливостей. І модель має хороші показники. Однак я зрозумів, що немає змінної, яка б добре співвідносилась із прогнозованою змінною. Як це можливо?

17 regression  machine-learning  correlation  multiple-regression  linear-model 

Чому букву Q обрали від імені Q-навчання? Більшість букв вибираються як абревіатура, наприклад, що відповідає політиці, і v означає значення. Але я не думаю, що Q - це абревіатура жодного слова.ππ\pivvv

17 terminology  reinforcement-learning  history  q-learning 

Кажуть, що пеналізовані регресійні оцінки, такі як LASSO та гребінь, відповідають байєсівським оцінкам з певними приорами. Я здогадуюсь (оскільки я недостатньо знаю статистику Баєса), що для фіксованого параметра настроювання існує конкретний відповідний пріоритет. Тепер частофіліст оптимізував параметр настройки шляхом перехресної перевірки. Чи є баєсівський еквівалент цього чи використовується він взагалі? …

17 bayesian  lasso  ridge-regression