Статистика та великі дані

Коротка версія: Ми знаємо, що логістичну регресію та пробіт-регресію можна інтерпретувати як такі, що включають суцільну приховану змінну, яка стає дискретизованою відповідно до деякого фіксованого порогу перед спостереженням. Чи існує аналогічна латентна мінлива інтерпретація, скажімо, для пуассонової регресії? Як щодо біноміальної регресії (наприклад, logit або probit), коли є більше двох …

21 logistic  generalized-linear-model  poisson-regression  probit  latent-variable 

Розглянемо регресію хребта з додатковим обмеженням, що вимагає, щоб має одиницю суми квадратів (еквівалентно одиниці дисперсії); при необхідності можна припустити, що має одиничну суму квадратів:y^y^\hat{\mathbf y}yy\mathbf y β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1.β^λ∗=arg⁡min{‖y−Xβ‖2+λ‖β‖2}s.t.‖Xβ‖2=1.\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1. Яка межа β^∗λβ^λ∗\hat{\boldsymbol\beta}_\lambda^* коли λ→∞λ→∞\lambda\to\infty ? Ось кілька тверджень, які …

21 pca  regularization  ridge-regression  partial-least-squares  constrained-regression 

На конференції я почув таке твердження: 100 вимірювань для 5 суб'єктів дають набагато менше інформації, ніж 5 вимірювань для 100 предметів. Це начебто очевидно, що це правда, але мені було цікаво, як можна це довести математично ... Я думаю, що можна використовувати лінійну змішану модель. Однак я не знаю багато …

21 mixed-model  variance  repeated-measures  sample-size  intraclass-correlation 

Останнім часом читав кілька запитань щодо t-SNE ( t-Distributed Stochastic Neighbor Embedding ), а також відвідав декілька питань щодо MDS ( багатовимірного масштабування ). Вони часто використовуються аналогічно, тому здавалося, що непогано змусити це запитання, побачивши, що тут є багато питань як щодо, так і окремо (або порівняно з PCA …

21 data-visualization  dimensionality-reduction  multidimensional-scaling  tsne 

Чи в статистиці незалежні та випадкові описують однакові характеристики? Яка різниця між ними? Ми часто стикаємось з описом на зразок "двох незалежних випадкових змінних" або "випадкової вибірки". Мені цікаво, яка точна різниця між ними. Чи може хтось пояснити це і навести кілька прикладів? наприклад, незалежний, але випадковий процес?

21 distributions  sampling  randomness 

Фон: Так, для обмеження ваг нейронної мережі МОЖЕ бути використана обмежена машина Больцмана (БРМ). Також його можна використовувати "пошарово" шляхом побудови глибокої мережі вірування (тобто тренування -го шару на верхньому ( n - 1 ) -го шару, а потім для підготовки -й шар у верхній частині -го шару, промийте і …

21 machine-learning  neural-networks  deep-learning  deep-belief-networks  rbm 

На основі мало знань, які я маю щодо методів MCMC (ланцюг Маркова Монте-Карло), я розумію, що відбір проб є важливою частиною вищезгаданої методики. Найпоширенішими методами відбору проб є Гамільтоніан та Метрополіс. Чи є спосіб використовувати машинне навчання або навіть глибоке навчання для побудови більш ефективного пробника MCMC?

21 machine-learning  mcmc  monte-carlo  markov-process 

Багато PDF-файлів варіюються від мінус до позитивної нескінченності, проте деякі засоби визначені, а деякі - ні. Яка загальна ознака робить деякі обчислювальними?

21 distributions  mean 

Я розумію, що навіть якщо в відповідності з належною перехресної процедурою вибору перевірки і моделі, перенавчання буде , якщо один шукає в моделі досить важко , якщо накласти обмеження на складності моделі, період. Крім того, часто люди намагаються навчитися штрафувати щодо складності моделі з даних, що підриває захист, який вони …

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

Моє запитання виріс із обговорення з @whuber в коментарях до іншого питання . Зокрема, коментар @whuber був такий: Однією з причин, яка може вас здивувати, є те, що припущення, що лежать в основі тесту кореляції та тесту регресійного нахилу, різні - тож навіть коли ми розуміємо, що кореляція та нахил …

21 regression  correlation  p-value  assumptions 

Чому люди використовують методи квадратичного програмування (наприклад, SMO) при роботі з ядрами SVM? Що не так з градієнтним узвозом? Чи неможливо користуватися ядрами або це занадто повільно (і чому?). Ось трохи більше контексту: намагаючись зрозуміти SVMs трохи краще, я використовував Gradient Descent для підготовки лінійного класифікатора SVM, використовуючи наступну функцію …

21 svm  kernel-trick  gradient-descent 

Нещодавно я працював над вивченням алгоритмів прискорення, таких як adaboost, gradient boost, і я знав той факт, що найпоширенішими слабовживаними є дерева. Мені дуже хочеться знати, чи є кілька останніх успішних прикладів (я маю на увазі деякі статті чи статті) для використання нейронних мереж як базового учня.

21 neural-networks  deep-learning  boosting  ensemble  dropout 

EDIT: Оскільки це питання завищене, підсумок: пошук різних значущих та інтерпретованих наборів даних із однаковою змішаною статистикою (середня, середня, середня та їх пов’язана дисперсія та регресія). Квартет Anscombe (див. Призначення візуалізації даних високих розмірів? ) - відомий приклад чотирьох наборів даних - , з однаковим граничним середнім / стандартним відхиленням …

21 regression  descriptive-statistics  curve-fitting  estimators 

Я читав звіт про переможне рішення конкурсу Kaggle ( Класифікація зловмисних програм ). Звіт можна знайти у цьому дописі на форумі . Проблема була проблемою класифікації (дев'ять класів, метрика - логарифмічна втрата) із 10000 елементами в наборі поїздів, 10000 елементами в тестовому наборі. Під час змагань моделі оцінювались проти 30% …

21 machine-learning  random-forest  boosting  overfitting  semi-supervised 

Я хочу моделювати логістичну регресію з незбалансованими даними (9: 1). Я хотів спробувати параметр ваг у glmфункції у R, але я не на 100% впевнений, що це робить. Скажімо, моя вихідна змінна c(0,0,0,0,0,0,0,0,0,1). тепер я хочу надати «1» вагу в 10 разів більше. тому я навожу аргумент ваг weights=c(1,1,1,1,1,1,1,1,1,1,1,10). Коли …

21 regression  logistic  classification  unbalanced-classes  weighted-data