Статистика та великі дані

Як можна використовувати вкладені перехресні перевірки для вибору моделі ? З того, що я читаю в Інтернеті, вкладене резюме працює наступним чином: Існує внутрішній цикл резюме, де ми можемо провести пошук по сітці (наприклад, запустивши K-кратно для кожної доступної моделі, наприклад, комбінація гіперпараметрів / функцій) Є зовнішня петля CV, де …

91 cross-validation  model-selection 

Хтось задав мені це запитання в інтерв'ю для роботи, і я відповів, що їх спільний розподіл завжди гауссовий. Я думав, що я завжди можу написати двозначного гаусса їх засобами та дисперсією та коваріацією. Мені цікаво, чи може бути випадок, для якого спільна ймовірність двох гауссів не є гауссом?

91 normal-distribution  multivariate-analysis  copula  bivariate 

Я багато разів чув про прокляття розмірності, але якось ще не в змозі зрозуміти цю думку, це все туманно. Чи може хтось пояснити це найбільш інтуїтивно, як ви пояснили це дитині, щоб я (та інші, що плуталися, як і я) міг зрозуміти це назавжди? Редагувати: А тепер скажімо, що дитина …

91 machine-learning  dimensionality-reduction  high-dimensional 

Чи може хтось детально пояснити мені про максимальну оцінку ймовірності (MLE) з точки зору мирян? Я хотів би дізнатись основної концепції, перш ніж переходити до математичного виведення чи рівняння.

91 mathematical-statistics  maximum-likelihood  intuition  definition  philosophical 

ANOVA еквівалентна лінійній регресії з використанням відповідних фіктивних змінних. Висновки залишаються тими ж незалежно від того, використовуєте ви ANOVA чи лінійну регресію. Чи зважаючи на їх еквівалентність, чи є якась причина, чому ANOVA використовується замість лінійної регресії? Примітка: Мені особливо цікаво почути технічні причини використання ANOVA замість лінійної регресії. Редагувати …

91 regression  anova 

У недавньому колоквіумі реферат доповідача стверджував, що вони використовують машинне навчання. Під час бесіди єдиним, що стосується машинного навчання, було те, що вони виконують лінійну регресію за своїми даними. Після обчислення коефіцієнтів найкращого пристосування в просторі параметрів 5D вони порівняли ці коефіцієнти в одній системі з коефіцієнтами найкращого пристосування інших …

90 regression  machine-learning  multiple-regression  terminology  definition 

У мене є ставка з колегою, що з 50 ігор пінг-понгу (перший виграв 21 очко, виграв 2) я виграю всі 50. Поки ми грали 15 ігор і в середньому я виграю 58% очки, плюс я виграв усі ігри до цих пір. Тож нам цікаво, чи є у мене 58% шансів …

90 probability  games 

Загалом, що мається на увазі під тим, що частка дисперсії в аналізі на зразок PCA пояснюється першою основною складовою? Чи може хтось пояснити це інтуїтивно, але також дати точне математичне визначення того, що означає "роз’яснення дисперсії" з точки зору аналізу основних компонентів (PCA)?хxx Для простої лінійної регресії r-квадрат найкращої підходящої …

90 regression  pca  linear-model  dimensionality-reduction 

Ми часто чуємо про управління проектами та схеми дизайну в інформатиці, але рідше - про статистичний аналіз. Однак, здається, що вирішальним кроком до розробки ефективного та довговічного статистичного проекту є організація речей. Я часто виступаю за використання R та послідовної організації файлів в окремих папках (необроблений файл даних, перетворений файл …

89 project-management 

Чи було проведено якесь дослідження щодо того, які найкращі кольори використовувати для показу кількох серій на одному сюжеті? Я щойно використовував параметри за замовчуванням matplotlib, і вони виглядають трохи по-дитячому, оскільки вони все яскраві, основні кольори.

89 data-visualization 

У мене виникло питання про інтерпретацію графіків, породжених сюжетом (лм) в Р. Мені було цікаво, чи можете ви, хлопці, сказати мені, як інтерпретувати розміщення розміру та залишкові важелі? Будь-які коментарі будуть вдячні. Припустимо базові знання зі статистики, регресії та економетрики.

89 r  regression  data-visualization  residuals  outliers 

Існує кілька варіантів, як нормалізувати зображення, але більшість, здається, використовують ці два методи: Віднімаємо середнє значення на канал, обчислене для всіх зображень (наприклад, VGG_ILSVRC_16_layers ) Віднімання за пікселем / каналом, розраховане на всі зображення (наприклад, CNN_S , також див . Довідкову мережу Caffe ) Природний підхід міг би придумати нормалізацію …

88 deep-learning  image-processing 

Ось як я зрозумів вкладені та перехрещені випадкові ефекти: Вкладені випадкові ефекти виникають, коли коефіцієнт нижчого рівня виявляється лише в межах певного рівня фактора верхнього рівня. Наприклад, учні в межах занять у визначений час. В lme4Я думав , що ми представляємо випадкові ефекти для вкладених даних в одному з двох …

88 r  mixed-model  multilevel-analysis  lme4-nlme 

Які діагностичні діаграми (і, можливо, формальні тести) ви вважаєте найбільш інформативними для регресій, де результат є змінною? Мене особливо цікавлять моделі Пуассона та негативні біноміальні моделі, а також нульові надуті та перешкоди для кожної з них. Більшість джерел, які я знайшов, просто побудують залишки проти встановлених значень без обговорення того, …

88 generalized-linear-model  residuals  negative-binomial  zero-inflation  poisson-regression 

Розподіл гами може набувати досить широкого діапазону форм, а враховуючи зв'язок між середньою та дисперсією через два її параметри, здається, підходить для боротьби з гетерокедастичністю в негативних даних таким чином, що OLS-трансформований OLS може не обійтися ні WLS, ні яким-небудь гетероскестичним оцінкою VCV. Я б скоріше використовував це для рутинного …

88 generalized-linear-model  gamma-distribution