Статистика та великі дані

У мене питання щодо кластерного аналізу. Є 3000 компаній, які повинні бути кластеризовані відповідно до їх енергоспоживання протягом 5 років. Кожна компанія має значення для кожної години протягом 5 років. Я хотів би дізнатись, чи мають деякі компанії однакову схему використання потужностей протягом періоду часу. Результати слід використовувати для щоденного …

22 time-series  clustering  spss 

Були хороші запитання щодо поводження з незбалансованими даними в контексті класифікації , але мені цікаво, що люди роблять для вибірки регресії. Скажімо, проблемний домен дуже чутливий до знаку, але лише дещо чутливий до величини цілі. Однак величина досить важлива, щоб модель мала регресію (суцільна ціль), а не класифікацію (позитивні та …

22 regression  sampling  unbalanced-classes 

Поки що я використовував статистику Шапіро-Вілка, щоб перевірити припущення щодо нормальності в невеликих зразках. Чи можете ви порадити іншу техніку?

22 hypothesis-testing  goodness-of-fit  normality-assumption  small-sample 

Я намагався розвинути на основі інтуїції розуміння теореми Байєса з точки зору попередньої , задньої , вірогідності та граничної ймовірності. Для цього я використовую таке рівняння: де являє собою гіпотезу чи переконання, а являє собою дані чи докази. Я зрозумів поняття заднього - це об'єднавча сутність, яка поєднує попередню віру …

22 bayesian  likelihood  intuition 

Я деякий час працюю з конволюційними нейронними мережами (CNN), в основному над даними зображень для семантичної сегментації / сегментації екземплярів. Я часто візуалізував софтмакс мережевого виходу як "теплову карту", щоб побачити, наскільки високі активації пікселя для певного класу. Я інтерпретував низькі активації як "невизначені" / "невпевнені", а високі - як …

22 probability  deep-learning  conv-neural-network  uncertainty  softmax 

Я хочу повернути змінну на x , x 2 , … , x 5 . Чи слід це робити за допомогою сирих або ортогональних многочленів? Я переглянув питання на сайті, яке займається цим, але я не розумію, в чому різниця між їх використанням. yyyx,x2,…,x5x,x2,…,x5x,x^2,\ldots,x^5 Чому я не можу просто зробити …

22 r  regression  polynomial 

Я розумію, що при машинному навчанні це може бути проблемою, якщо ваш набір даних має дуже корельовані функції, оскільки вони ефективно кодують ту саму інформацію. Нещодавно хтось зазначав, що коли ви робите одноразове кодування за категоріальною змінною, ви отримуєте корельовані функції, тому вам слід відкинути один із них як "посилання". …

22 regression  machine-learning  categorical-data  discrete-data  categorical-encoding 

Я розумію, що аналіз основних компонентів (PCA) можна застосовувати в основному для даних поперечного перерізу. Чи може PCA ефективно використовуватись для даних часових рядів, вказавши рік як змінну часових рядів та нормально працює PCA? Я виявив, що динамічний PCA працює для панельних даних, а кодування в Stata призначене для даних …

22 time-series  pca 

Яка мотивація введення додаткового рівня опосередкованості від описового 'хибного додатного' до цілого числа '1'? Чи справді "помилковий позитив" занадто довгий?

21 terminology  frequentist  type-i-and-ii-errors 

Це було задано і на інших веб-сайтах SE в контексті операційних систем та лінійної алгебри, але те саме питання викликає помилок щодо методів ядра, використовуваних у статистиці та машинному навчанні. Часто кажуть, що ядра, наприклад, в оцінці щільності ядра або SVM, являють собою якусь схожість, але я не знаю, звідки …

21 terminology 

Я спробував звичайний пошук у Google і т. Д., Але більшість відповідей, які я знаходжу, є чимось неоднозначними, або специфічними для мови / бібліотеки, такими як Python або C ++ stdlib.hтощо. Як приклад, багато хто говорить, що насіння є початковою точкою генератора випадкових чисел і те саме насіння завжди видає …

21 random-generation 

Деякі джерела кажуть, що ймовірність функції не є умовною ймовірністю, деякі кажуть, що вона є. Це дуже бентежить мене. Згідно з більшістю джерел, які я бачив, вірогідність розподілу з параметром θθ\theta повинна бути добутком функцій масової ймовірності, заданих nnn зразками xixix_i : L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(θ)=L(x1,x2,...,xn;θ)=∏i=1np(xi;θ)L(\theta) = L(x_1,x_2,...,x_n;\theta) = \prod_{i=1}^n p(x_i;\theta) Наприклад, у …

21 probability  bayesian  conditional-probability  likelihood  frequentist 

Скажімо, у мене є такі цифри: 4,3,5,6,5,3,4,2,5,4,3,6,5 Я вибираю деякі з них, скажімо, 5 з них, і обчислюю суму 5 зразків. Потім я повторюю це знову і знову, щоб отримати багато сум, і я розміщую значення сум у гістограмі, яка буде гауссова завдяки теоремі центрального граничного значення. Але коли вони …

21 central-limit-theorem 

Я щойно провів аналіз своїх даних за допомогою логістичної регресії, однак мені також потрібно мати описову частину статистики у своєму звіті. Я, чесно кажучи, не бачу сенсу в цьому, і я сподівався, що хтось, можливо, зможе пояснити, чому це потрібно. Наприклад, якщо я побудую гістограму однієї з моїх незалежних безперервних …

21 descriptive-statistics  reporting 

Мені цікаво твердження, подане у статті Вікіпедії щодо розміру ефекту . Конкретно: [...] ненульове статистичне порівняння завжди покаже статистично значущі результати, якщо розмір ефекту сукупності точно не дорівнює нулю Я не впевнений, що це означає / має на увазі, не кажучи вже про аргумент, щоб підкріпити це. Я гадаю, зрештою, …

21 hypothesis-testing