Статистика та великі дані

Це питання було задано в CV кілька років тому, але, здається, варто зробити репост з огляду на 1) на порядок кращу обчислювальну технологію (наприклад, паралельні обчислення, HPC тощо) та 2) новіші методи, наприклад [3]. По-перше, якийсь контекст. Припустимо, мета - не тестування гіпотез, не оцінка ефекту, а прогнозування на невидимому …

67 machine-learning  modeling  feature-selection  model-selection  prediction 

Я новачок у незалежному аналізі компонентів (ICA) і просто розумію цей метод. Мені здається, що ІКА схожа на Факторний аналіз (FA) за одним винятком: ICA передбачає, що спостережувані випадкові величини є лінійною комбінацією незалежних компонентів / факторів, які не є гауссовими, тоді як класична модель FA передбачає, що спостережувані випадкові …

67 multivariate-analysis  factor-analysis  ica 

У Вікіпедії сказано, що: математика [ймовірності] багато в чому не залежить від будь-якої інтерпретації ймовірності. Питання: Тоді , якщо ми хочемо бути математично правильно, ми не повинні відкидати будь-яку інтерпретацію ймовірності? Тобто, чи баєсийський, так і частолізм математично неправильні? Я не люблю філософію, але я люблю математику, і хочу працювати …

67 probability  bayesian  frequentist  philosophical  kolmogorov-axioms 

Рекурентні нейронні мережі відрізняються від "регулярних" тим, що вони мають шар "пам'яті". Завдяки цьому шару, періодичні NN повинні бути корисними при моделюванні часових рядів. Однак я не впевнений, що я правильно розумію, як ними користуватися. Скажімо, у мене є такий часовий ряд (зліва направо):, [0, 1, 2, 3, 4, 5, …

67 time-series  machine-learning  neural-networks 

Я ніколи не бачив різниці між цими двома заходами конвергенції. (Або насправді будь-який з різних типів конвергенції, але я згадую про ці дві особливості через слабкі та сильні закони великих чисел.) Звичайно, я можу навести визначення кожного з них і навести приклад, коли вони відрізняються, але я все ще не …

67 probability  random-variable 

У мене є деякі порядкові дані, отримані з питань опитування. У моєму випадку це відповіді у стилі Лікерта (категорично не погоджуюсь-не погоджуюся-нейтрально-погоджуюся - сильно погоджуюсь). У моїх даних вони кодуються як 1-5. Я не думаю, що засоби означатимуть тут багато чого, тому яка основна підсумкова статистика вважається корисною?

67 descriptive-statistics  likert  ordinal-data 

Хтось знає, для чого застосовується зміщення в регресії Пуассона? Чого ви досягаєте цим?

67 poisson-regression  offset 

Формула для обчислення дисперсії має у знаменнику:(n−1)(n−1)(n-1) s2=∑Ni=1(xi−x¯)2n−1s2=∑i=1N(xi−x¯)2n−1s^2 = \frac{\sum_{i=1}^N (x_i - \bar{x})^2}{n-1} Я завжди цікавився, чому. Однак, читаючи та переглядаючи кілька хороших відеороликів про "чому" це, здається, - це хороший об'єктивний оцінювач мінливості населення. Тоді як занижує і завищує дисперсію населення.(n−1)(n−1)(n-1)nnn(n−2)(n−2)(n-2) Що мені цікаво знати, це те, що в …

67 variance  unbiased-estimator  proof  history 

При аналізі основних компонентів (PCA) ми отримуємо власні вектори (одиничні вектори) та власні значення. Тепер визначимо навантаження як Loadings=Eigenvectors⋅Eigenvalues−−−−−−−−−−√.Loadings=Eigenvectors⋅Eigenvalues.\text{Loadings} = \text{Eigenvectors} \cdot \sqrt{\text{Eigenvalues}}. Я знаю, що власні вектори - це лише напрямки, а навантаження (як визначено вище) також включає дисперсію за цими напрямками. Але для свого кращого розуміння я хотів …

67 pca 

Я читав про ядро ​​PCA ( 1 , 2 , 3 ) з ядрами Гаусса та поліномами. Як ядро ​​Гаусса надзвичайно добре відокремлює, здавалося б, будь-який вид нелінійних даних? Будь ласка, дайте інтуїтивний аналіз, а також, якщо можливо, математично залучений. Яка властивість ядра Гаусса (з ідеалом ), якого не мають …

67 machine-learning  pca  svm  kernel-trick 

Я роблю кілька обчислень на різних матрицях (головним чином у логістичній регресії), і я часто отримую помилку "Матриця є сингулярною", де мені потрібно повернутися назад і видалити корельовані змінні. Моє запитання тут - що б ви вважали "сильно" корельованою матрицею? Чи є порогове значення кореляції для відображення цього слова? Як …

66 regression  correlation  matrix  multicollinearity  singular 

У мене є кілька сотень вимірювань. Тепер я розглядаю можливість використання певного програмного забезпечення для співвіднесення кожного з кожним заходом. Це означає, що є тисячі кореляцій. Серед них має бути (статистично) висока кореляція, навіть якщо дані є абсолютно випадковими (кожен захід має лише близько 100 точок даних). Коли я знаходжу …

66 correlation  multiple-comparisons  permutation-test 

Це не питання домашньої роботи, а реальна проблема, з якою стикається наша компанія. Зовсім недавно (2 дні тому) ми замовили виготовлення 10000 етикеток продукції у дилера. Дилер - незалежна людина. Він отримує етикетки, виготовлені ззовні, і компанія здійснює оплату продавцю. Кожна етикетка коштувала компанії рівно $ 1. Вчора дилер прийшов …

66 probability  bayesian  model  decision-theory 

Я бачу, як цей образ пройшов багато. Я відчуваю, що інформація, яка надається таким чином, є якось неповною або навіть помилковою, але я недостатньо добре розбираюся у статистиці, щоб відповісти. Мене змушує задуматися над цим коміксом xkcd , що навіть маючи ґрунтовні історичні дані, певні ситуації можуть змінити те, як …

66 probability  interpretation  prediction 

У більшості завдань машинного навчання, де можна сформулювати деяку ймовірність яку слід максимально збільшити, ми б насправді оптимізували ймовірність замість ймовірності для деяких параметрів . Наприклад, у навчанні з максимальною вірогідністю, зазвичай це ймовірність журналу. Якщо робити це за допомогою градієнтного методу, це включає чинник:ppplogplog⁡p\log pθθ\theta ∂logp∂θ=1p⋅∂p∂θ∂log⁡p∂θ=1p⋅∂p∂θ \frac{\partial \log p}{\partial …

66 probability  optimization  log-likelihood