Статистика та великі дані

Мені дуже подобається слухати прості пояснення складних проблем. Яка ваша улюблена аналогія чи анекдот, що пояснює складну статистичну концепцію? Моїм улюбленим є пояснення Мюррея коінтеграції з використанням п'яниці та її собаки. Мюррей пояснює, як два випадкові процеси (блукаюча п'яна та її собака Олівер) можуть мати одиничне коріння, але все ще …

36 teaching  communication 

Я намагаюся підходити до багатоваріантної лінійної регресійної моделі з приблизно 60 змінними предиктора та 30 спостереженнями, тому я використовую пакет glmnet для регульованої регресії, оскільки p> n. Я переглядав документацію та інші питання, але все ще не можу інтерпретувати результати, ось зразок коду (з 20 прогнозовами та 10 спостереженнями для …

36 r  regression  regularization  glmnet 

У алгоритмі теми теми LDA я бачив це припущення. Але я не знаю, чому обрав диріхлет? Я не знаю, чи можемо ми використовувати уніфікований розподіл по Multinomial як пару?

36 bayesian  dirichlet-distribution  conjugate-prior 

Питання: Чи існують експериментальні докази, що підтримують туфтеві, мінімалістичні візуалізації, що говорять на даних, над візуалізаціями, притаманними діаграмою, скажімо, Найджела Холмса ? Я запитав, як додати сюди графік-мотлох до сюжетів R, і відповідачі відкинули на мене здоровенну кількість примх. Тож, безумовно, повинні бути деякі експериментальні докази, до яких я не …

36 data-visualization 

Я ніколи не проходив курсу статистики, тому сподіваюся, що тут я прошу в потрібному місці. Припустимо, у мене є лише два дані, що описують нормальний розподіл: середнє та дисперсія . Я хочу використовувати комп'ютер для випадкового вибірки з цього розподілу, щоб я поважав ці дві статистичні дані.μμ\muσ2σ2\sigma^2 Цілком очевидно, що …

36 normal-distribution  sampling  computing 

Я не впевнений, як це слід називати, тому, будь ласка, виправте мене, якщо ви знаєте кращий термін. У мене є два списки. Один із 55 елементів (наприклад, вектор рядків), інший із 92. Назви елементів схожі, але не тотожні. Я хочу , щоб знайти кращий кандидат S в 92 списку елементів …

36 r  text-mining 

Які основні ідеї, тобто поняття, пов'язані з теоремою Байєса ? Я не прошу жодних похідних складних математичних позначень.

36 probability  bayesian  theory 

Інструментальні змінні стають все більш поширеними у прикладній економіці та статистиці. Для непосвячених, чи можемо ми отримати кілька нетехнічних відповідей на наступні питання: Що таке інструментальна змінна? Коли хочеться використовувати інструментальну змінну? Як можна знайти або вибрати інструментальну змінну?

36 regression  econometrics  instrumental-variables 

Якби я хотів отримати ймовірність 9 успіхів у 16 ​​випробуваннях з кожним випробуванням, що має ймовірність 0,6, я міг би використати біноміальний розподіл. Що я можу використати, якщо кожне з 16 випробувань має різну ймовірність успіху?

36 distributions  probability  binomial 

Перш за все, я зрозумів, що якщо мені потрібно виконувати двійкові прогнози, я повинен створити принаймні два класи за допомогою кодування з гарячим кодуванням. Це правильно? Однак чи є бінарна перехресна ентропія лише для прогнозів, що мають лише один клас? Якби я використовував категоричну перехресну втрату ентропії, яка зазвичай зустрічається …

36 machine-learning  neural-networks  loss-functions  tensorflow  cross-entropy 

Функція вартості нейронної мережі , і вона вважається невипуклою . Я не зовсім розумію, чому це саме так, оскільки, як я бачу, він цілком схожий на вартісну функцію логістичної регресії, правда?J(W,b)J(W,b)J(W,b) Якщо він невипуклий, значить, похідна 2-го порядку , правда?∂J∂W&lt;0∂J∂W&lt;0\frac{\partial J}{\partial W} < 0 ОНОВЛЕННЯ Завдяки нижченаведеним відповідям, а також …

36 neural-networks  loss-functions 

В чому полягає інтуїція того факту, що SVM з гауссовим ядром має кінцевий розмірний простір функцій?

36 svm  feature-selection  kernel-trick 

Мені було просто цікаво, чому проблеми регресії називають проблемами «регресії». За якою історією стоїть назва? Одне визначення для регресії: "Відношення до менш досконалого або розвиненого стану".

36 regression  terminology  history  etymology 

Я думаю, що я знаю загальне уявлення про VI та MCMC, включаючи різні аромати MCMC, такі як відбір проб Гіббса, Metropolis Hastings тощо. Цей документ пропонує чудову експозицію обох методів. У мене є такі питання: Якщо я хочу зробити байєсівський висновок, чому я б обрав один метод над іншим? Які …

36 machine-learning  bayesian  mcmc  variational-bayes  approximate-inference 

Я бачив формулу нормалізації min-max, але вона нормалізує значення від 0 до 1. Як я можу нормалізувати свої дані від -1 до 1? У матриці даних у мене є як негативні, так і позитивні значення.

36 dataset  normalization