Статистика та великі дані

Чи може хтось мені пояснити, чому хтось обрав би параметричний над непараметричним статистичним методом для тестування гіпотез чи регресійного аналізу? На мій погляд, це як поїхати на рафтинг і вибрати не водостійкий годинник, тому що ви не зможете його намочити. Чому б не використати інструмент, який працює у кожному випадку?

60 regression  hypothesis-testing  mathematical-statistics  estimation  nonparametric 

В інших контекстах ортогональний означає «під прямим кутом» або «перпендикулярний». Що означає ортогональний у статистичному контексті? Дякую за будь-які роз’яснення.

60 descriptive-statistics 

З того, що мені відомо, використання ласо для змінного вибору вирішує проблему корельованих входів. Крім того, оскільки він еквівалентний регресії з найменшим кутом, він обчислюється не повільно. Однак багато людей (наприклад, люди, яких я знаю, що займаються біостатистикою) все ще, здається, віддають перевагу поетапному або поетапному змінному вибору. Чи є …

60 regression  feature-selection  lasso 

Припустимо, у нас є хтось, який будує модель прогнозування, але хтось не обов'язково добре розбирається в правильних статистичних або машинних принципах навчання. Можливо, ми допомагаємо цій людині, коли вона навчається, або, можливо, вона використовує якийсь програмний пакет, для використання якого потрібні мінімальні знання. Тепер ця людина може цілком зрозуміти, що …

60 machine-learning  classification  predictive-models  cross-validation  out-of-sample 

Ієрархічна кластеризація може бути представлена ​​дендрограмою. Вирізання дендрограми на певному рівні дає набір кластерів. Вирізання на іншому рівні дає ще один набір кластерів. Як би ви вибрали, де вирізати дендрограму? Чи є щось, що ми могли б вважати оптимальним моментом? Якщо я дивлюсь на дендрограму впродовж часу, коли вона змінюється, …

60 clustering  dendrogram 

Який спосіб (способи?) Візуально пояснити, що таке ANOVA? Будь-які посилання, посилання (R-пакети?) Будуть вітатися.

60 data-visualization  anova  teaching 

Загальна практика застосовувати PCA (аналіз основних компонентів) перед алгоритмом кластеризації (наприклад, k-засоби). Вважається, що це покращує результати кластеризації на практиці (зниження шуму). Однак мене цікавить порівняльне та поглиблене вивчення взаємозв'язку PCA та k-засобів. Наприклад, Кріс Дінг та Xiaofeng He, 2004 р., K-означає Кластеризація за допомогою аналізу основних компонентів, показали, що …

60 clustering  pca  k-means 

Мене бентежить питання відбілювання ZCA та нормального відбілювання (що отримується шляхом ділення основних компонентів на квадратні корені власних значень PCA). Наскільки мені відомо, xZCAwhite=UxPCAwhite,xZCAwhite=UxPCAwhite,\mathbf x_\mathrm{ZCAwhite} = \mathbf U \mathbf x_\mathrm{PCAwhite},деUU\mathbf U - власні вектори PCA. У чому полягає застосування відбілювання ZCA? Які відмінності між нормальним відбілюванням та відбілюванням ZCA?

60 pca  dimensionality-reduction  image-processing 

Я розумію, що оцінка регресії хребта - це яка мінімізує залишкову суму квадрата та штраф у розміріββ\betaββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] Однак я не повністю розумію значення того факту, що βridgeβridge\beta_\text{ridge} відрізняється від βOLSβOLS\beta_\text{OLS} лише додаванням невеликої константи до діагоналі X′XX′XX'X . …

59 regression  least-squares  ridge-regression  shrinkage 

Градієнтний спуск та багато інших методів корисні для пошуку місцевих мінімумів у функціях витрат. Вони можуть бути ефективними, коли функцію витрат можна швидко оцінити в кожній точці, чисельно, чи аналітично. У мене є те, що мені здається незвичайною ситуацією. Кожна оцінка моєї функції витрат дорога. Я намагаюся знайти набір параметрів, …

59 gradient-descent  optimization  bayesian-optimization 

Наступний уривок із статті: Які відмінності між однохвостими та двохвостими тестами? , на довідковому сайті UCLA зі статистикою. ... розглянути наслідки відсутності ефекту в іншому напрямку. Уявіть, що ви розробили новий препарат, який, на вашу думку, є покращенням порівняно з існуючим препаратом. Ви хочете максимально покращити свою здатність виявляти поліпшення, …

59 hypothesis-testing  statistical-significance  inference 

Основним обмеженням перевірки значущості гіпотези є те, що воно не дозволяє досліднику збирати докази на користь нуля ( Джерело ) Я бачу цю заяву повторювану в декількох місцях, але не можу знайти виправдання для неї. Якщо ми проводимо велику дослідження , і ми не знаходимо статистично значущі докази проти нульової …

59 hypothesis-testing 

Я бачу , що один раз з двадцяти повних тестів , якими вони управляють, , так що вони помилково вважають , що під час одного з двадцяти тестів, результат має велике значення ( 0,05 = +1 / 20 ).p&lt;0.05p&lt;0.05p < 0.050.05=1/200.05=1/200.05 = 1/20 Комікс xkcd jean bean - "Значне" Назва: …

59 hypothesis-testing  statistical-significance  confidence-interval  p-value  humor 

Світ статистики був поділений між відвідувачами та байєсами. У наші дні, здається, кожен робить і те і інше. Як це може бути? Якщо різні підходи підходять для різних проблем, чому батьки-засновники статистики цього не бачили? Як варіант, чи виграли дискусії частоталісти і справжні суб'єктивні байєси перейшли до теорії прийняття рішень?

59 bayesian  frequentist  history  philosophical 

Мені не подобається інформація про Фішера, що вона вимірює і наскільки вона корисна. Крім того, це стосунки з прив'язкою Крамера-Рао мені не видно. Чи може хтось, будь ласка, дати інтуїтивне пояснення цих понять?

59 estimation  intuition  fisher-information