Статистика та великі дані

Існують різні види алгоритмів MCMC: Метрополіс-Гастінгс Гіббс Важливість / відбір вибірки (пов'язаний). Чому можна використовувати вибірку Гіббса замість Metropolis-Hastings? Я підозрюю, що трапляються випадки, коли висновок є більш простежуваним за допомогою відбору проб Гіббса, ніж з "Метрополіс-Гастінгсом", але мені не зрозуміло конкретики.

20 bayesian  simulation  mcmc  gibbs  metropolis-hastings 

Мені важко намагатися зрозуміти використання логістичної регресії в роботі. Доступний тут документ використовує логістичну регресію для прогнозування ймовірності ускладнень під час операції на катаракті. Мене бентежить те, що в роботі представлена ​​модель, яка призначає коефіцієнт шансів 1 до базової лінії, описану так: Пацієнт, чий профіль ризику знаходився в референтній групі …

20 logistic  odds-ratio 

Я роздумував над тим, щоб реалізувати та використовувати парадигму «Екстремальний навчальний апарат» (ELM) вже більше року, і чим довше я займаюся, тим більше сумніваюся, що це дійсно гарна річ. Моя думка, однак, здається, що вона суперечить науковій спільноті, коли - коли цитати та нові публікації використовують як міру - це …

20 regression 

Моя настройка така: Я дотримуюся вказівок у "Прикладному прогнозуванні". Таким чином, я відфільтрував відповідні функції та закінчив таке: 4900 балів даних у навчальному наборі та 1600 точок даних у тестовому наборі. У мене є 26 функцій, а ціль - це суцільна змінна. Я застосовую 5-кратну перехресну перевірку для тренування моделей …

20 machine-learning  boosting  overfitting 

Для завдання мені було запропоновано надати доказ того, що k-засоби зближуються в обмеженій кількості кроків. Ось що я написав: CCC E ( C )E(C)=∑xmini=1k∥x−ci∥2E(C)=∑xmini=1k‖x−ci‖2E(C)=\sum_{\mathbf{x}}\min_{i=1}^{k}\left\Vert \mathbf{x}-\mathbf{c}_{i}\right\Vert ^{2}E(C)E(C)E(C) Крок 2 позначає крок, який позначає кожну точку даних її найближчим центром кластера, а крок 3 - це крок, на якому центри оновлюються за …

20 mathematical-statistics  k-means 

Я натрапив на питання інтерв'ю: Є червоний поїзд, який їде кожні 10 хвилин. Синій потяг їде кожні 15 хвилин. Обидва вони починаються з випадкового часу, тому у вас немає розкладу. Якщо ви прибуваєте на станцію у випадковий час і їдете будь-яким поїздом, який приходить першим, який очікуваний час очікування?

19 probability  random-variable  expected-value 

Так ось я вивчаю умовиводи. Я хотів би, щоб хтось міг перерахувати переваги експоненціальної родини. Під експонентною сім'єю я маю на увазі розподіли, які задаються як f( Х | & thetas ; ) = ч ( х ) ехр{ η( θ ) Т( x ) - B ( θ ) …

19 self-study  exponential-family 

Я читав звіт про ОВНС, і цей сюжет привернув мою увагу. Тепер я хочу мати змогу створити сюжет одного типу. Він показує розвиток енергопродуктивності між двома роками (1990-2015 рр.) Та додає значення змін між цими двома періодами. Як називається цей тип сюжету? Як я можу створити один і той же …

19 data-visualization  terminology  excel 

Моя подруга нещодавно влаштувалася на роботу, займаючись продажами та торгівлею у великому банку. Захоплена своєю новою роботою, вона вважає, що вона може передбачити, чи будуть запаси в кінці місяця збільшені чи менші, ніж шанси (вона вважає, що може це зробити навіть з 80% точністю!) Я дуже скептичний. Ми домовились провести …

19 probability  forecasting  finance 

Я читаю книгу " Статистика" (Фріман, Пісані, Первес) і намагаюся відтворити приклад, коли монета кидається, скажімо, 50 разів, кількість підрахованих голів, і це повторюється, скажімо, 1000 разів. По-перше, я тримав кількість кидків (розмір зразка) на рівні 1000 і збільшував повтори. Чим більше повторень, тим краще дані відповідають нормальній кривій. Тож …

19 normal-distribution  central-limit-theorem  normal-approximation 

Багато джерел датують класичний дизайн "сюжетної коробки" Джоном Тукі та його "схематичним сюжетом" 1970 року. Здається, дизайн з тих пір залишився відносно статичним, тому що скорочена версія Едварда Туфте не змогла приступити до роботи, поки сюжетні скрипки - хоча більш інформативний варіант сюжетної скриньки - залишаються менш популярними. Пропозиція Клівленда …

19 data-visualization  references  boxplot  history 

Я хотів би перевірити гіпотезу, що два зразки беруть із однієї сукупності, не роблячи припущень щодо розподілу зразків чи популяції. Як мені це зробити? З Вікіпедії моє враження, що тест Mann Whitney U повинен бути придатним, але, здається, це не працює для мене. Для конкретності я створив набір даних з …

19 r  hypothesis-testing  nonparametric  wilcoxon-mann-whitney  wilcoxon-signed-rank 

Зі сторінки Вікіпедії під назвою кореляція не означає причинності , Для будь-яких двох співвідносних подій, A і B, різні можливі відносини включають: А причини B (пряма причинно-наслідкова зв’язка); Б викликає А (зворотна причинна зв’язок); А і В є наслідками загальної причини, але не викликають один одного; І А, і В …

19 correlation  causality 

Регуляризація в регресії (лінійна, логістична ...) є найпопулярнішим способом зменшення перенапруги. Коли мета - точність прогнозування (не пояснення), чи існують якісь альтернативи регуляризації, особливо підходящі для великих наборів даних (ми / мільярди спостережень та мільйони функцій)?

19 regression  regularization  overfitting 

По-перше, він дає ймовірність результатів. Так, наприклад, зараз його прогнози щодо виборів у США - 82% Клінтон проти 18% Трампа. Тепер, навіть якщо Трамп перемагає, то як я можу знати, що він виграв не лише 18% часу? Інша проблема полягає в тому, що його ймовірності змінюються з часом. Тож 31 …

19 forecasting  prediction  validation  accuracy  scoring-rules