Статистика та великі дані

Яка різниця між кінцевою та нескінченною дисперсією? Мої статистичні знання досить елементарні; Тут не дуже допомогла Wikipedia / Google.

33 variance  intuition  partial-moments 

Новини повідомляють, що CERN оголосить завтра, що бозон Хіггса був експериментально виявлений з доказами 5 . Відповідно до цієї статті:σσ\sigma 5 означає 99,99994% шансів, що дані, які бачать детектори CMS та ATLAS, є не просто випадковим шумом - а 0,00006% шансів, що їх підключили; 5 σ - необхідна впевненість, щоб …

33 hypothesis-testing  p-value  history 

У мене є чотири різні часові ряди погодинних вимірювань: Витрата тепла всередині будинку Температура поза домом Сонячне випромінювання Швидкість вітру Я хочу мати можливість передбачити споживання тепла всередині будинку. Існує чітка сезонна тенденція, як щорічно, так і щоденно. Оскільки між різними серіями існує чітка кореляція, я хочу їх встановити за …

33 time-series  modeling  arima 

З якої причини ми використовуємо природний логарифм (ln), а не log для основи 10, визначаючи функції в економетриці?

33 econometrics 

Я знаю, що є багато матеріалів, що пояснюють значення p. Однак концепцію нелегко зрозуміти без додаткових роз'яснень. Ось визначення p-значення з Вікіпедії: Значення р - це ймовірність отримання тестової статистики як мінімум настільки ж екстремальної, як та, яка насправді спостерігалася, припускаючи, що нульова гіпотеза є істинною. ( http://en.wikipedia.org/wiki/P-value ) хв …

33 hypothesis-testing  p-value  interpretation 

Одним із пізніх внесків Р. А. Фішера були фідуціальні інтервали та принципові принципи довіри . Такий підхід, однак, ніде не є настільки популярним, як принципи часто-часто чи баєсівського принципу. Що таке довірений аргумент і чому його не прийнято?

33 inference  philosophical  fiducial 

Я написав комп’ютерну програму, яка може виявляти монети в статичному зображенні (.jpeg, .png тощо), використовуючи деякі стандартні методи комп’ютерного зору (розмиття Гаусса, поріг, Hough-трансформація тощо). Використовуючи співвідношення монет, зібраних із заданого зображення, я можу з впевненістю встановити, які монети є. Однак я хочу додати до рівня моїх впевненостей, а також …

33 image-processing 

Я розумію, що для певних наборів даних, таких як голосування, вона працює краще. Чому регресія Пуассона застосовується над звичайною лінійною регресією чи логістичною регресією? Яка математична мотивація для цього?

33 count-data  poisson-regression 

Мені хотілося б дізнатися, чи існує варіант боксплотів, адаптований до розподілених даних Пуассона (чи, можливо, інших розподілів)? При гауссовому розподілі вуса, розміщені при L = Q1 - 1,5 IQR і U = Q3 + 1,5 IQR, боксплот має властивість того, що буде приблизно стільки ж низьких залишків (балів нижче L), …

33 data-visualization  poisson-distribution  boxplot 

Я шукаю гарну книгу / підручник, щоб дізнатися про аналіз виживання. Мені також цікаві посилання на аналіз виживання в Р.

33 r  survival  references 

Скажімо, у нас є випадкова величина із відомою дисперсією та середнім значенням. Питання: яка дисперсія для деякої заданої функції f. Єдиний загальний метод, який мені відомий - це метод дельта, але він дає лише апроксимацію. Тепер мене цікавить , але було б також непогано знати деякі загальні методи.f ( X …

33 variance  random-variable  delta-method 

Я намагаюся зрозуміти стандартну помилку "кластеризації" і як виконати в R (це тривіально в Stata). У RI були невдалі, використовуючи plmабо написання власної функції. Я буду використовувати diamondsдані з ggplot2пакету. Я можу робити фіксовані ефекти з будь-якими фіктивними змінними > library(plyr) > library(ggplot2) > library(lmtest) > library(sandwich) > # with …

33 r  panel-data  standard-error  fixed-effects-model  clustered-standard-errors 

Я збираюся допомогти викладати статистику для студентів-медиків у цьому семестрі. Я чув чимало страшилок про страх цих студентів від вивчення статистики. Хтось може підказати, що робити з цим страхом? (Або посилання на людей, які обговорюють це, або пропонуйте пропозиції з власного досвіду)

33 teaching 

З огляду на дві гістограми, як ми можемо оцінити, схожі вони чи ні? Чи достатньо просто переглянути дві гістограми? Просте зіставлення з одним на одне має проблему, що якщо гістограма трохи відрізняється і трохи зміщується, ми не отримаємо бажаного результату. Будь-які пропозиції?

33 histogram  image-processing 

Існує кілька реалізацій моделі GBDT, таких як: ГБМ XGBoost LightGBM Catboost. Які математичні відмінності між цими різними реалізаціями? Catboost, здається, перевершує інші реалізації навіть використовуючи лише його параметри за замовчуванням відповідно до цієї тестової позначки , але це все ще дуже повільно. Я думаю, що catboost не використовує думіфіковані змінні, …

33 boosting  xgboost