Регресія Пуассона з великими даними: чи неправильно змінювати одиницю вимірювання?

Через факториальне розподіл пуассона стає недоцільним оцінювати пуассонові моделі (наприклад, використовуючи максимальну ймовірність), коли спостереження великі. Так, наприклад, якщо я намагаюся оцінити модель, щоб пояснити кількість самогубств за певний рік (доступні лише щорічні дані), і скажу, що тисячі самогубств щороку є, чи неправильно виражати самогубства в сотні , щоб 2998 було 29,98 ~ = 30? Іншими словами, чи неправильно змінювати одиницю вимірювання, щоб зробити дані керованими?

Коли ви маєте справу з розподілом Пуассона з великими значеннями \ lambda (його параметр), звичайно використовувати нормальне наближення до розподілу Пуассона.

Як згадується на цьому веб-сайті , нормально використовувати нормальне наближення, коли \ lambda отримує більше 20, а наближення покращується, коли \ lambda стає ще вище.

Розподіл Пуассона визначається лише в просторі стану, що складається з невід’ємних цілих чисел, тому масштабування та округлення збираються внести у ваші дані непарні речі.

Використовуючи звичайний прибл. для великих статистичних даних Пуассона ДУЖЕ поширений.

У випадку Пуассона це погано, оскільки рахунки - це їхня одиниця. З іншого боку, якщо ви використовуватимете таке передове програмне забезпечення, як R, його функції обробки Пуассона знають про таку велику кількість і використовуватимуть численні хитрощі для їх поводження.

Очевидно, я згоден, що нормальне наближення - це ще один хороший підхід.

Більшість статистичних пакетів мають функцію безпосередньо обчислювати природний логарифм факторіалу (наприклад, функція lfactorial () в R, функція lnfactorial () у Stata). Це дозволяє включити постійний термін у вірогідність журналу, якщо ви хочете.

Боюся, ти не можеш цього зробити. Як заявляє @Baltimark, при великій лямбда розподіл буде мати більш нормальну форму (симетричний), а при зменшенні його розміру більше не буде пуассоновим розподілом. Спробуйте наступний код у R:

poi1 = rpois(100000, lambda = 5)  # poisson
poi2 = rpois(100000, lambda = 100)/20 # scaled-down poisson
poi2_dens = density(poi2)

hist(poi1, breaks = 0:30, freq = F, ylim = range(poi2_dens$y))
lines(poi2_dens, col = "red")

Результат нижче:

Видно, що зменшений розмір пуассона (червона лінія) абсолютно відрізняється від розподілу пуассона.

Ви можете просто ігнорувати "факторіал", використовуючи максимальну ймовірність. Ось міркування вашого прикладу самогубств. Дозволяти:

λ: Будьте очікуваною кількістю самогубств на рік

k _i : Будьте кількістю самогубств у i році.

Тоді ви максимізуєте ймовірність журналу як:

LL = ∑ (k _i log (λ) - λ - k _i !)

Максимізація зазначеного вище еквівалентна максимізації наступних як k _i ! є константою:

LL ^' = ∑ (k _i log (λ) - λ)

Чи могли б ви пояснити, чому фабрика є проблемою? Я щось пропускаю?