Як встановити дискретний розподіл для підрахунку даних?

У мене є наступна гістограма даних про підрахунок. І я хотів би пристосувати до нього дискретний розподіл. Я не впевнений, як мені це робити.

Чи слід спочатку накласти на гістограму дискретний розподіл, скажімо, негативний біноміальний розподіл, щоб я отримав параметри дискретного розподілу, а потім запустив тест Колмогорова – Смірнова для перевірки p-значень?

Я не впевнений, чи правильний цей метод чи ні.

Чи існує загальний метод вирішення подібної проблеми?

Це таблиця частот даних підрахунку. У своїй проблемі я зосереджуюсь лише на ненульових підрахунках.

  Counts:     1    2    3    4    5    6    7    9   10 
 Frequency: 3875 2454  921  192   37   11    1    1    2 

ОНОВЛЕННЯ: Мені хотілося б запитати: я використовував функцію fitdistr в R, щоб отримати параметри для встановлення даних.

fitdistr(abc[abc != 0], "Poisson")
     lambda  
  1.68147852 
 (0.01497921)

Потім я будую функцію масової ймовірності розподілу Пуассона вгорі гістограми.

Однак, схоже, що розподіл Пуассона не зможе моделювати дані про підрахунок. Чи можна щось зробити?

Способи встановлення дискретних розподілів

Існує три основні методи *, що застосовуються для підгонки (оцінки параметрів) дискретних розподілів.

1) Максимальна ймовірність

Це знаходить значення параметрів, які дають найкращі шанси надати ваш зразок (враховуючи інші припущення, такі як незалежність, постійні параметри тощо)

2) Метод моментів

Це знаходить значення параметрів, завдяки яким перші кілька моментів популяції відповідають вашим зразкам моменту. Це часто зробити досить просто, і в багатьох випадках дає досить розумні оцінки. Він також іноді використовується для подачі початкових значень для підпрограм ML.

3) Мінімальний чи-квадрат

Це зводить до мінімуму чі-квадратну користь статистики пристосування для дискретного розподілу, хоча іноді з більшими наборами даних кінцеві категорії можуть зручно поєднуватися для зручності. Він часто працює досить добре, і навіть, мабуть, має деякі переваги перед ML в конкретних ситуаціях, але, як правило, він повинен бути перероблений до конвергенції, і в цьому випадку більшість людей, як правило, віддають перевагу ML.

Перші два методи також використовуються для безперервного розподілу; третій зазвичай не використовується в такому випадку.

Вони аж ніяк не містять вичерпного списку, і цілком можливо було б оцінити параметри, мінімізуючи статистику KS, наприклад, - і навіть (якщо налаштувати на дискретність), щоб отримати з неї спільну область консонансу , якби ви так схильний. Оскільки ви працюєте в R, оцінку МЛ досить легко досягти для від'ємного двочлена. Якщо ваш зразок був x, він простий як library(MASS);fitdistr (x,"negative binomial"):

> library(MASS) 
> x <- rnegbin(100,7,3)
> fitdistr (x,"negative binomial")
     size         mu    
  3.6200839   6.3701156 
 (0.8033929) (0.4192836)

Це оцінки параметрів та їх (асимптотичні) стандартні помилки.

У разі розподілу Пуассона MLE та MoM обидва оцінюють параметр Пуассона на середньому рівні вибірки.

Якщо ви хочете побачити приклади, слід опублікувати деякі фактичні підрахунки. Зверніть увагу, що ваша гістограма зроблена з відрив, вибраних таким чином, що категорії 0 і 1 поєднуються, і ми не маємо підрахунку.

Наскільки я можу здогадатися, ваші дані приблизно такі:

    Count:  0&1   2   3   4   5   6  >6    
Frequency:  311 197  74  15   3   1   0

Але великі числа будуть невизначеними (це сильно залежить від того, наскільки точно представлені низькі показники підрахунками пікселів їхніх висот), і це може бути кілька кратних цих чисел, як, наприклад, вдвічі більше цих чисел стандартні помилки, тому важливо, чи вони стосуються цих значень або вдвічі більше)

Поєднання перших двох груп робить це трохи незручно (це можливо зробити, але менш просто, якщо ви поєднуєте деякі категорії. Багато цих відомостей є в цих перших двох групах, тому краще не просто дати гістограмі за замовчуванням збивати їх ).

* Зрозуміло, можливі й інші способи встановлення дискретних розподілів (можна порівняти квантові чи мінімізувати інші показники корисності статистики придатності, наприклад). Ті, про які я згадую, здаються найпоширенішими.

Під час редагування ви дали деякі дані та додали нове запитання:

"Це таблиця частот даних підрахунку. У своїй проблемі я зосереджуюсь лише на ненульових підрахунках.

   Counts:     1    2    3    4    5    6    7    9   10 
Frequency:  3875 2454  921  192   37   11    1    1    2 

Чи може хтось надати мені приклад того, як ви провели тут тест на добрість придатності?

Це призводить до подальших коментарів:

1. Маючи нулі, але бажаючи їх ігнорувати, може мати сенс, але загалом статистичні та предметні люди хотіли б побачити вагому причину.

2. Якщо ви вирішите ігнорувати нулі, ви ставите себе на складну територію, оскільки ви не можете просто запустити підпрограми, наприклад, Пуассон або негативний двочлен, якщо ви не залишите нулі. Що ж, можна, але відповіді були б неправильними. Вам потрібні функції або команди спеціального призначення для розподілів, таких як нульовий усічений Пуассон або нульовий усічений негативний двочлен. Це складний матеріал і потребує присвяченого читання, щоб зрозуміти, що ви робите.

3. Запитання про те, як зробити тест на чи-квадрат, підказує мені, що ви насправді не зрозуміли те, що я сказав дуже коротко, а @Glen_b сказав набагато детальніше (і, на мій погляд, дуже чітко). Розщеплення цього на два:

   • Не може бути тесту чи-квадрата без очікуваних частот і не може бути очікуваних частот без оцінок параметрів. Можливо, ви найбільше знайомі з тестовими процедурами чи-квадрата, в яких перевіряється незалежність рядків і стовпців у двосторонній таблиці. Хоча це тест-квадрат-тест, який найбільше зустрічався на вступних курсах, насправді серед тестів чи-квадрата взагалі дуже незвично, оскільки звичайне програмне забезпечення фактично робить для вас оцінку параметрів і тим самим отримує очікувані частоти. Крім того, у більшості складних проблем, таких як ваша, ви повинні спочатку отримати оцінки параметрів.

   • Тест чі-квадрата не є помилковим, але якщо ви оцінюєте параметри за максимальною вірогідністю, це не має значення, оскільки підходяща процедура дає вам оцінки та стандартні помилки та дозволяє проводити тести на їх шляху. @Glen_b дав приклад вже у своїй відповіді.

Побічне питання полягає в тому, що було б чіткіше налаштувати свої гістограми, щоб вони поважали дискретність змінної та показували ймовірності, а не густини. Очевидні прогалини - це лише артефакти вибору бункера за замовчуванням, не враховуючи дискретності змінної.

ОНОВЛЕННЯ: Додаткове запитання про тест-чи-квадрат тепер видалено. На даний момент я даю змогу №3 стояти вище, якщо хтось інший піде тим самим шляхом, коли хочеться випробувати тест-квадрат.