Тестування гіпотез на безперервно завищених нульових даних

Я дуже вдячний за вашу пораду щодо наступної проблеми:

У мене є великий безперервний набір даних з безліччю нулів (~ 95%), і мені потрібно знайти найкращий спосіб перевірити, чи є певні підмножини його "цікавими", тобто, здається, не виведені з того ж розподілу, що і решта. Нульова інфляція походить від того, що кожна точка даних базується на вимірюванні підрахунку як істинних, так і вибіркових нулів, але результат є безперервним, оскільки враховує деякі інші параметри, зважені підрахунком (і так, якщо підрахунок дорівнює нулю, результат також дорівнює нулю).

Який був би найкращий спосіб зробити це? У мене таке відчуття, що тести на перестановку Вілкоксона і навіть грубої сили є недостатньою, оскільки вони перекошуються цими нулями. Орієнтація на ненульові вимірювання також видаляє справжні нулі, які є надзвичайно важливими. Нулево завищені моделі для підрахунку даних добре розвинені, але непридатні для мого випадку.

Я розглядав можливість встановлення розподілу Tweedie до даних, а потім встановлення glm на відповідь = f (subset_label). Теоретично це здається здійсненним, але мені цікаво, чи (а) це надмірність і (б) все одно неявно припускатимуть, що всі нулі є зразковими нулями, тобто були б зміщені таким же чином (у кращому випадку) як перестановка?

Інтуїтивно це звучить як би є якась ієрархічна конструкція, яка поєднує двочленну статистику на основі частки нулів і, скажімо, статистику Вілкоксона, обчислену на ненульових значеннях (або, ще краще, ненульові значення, доповнені часткою нулі на основі деяких попередніх). Звучить як байєсівська мережа ...

Сподіваюсь, я не перший, хто має цю проблему, тому буду дуже вдячний, якби ви могли вказати мені на відповідні існуючі методи ...

Дуже дякую!

@msp, я думаю, ви дивитесь на двоступеневу модель у цьому вкладенні (я не встиг її прочитати), але нульові завищені безперервні дані - це тип, з яким я багато працюю. Щоб пристосувати параметричну модель до цих даних (щоб дозволити випробування гіпотез), ви можете встановити дві ступені, але тоді у вас є дві моделі (Y - ціль, а X - коваріати): P (Y = 0 | X) і P (Y | X; Y> 0). Ви повинні використовувати імітацію, щоб "об'єднати" їх разом. Книга Gelmans (і пакет руки в R) показує цей процес для цієї точної моделі (використовуючи логістичну регресію та звичайну лінійну регресію з посиланням на журнал).

Інший варіант, який я бачив і мені подобається краще, - це встановити нульову завищену гамма-регресію, яка є такою ж, як і вище (але гамма як помилка замість гаассіанської), і ви можете об'єднати їх для тестів гіпотез на P (Y | X) . Я не знаю, як це зробити в R, але ви можете в SAS NLMIXED. Дивіться цю публікацію , вона працює добре.

Аналогічний підхід до статті Fletcher використовується в маркетинговому тестуванні, де ми можемо довільно розділити наслідки втручань (наприклад, реклами) на (a) зміну кількості покупців марки (тобто пропорцію нулів) та (b) a зміна частоти купівлі групи (продажі за даними продажу взагалі відбуваються). Це твердий підхід і концептуально значущий у маркетинговому контексті та в екологічному контексті, який обговорює Флетчер. Насправді це може бути розширено до (в) зміни розміру кожної покупки.

Ви можете обробити точну кількість нулів, невідомих, але обмежених між 0 та спостереженою кількістю нулів. З цим, безумовно, можна впоратися, використовуючи байєсівську формулювання моделі. Можливо, кілька методів імпутації також можуть бути налаштовані для відповідного зміни ваг (між 0 і 1) нульових спостережень ...