Як вирішити, яку сімейство glm використовувати?

У мене є дані про щільність риби, які я намагаюся порівняти між декількома різними техніками збору, дані мають багато нулів, а гістограма виглядає химерною, підходящою для розподілу пуассона, за винятком того, що, як щільність, це не цілі дані. Я відносно новичок у ГЛМ і останні кілька днів шукаю в Інтернеті, як сказати, який дистрибутив використовувати, але не зміг знайти будь-яких ресурсів, які допоможуть прийняти це рішення. Зразок гістограми даних виглядає наступним чином:

Я поняття не маю, як прийняти рішення про відповідну сім'ю, яку використовувати для ГЛМ. Якщо хтось має поради або міг би дати мені ресурс, я повинен перевірити, це було б фантастично.

— C. Денні
джерело

Що саме таке "щільність риби"? Це кількість риби на одиницю об'єму озера, наприклад?

— gung - Відновіть Моніку

Це кількість риби на одиницю площі (у цьому випадку квадратні метри). Ми використовували інструменти візуального опитування, тому він розраховується на кількість спостережуваних риб, поділене на площу, яку обстежують інструмент. Нам довелося використовувати щільність для стандартизації між інструментами, оскільки вони обстежують дуже різні площі, інакше я міг би просто використовувати дані підрахунку і дотримуватися розподілу пуассона.

— C. Денні

Моя порада - поверніться до даних про підрахунок і використовуйте "область" як зміщення в моделі з посиланням на журнал --- але я не знаю, що Пуассон підійде дуже добре (це важко здогадатися, оскільки у вашій гістограмі відображаються лише граничний розподіл, а не умовні розподіли, які б моделював GLM ... і в будь-якому випадку має занадто мало бункерів, щоб бути корисними). Якщо Пуассон недостатньо важкий хвостик / spike-at-0-ish, можливий негативний двочлен, або вам знадобляться нульові або надуті моделі

— Glen_b -Встановіть Моніку

Я займаюся моделюванням Пуассона цілий день, і коментар Glen_b є канонічною відповіддю.

— Пол,

Одне доповнення - моделювання Пуассона теоретично добре виправдане, коли одиниці спостереження (у цьому випадку я гадаю, що ви рахуєте окремих риб?) Незалежно розподіляються по полю спостереження, як випадково насичені зерна піску. Згідно з цим припущенням, може бути певна зміна щільності, але положення однієї риби нічого не означає про положення інших риб. Але майте на увазі, це припущення може бути порушене на практиці, оскільки риби збираються, наприклад, у школи, і тоді їхні позиції вже не залежать.

— Пол,

Відповіді:

Сімейства GLM містять функцію зв'язку, а також середньо-різницеві відносини. Для Poisson GLMs функція зв'язку - це журнал, а середньо-дисперсійне співвідношення - тотожність. Незважаючи на застереження, які дає вам більшість статистичних програм, цілком розумно моделювати співвідношення у безперервних даних, коли зв'язок між двома змінними лінійний за шкалою журналу, а дисперсія збільшується відповідно до середнього.

Це, по суті, є обґрунтуванням вибору функції зв'язку та дисперсії в GLM. Звичайно, за цим процесом є кілька припущень. Можна зробити більш надійну модель, використовуючи квазіподібність (див. ?quasipoisson) Або надійні стандартні помилки (див. Пакет sandwichабо gee).

Ви правильно зазначили, що у ваших даних багато густин 0. За імовірними моделями Пуассона доцільно періодично вибирати 0 в даних, тому необов'язково траплятися так, що ці спостереження призводять до зміщення ваших оцінок ставок.

Щоб перевірити припущення, що стоять за ГЛМ, зазвичай корисно переглянути залишки Пірсона. Вони враховують середнє співвідношення дисперсії та показують статистику, чи конкретні спостереження, такі як ці 0, грубо впливають на оцінку та результати.

— АдамО
джерело

Узагальнена лінійна модель визначається з точки зору лінійного предиктора

η = X β

$\eta = \boldsymbol{X} \beta$

що передається через функцію зв'язку : $g$

g (E (Y | X)) = η

$g(E(Y\,|\,\boldsymbol{X})) = \eta$

Він моделює співвідношення між залежною змінною та незалежними змінними . Точніше, він моделює умовне математичне очікування від даного , $Y$ $\boldsymbol{X} = X_1,X_2,\dots,X_k$ $Y$ $\boldsymbol{X}$

E (Y | X) = μ = g^{- 1} (η)

$E(Y\,|\,\boldsymbol{X} ) = \mu = g^{-1}(\eta)$

тому модель в імовірнісних термінах можна визначити як

Y | X \sim f (μ, σ^{2})

$Y\,|\,\boldsymbol{X} \sim f(\mu, \sigma^2)$

$f$ $f$ $Y$ $Y$ $\boldsymbol{X}$ $Y$ $\boldsymbol{X}$

Якщо ваш результат є безперервним і не обмеженим, то найбільш "вибірковим" вибором є розподіл Гаусса (він же звичайний розподіл ), тобто стандартна лінійна регресія (якщо ви не використовуєте іншу функцію зв'язку, то за замовчуванням посилання ідентичності).
Якщо ви маєте справу з безперервним негативним результатом, тоді ви можете розглянути розподіл гамми , або інверсійний гауссовий розподіл .
Якщо ваш результат дискретний , а точніше, ви маєте справу з підрахунками (скільки разів щось трапляється за певний проміжок часу), то найпоширенішим вибором розподілу для початку є розподіл Пуассона . Проблема розподілу Пуассона полягає в тому, що він досить негнучкий у тому, що він передбачає, що середнє значення дорівнює дисперсії, якщо це припущення не виконується, ви можете розглянути можливість використання квазі-пуассонівської сімейства або негативного біноміального розподілу (див. Також Визначення дисперсії параметр для сімейства квазіпуассонів ).
Якщо ваш результат - двійкові (нулі та одиниці), пропорції "успіхів" і "невдач" (значення між 0 і 1), або їх кількість , ви можете використовувати біноміальний розподіл , тобто модель логістичної регресії . Якщо існує більше двох категорій, ви б використовували мультиноміальне розподіл у мультиноміальній регресії .

З іншого боку, на практиці, якщо ви зацікавлені в створенні прогнозної моделі, вам може бути цікаво протестувати кілька різних дистрибутивів, і врешті-решт дізнаєтесь, що один з них дає більш точні результати, ніж інші, навіть якщо це не найбільш "підходящий" з точки зору теоретичних міркувань (наприклад, теоретично ви повинні використовувати Пуассона, але на практиці стандартна лінійна регресія найкраще працює для ваших даних).

— Тім
джерело

Це дещо широке питання, ви запитуєте, як робити моделювання, і цілі книги присвячені цьому. Наприклад, при роботі з даними підрахунку врахуйте наступне:

Крім вибору розподілу, ви повинні вибрати функцію посилання. За допомогою даних підрахунку ви можете спробувати пуассонове чи негативне біноміальне розподіл та функцію зв’язку журналу. Причина посилання на журнал наведена тут: доброта придатності та модель для вибору лінійної регресії або Пуассона Якщо ваші патчі мають дуже різні області, можливо, ви повинні включити логарифм площі як зміщення, щоб моделювати підрахунки на одиницю площі, а не абсолютні рахує. Для пояснення зсуву в регресії даних підрахунку див. Розділ Коли використовувати зміщення в регресії Пуассона?

EDIT

Ця відповідь спочатку була розміщена на інше питання, яке було об'єднане з цим. Хоча відповідь загальна, вона коментує специфіку набору даних та проблему, про яку більше не йдеться. Оригінальне запитання можна знайти за наступним посиланням: Сім'я в GLM - як правильно вибрати?

— kjetil b halvorsen
джерело

Ми не можемо скасувати питання, @kjetil, тільки чорти можуть це зробити (і вони справді не люблять). Я все ще можу отримати доступ до оригінального запитання Q. 1 можливість полягає в тому, що я міг би скопіювати вміст у новий Q (який був би мені автором), ви могли скопіювати цей A в новий потік, і тоді я міг би закрити цей потік як дублікат цього. Важко сказати, чи це божевільна ідея, чи це варте клопоту, але це те, що я можу зробити. У вас є перевага?

— gung - Відновити Моніку

@gung: Ви можете це зробити, або я можу скопіювати інформацію з цього питання у відповідь тут. Може, це найкраще? (Я можу відредагувати, що це здається з історії редагування)

— kjetil b halvorsen

Перш за все, @kjetilbhalvorsen, вибачте, що заплутався, оскільки це було моєю ідеєю об'єднати нитки, оскільки вони, здавалося б, майже однакові, і обидва містили хороші відповіді. Моє первісне враження було, що злиття ниток не принесе шкоди. Можливо, ви могли просто додати "Наприклад, під час роботи з даними підрахунку ..." до другого абзацу? Ваша відповідь чудово відповідає на загальне "Як вибрати сім'ю?" питання, то, може, варто залишити це загальною темою?

— Тім

@Tim я відредагую, як ти кажеш!

— kjetil b halvorsen

Спробуємо редагувати. Якщо ви хочете, щоб я повернув Q, знову надішліть мені пінг. Я зараз відкину прапор.

— gung - Відновити Моніку