Чому включення широти та довготи в обліковий запис GAM для просторової автокореляції?


60

Я створив узагальнені моделі добавок для вирубки лісів. Для обліку просторової автокореляції я включив широту та довготу як згладжений термін взаємодії (тобто s (x, y)).

Я ґрунтувався на цьому, читаючи багато робіт, де автори кажуть: «для обліку просторової автокореляції координати точок були включені як згладжені терміни», але вони ніколи не пояснювали, чому це насправді пояснюється цим. Це досить засмучує. Я прочитав усі книги, які можу знайти в GAM, сподіваючись знайти відповідь, але більшість (наприклад, Узагальнені моделі добавок, вступ з R, SN Wood) просто торкаються цієї теми, не пояснюючи.

Я дуже вдячний, якби хтось міг пояснити ЧОМУ включення широти і довготи пояснюється просторовою автокореляцією, і що це "облік" для цього насправді означає - достатньо просто включити його в модель, чи варто порівнювати модель з s (x, y) в і модель без? І чи свідчить відхилення, пояснене терміном, ступінь просторової автокореляції?


Якщо це доречно, я використав функцію 'bam' з пакету 'mgcv' у R.
gisol

Також я протестував на просторову автокореляцію, використовуючи І. Морана
gisol


3
З огляду на відповіді тут, ми можемо позначити інші посилання на Q @Macro як дублікат цього, щоб люди, натрапивши на нього, бачили тут відповіді, особливо відповіді на події.
Гевін Сімпсон

+1 @GavinSimpson - до речі, зауважте, що у вас є сила голосувати близькими голосами, достатня кількість яких призведе до об'єднання двох питань.
Макрос

Відповіді:


38

Основна проблема будь-якої статистичної моделі - це припущення, що лежать в основі будь-якої процедури висновку. У такій моделі, яку ви описуєте, залишки вважаються незалежними. Якщо вони мають деяку просторову залежність і це не змодельовано в систематичній частині моделі, залишки цієї моделі також виявлятимуть просторову залежність, або, іншими словами, вони будуть просторово автокорельовані. Така залежність призведе до скасування теорії, яка, наприклад, виробляє значення p із статистики тестів у GAM; Ви не можете довіряти p-значенням, оскільки вони обчислювались, передбачаючи незалежність.

У вас є два основні варіанти обробки таких даних; i) моделювати просторову залежність в систематичній частині моделі, або ii) послаблювати припущення про незалежність та оцінювати співвідношення між залишками.

i) це те, що намагаються, включивши в модель плавні просторові місця. ii) вимагає оцінки кореляційної матриці залишків часто під час встановлення моделі за допомогою такої процедури, як узагальнені найменші квадрати. Наскільки добре будь-який із цих підходів має справу з просторовою залежністю, залежатиме від природи та складності просторової залежності та наскільки легко її можна моделювати.

Підсумовуючи це, якщо ви зможете моделювати просторову залежність між спостереженнями, то залишки, швидше за все, будуть незалежними випадковими змінними і тому не порушують припущення будь-якої інфекційної процедури.


Дякую за чітку відповідь, Гевін. Чим просторова автокореляція принципово відрізняється від будь-якого градієнта, не включеного в модель? Скажімо, ваша досліджувана територія опинилася на похилому пагорбі, а цікаві види вважали за краще нижчу ареал вищого середовища проживання. Якщо не включити висоту в модель, це залишить структуру в залишках, чи не так? Чи просто про просторову автокореляцію забули (або забули) про неї чи не розглянули її? (PS, можливо, це поганий приклад, оскільки включення лат., Давно, це спричинило б і цей ефект).
gisol

4
Так. Я підозрюю, що у прикладах ви розглядали будь-який просторовий компонент, який представляв інтерес, тому моделювався явно за допомогою lat / lon, або просторовий компонент був терміном неприємності, але його потрібно було моделювати, щоб залишити залишки в iid, якщо "просторовий "Компонент краще моделювати за допомогою іншої змінної (наприклад, висота у вашому коментарі), тоді гладка цієї змінної буде використовуватися замість просторових розташувань.
Гевін Сімпсон

1
Чому згладжений? Що саме означає «згладжений»?
Джуліан

1
@ Джуліанські значення відповіді згладжуються щодо двох просторових координат. Або кажучи іншим чином, просторовий ефект оцінюється як плавна 2-д функція. Під гладким ми маємо на увазі деяку хиткість, виміряну інтегрованою другою похідною площини сплайна. Вибагливість вибирається, щоб збалансувати придатність і складність моделі. Якщо ви хочете знати, як формуються гладкі функції (сплайни), можливо, варто буде задати конкретний запитання.
Гевін Сімпсон

55

"Просторова автокореляція" означає різні речі для різних людей. Однак загальною концепцією є те, що явище, яке спостерігається у місцях може певним чином залежати від (a) коваріатів, (b) місця розташування та (в) його значень у розташованих поблизу місцях. (Якщо технічні визначення різняться, лежать у тому, який тип даних розглядається, який "визначений спосіб" постулюється та що означає "поруч": все це повинно бути кількісно, ​​щоб продовжити.)z

Щоб побачити, що може йти далі, розглянемо простий приклад такої просторової моделі для опису топографії регіону. Нехай вимірювана висота в точці буде . Можлива модель полягає в тому, що деяким певним математичним чином залежить від координат , які я напишу у цій двовимірній ситуації. Нехай представляє (гіпотетично незалежні) відхилення між спостереженнями та моделлю (які, як завжди, мають нульове очікування), можемо записатиzy(z)yz(z1,z2)ε

y(z)=β0+β1z1+β2z2+ε(z)

для лінійної моделі тренду . Лінійна тенденція (представлена ​​коефіцієнтами та ) - це один із способів зафіксувати думку про те, що значення поблизу та для close до , має бути близьким один до одного. Ми можемо навіть обчислити це, розглядаючи очікуване значення розміру різниці між і , . Виявляється, математики багатоβ1β2y(z)y(z)zzy(z)y(z)E[|y(z)y(z)|]простіше, якщо ми використовуємо трохи інший показник різниці: натомість обчислюємо очікувану різницю у квадраті :

E[(y(z)y(z))2]=E[(β0+β1z1+β2z2+ε(z)(β0+β1z1+β2z2+ε(z)))2]=E[(β1(z1z1)+β2(z2z2)+ε(z)ε(z))2]=E[(β1(z1z1)+β2(z2z2))2+2(β1(z1z1)+β2(z2z2))(ε(z)ε(z))+(ε(z)ε(z))2]=(β1(z1z1)+β2(z2z2))2+E[(ε(z)ε(z))2]

Ця модель не містить явної просторової автокореляції, оскільки в ній немає терміна, який безпосередньо стосується до значень .y(z)y(z)

Альтернативна, інша, модель ігнорує лінійну тенденцію і припускає лише наявність автокореляції. Один із способів зробити це через структуру відхилень . Ми можемо це поставитиε(z)

y(z)=β0+ε(z)

і, для врахування нашого очікування кореляції, ми припустимо якусь "структуру коваріації" для . Щоб це було просторово значущим, будемо вважати, що коваріація між та дорівнює оскільки має нульові засоби, має тенденцію до зменшення, оскільки і стають все більш віддаленими. Оскільки деталі не мають значення, давайте просто назвемо цю коваріацію . Це просторова автокореляція.εε(z)ε(z)E[ε(z)ε(z)]εzzC(z,z) Дійсно, (звичайна Пірсона) кореляція між і єy(z)y(z)

ρ(y(z),y(z))=C(z,z)C(z,z)C(z,z).

У цьому позначенні попередня очікувана різниця у квадраті для першої моделі становитьy

E[(y(z)y(z))2]=(β1(z1z1)+β2(z2z2))2+E[(ε(z)ε(z))2]=(β1(z1z1)+β2(z2z2))2+C1(z,z)+C1(z,z)

(припускаючи, що ), оскільки у різних місцях вважається незалежним. Я написав замість щоб вказати, що це функція коваріації для першої моделі.zzεC1C

Коли коваріації не різко різняться від одного місця до іншого (дійсно, їх зазвичай вважають постійними), це рівняння показує, що очікувана різниця в квадраті у збільшується в квадратичному напрямку з поділом між і . Фактична сума приросту визначається коефіцієнтами тренда та .εyzzβ0β1

Давайте подивимося , що очікувані квадрати відмінностей в «s для нової моделі, модель 2:y

E[(y(z)y(z))2]=E[(β0+ε(z)(β0+ε(z)))2]=E[(ε(z)ε(z))2]=E[ε(z)22ε(z)ε(z)+ε(z)2]=C2(z,z)2C2(z,z)+C2(z,z).

Знову це поводиться правильно: оскільки ми вважали, що має зменшуватися, оскільки і стають більш відокремленими, очікувана різниця в квадраті дійсно йде вгору із збільшенням розділеності локацій.C2(z,z)zzy

Порівнюючи два вирази для у двох моделях показує, що у першій моделі грає роль, математично ідентичну у другій моделі. (Там константа постійної добавки, похована в різних значеннях , але це не має значення в цьому аналізі.) Ерго , залежно від моделі, просторової кореляції типово представляється як деяка комбінація тренду і обумовлена ​​структура кореляції випадкових помилок.( β 1 ( z 1 - z 1 ) + β 2 ( z 2 - z 2 ) ) 2 - 2 C 2 ( z , z ) C i ( z , z )E[(y(z)y(z))2](β1(z1z1)+β2(z2z2))22C2(z,z)Ci(z,z)

Зараз у нас, я сподіваюся, є чітка відповідь на питання: ідею, що стоїть за Законом географії Тоблера, можна представляти різними способами ("все пов'язане з усім іншим, але ближчі речі більше пов'язані") по-різному. У деяких моделях Закон Тоблера адекватно представлений включенням тенденцій (або «дрейфуючих» термінів), які є функціями просторових координат, таких як довгота та широта. В інших Закон Тоблера фіксується за допомогою нетривіальної структури коваріації серед адитивних випадкових доданків (ε). На практиці моделі включають обидва методи. Вибір, який ви обираєте, залежить від того, що ви хочете досягти з моделлю, і від вашого уявлення про те, як виникає просторова автокореляція - чи вона має на увазі основні тенденції чи відображає зміни, які ви хочете вважати випадковими. Жоден з них не завжди правий, і в будь-якій задачі часто можна використовувати обидва типи моделей для аналізу даних, розуміння явища та прогнозування його значень в інших місцях (інтерполяція).


2
+1 - приємно бачити зв’язок між двома підходами для обробки просторової залежності. Чудова відповідь, бешкетник!
Макрос

Дуже всебічно, дякую. Мені знадобиться кілька моментів, щоб продумати все це.
gisol

6
Якби всі статистичні записи були подібними, було б набагато більш чітко мислячої прикладної статистичної роботи. Красиво зроблено.
Арі Б. Фрідман

Чи правильно я розумію цю відповідь, коли випливаю з неї, що просто додавання координат X / Y як незалежних змінних до будь-якої (?!) моделі буде певною мірою враховувати просторову автокореляцію?
Джуліан

1
@Julian: Ми говоримо про побудову різних моделей для одних і тих же даних. Якщо ви включаєте координати X і Y в якості пояснювальних змінних, але в іншому випадку не враховують просторову кореляцію, то "просторова кореляція" не має сенсу для цієї моделі, тому ми повинні бути обережними, що ми маємо на увазі під "врахуванням просторової кореляції". Але якщо ми розуміємо ваше запитання, щоб задати, чи може включення координат як пояснювальних змінних настільки ж ефективне, як побудова моделі, в якій явно представлена ​​просторова кореляція, то моя відповідь - «так, це часто так».
whuber

0

Інші відповіді хороші, я просто хотів додати щось про "облік" просторової автокореляції. Іноді це твердження висловлюється сильніше за принципами "обліку просторової автокореляції, не поясненої коваріатами".

Це може представити оманливу картину того, що робить просторовий гладкий. Це не так, як існує певна впорядкована черга, імовірно, коли гладкий терпляче чекає, коли коваріати пройдуть спочатку, а потім гладка буде вимивати «незрозумілі» частини. Насправді всі вони отримують шанс пояснити дані.

Цей документ із влучно названою назвою представляє проблему дуже чітко, хоча саме з точки зору моделі ЗКД принципи застосовуються до гладких програм GAM.

Додавання просторово-корельованих помилок може зіпсувати фіксований ефект, який ви любите

«Рішення» в роботі - згладити залишки, а не згладжувати простір. Це призвело б дозволити вашим коваріатам пояснити, що вони можуть. Звичайно, існує багато застосунків, в яких це не було б бажаним рішенням.


-2

Просторова кореляція - це просто те, як координати x і y співвідносяться з величиною результуючої поверхні в просторі. Отже автокореляція між координатами може бути виражена через функціональну залежність між сусідніми точками.


1
Привіт Майкл, дякую за відповідь. Я думаю, що я розумію те, що ви сказали, але, здається, це опис просторової автокореляції, а не те, як це враховує включення координат - я, можливо, пропустив вашу точку. Наприклад, скажіть, що у мене є 2 моделі, перша (A) з одним терміном - вирубка лісу як функція відстані до столиці, а друга (B) - відстань до столиці, але також термін і довгий термін. Ви б проти цього ще раз повторили свою відповідь? Можливо, я міг би зрозуміти це краще.
gisol

1
Я думаю, що якщо в моделі немає терміна взаємодії, просторова автокореляція між сусідніми точками дорівнює 0. Коли у вас є термін ітерації, цей термін визначає значення просторових автокореляцій.
Майкл Черник

4
@ Майкл, просторова автокореляція означає, що кореляція між точками залежить від їх просторових розташувань. Я думаю, що ця відповідь була б більш корисною, якби ви могли пояснити, чому для цього потрібно використовувати плавну оцінку функції, а просторові розташування як входи. На поверхні здається, що підхід гладкої функції моделює середнє значення, тоді як просторова автокореляція стосується структури коваріації . Я знаю, що існує взаємозв'язок між коваріаційною функцією гладкого процесу та оцінкою гладкої функції, але, не роблячи цього зв'язку, ця відповідь здається неповною.
Макрос

1
@Michael, безумовно, ви бачите, що введення лат / довгих координат впливає на середнє значення відрізняється від моделювання кореляцій між двома точками в просторі ... ОП запитав, як моделювати просторову автокореляцію, і я думаю, що частина аргументу - частина, яка точно пояснюється, як прилягання гладкої просторової поверхні (що робитиме узагальнена модель добавок у координатах) моделює просторову автокореляцію. Існує взаємозв'язок між функціями гема та коваріації (я не знаю достатньо, щоб бути більш точним), але привабливим для цього відношення є те, що тут потрібно.
Макрос

1
@Marco Я погляну на книгу Саймона Вуда, якщо ви можете, оскільки вона містить деталі та наводить відповідну літературу про гладкі матеріали як біт випадкових ефектів.
Гевін Сімпсон
Використовуючи наш веб-сайт, ви визнаєте, що прочитали та зрозуміли наші Політику щодо файлів cookie та Політику конфіденційності.
Licensed under cc by-sa 3.0 with attribution required.