Як я перевіряю незалежність двох безперервних змінних?

Припустимо , у мене є зразок від спільного розподілу X і Y . Як перевірити гіпотезу про те , що X і Y є незалежними ?$(X_n,Y_n), n=1..N$$X$$Y$$X$$Y$

Ніяких припущень щодо законів спільного або граничного розподілу і Y не припускається (щонайменше, всі спільні нормальності, оскільки в цьому випадку незалежність є тотожною кореляції, що дорівнює 0 ).$X$$Y$$0$

Не існує припущення щодо природи можливих відносин між і Y ; він може бути нелінійним, тому змінні не співвідносяться ( r = 0 ), але сильно залежать від одного ( I = H ).$X$$Y$$r=0$$I=H$

Я бачу два підходи:

1. Розмістіть обидві змінні та використовуйте точний тест Фішера або G-тест .

   • Про: використовуйте налагоджені статистичні тести
   • Con: залежить від binning

2. Оцінити залежність від і Y : I ( X ; Y )$X$$Y$$\frac{I(X;Y)}{H(X,Y)}$ (цедля незалежнихXіYі1,коли вони повністю визначають один одного).$0$$X$$Y$$1$

   • Про: виробляє число з чітким теоретичним значенням
   • Con: залежить від приблизних обчислень ентропії (тобто, бінінгування знову)

Чи мають сенс ці підходи?

Які інші методи використовують люди?

Це взагалі дуже складна проблема, хоча ваші змінні, мабуть, лише 1d, тому це допомагає. Звичайно, першим кроком (коли це можливо) має стати складання даних і перевірка, чи щось у вас вискакує; ви в 2d, тому це повинно бути легко.

$\mathbb{R}^n$

• Як ви вже згадували, оцінюйте взаємну інформацію за допомогою ентропій. Це, можливо, ваш найкращий варіант; найближчі сусіди оцінювачі добре в невеликих розмірах, і навіть гістограми не страшні в 2d. Якщо ви турбуєтесь про помилку оцінювання, цей оцінювач простий і дає межі кінцевих зразків (більшість інших лише підтверджують асимптотичні властивості):

  Срічаран, Райх та Герой. Емпірична оцінка впевненості функціоналів ентропії. arXiv: 1012,4188 [математика.ST]

  Крім того, існують аналогічні прямі оцінки взаємної інформації, наприклад

  Пал, Почос і Свепешарі. Оцінка ентропії та взаємної інформації на основі узагальнених графіків найближчих сусідів , NIPS 2010.

• Критерій незалежності Гільберта-Шмідта: підхід на основі ядра (у розумінні RKHS, а не KDE).

  Ґреттон, Бускет, Смола і Шьолкопф, Вимірювання статистичної незалежності за нормами Гільберта-Шмідта , Алгоритмічна теорія навчання 2005.

• Підхід Швайзера-Вольфа: заснований на трансформаціях копули, і тому інваріантний монотонним перетворенням, що зростають. Я не дуже знайомий з цим, але думаю, що він обчислювально простіший, але також, можливо, менш потужний.

  Швайзер і Вольф, Про непараметричні міри залежності випадкових змінних , анали статистики 1981 року.

$H_{0}: H(x,y) = F(x)G(y)$Hmischoeffd

Як щодо цього документу:

http://arxiv.org/pdf/0803.4101.pdf

"Вимірювання та тестування залежності шляхом співвідношення відстаней". У Секелі та Бакірова завжди є цікаві речі.

Існує код matlab для реалізації:

http://www.mathworks.com/matlabcentral/fileexchange/39905-distance-correlation

Якщо ви знайдете будь-який інший (простий у здійсненні) тест на незалежність, повідомте нам про це.

Зв'язок між коваріацією відстані та тестами на ядрах (на основі критерію незалежності Гільберта-Шмідта) наведено у статті:

Sejdinovic, D., Sriperumbudur, B., Gretton, A., and Fukumizu, K., Equivalence of distance-based and RKHS statistics in testing the hypothesis, Annals Statistics, 41 (5), pp.2263-2702, 2013 рік

Показано, що коваріація відстані - це особливий випадок статистики ядра для певного сімейства ядер.

Якщо ви маєте намір використовувати взаємну інформацію, тест, який базується на кошторисній оцінці ІМ, є:

Греттон, А. та Дьорфі, Л., Послідовні непараметричні тести незалежності, Журнал машинного навчання, 11, с.1391--1423, 2010.

Якщо вам цікаво отримати найкращу потужність тесту, вам краще скористатися тестами ядра, а не бінінгу та взаємної інформації.

Однак, враховуючи, що ваші змінні є універсальними, класичні непараметричні тести на незалежність на зразок Гоффдінга, ймовірно, добре.

Рідко (ніколи?) В статистиці ви не можете продемонструвати, що ваша вибіркова статистика = бальне значення. Ви можете перевірити значення точок і або виключити їх, або не виключити. Але природа статистики полягає в тому, що мова йде про вивчення змінних даних. Оскільки завжди є дисперсія, то обов'язково не буде способу дізнатися, що щось точно не пов'язане, нормальне, гауссове тощо. Ви можете знати лише коло значень для цього. Ви могли знати, чи не виключається значення з діапазону правдоподібних значень. Наприклад, легко виключити жодне відношення і дати діапазон значень наскільки великі стосунки.

Тому, намагаючись продемонструвати відсутність стосунків, по суті бальне значення relationship = 0не збирається зустрітись з успіхом. Якщо у вас є цілий спектр заходів взаємовідносин, прийнятний приблизно приблизно 0. Тоді можна було б розробити тест.

Припускаючи, що ви можете прийняти це обмеження, було б корисно людям, які намагаються допомогти вам надати розсіювач з кривою низькості. Оскільки ви шукаєте R-рішення, спробуйте:

scatter.smooth(x, y)

На основі обмеженої інформації, яку ви надали до цього часу, я думаю, що узагальнена модель добавок може бути найкращим для перевірки незалежності. Якщо ви задумали, що з CI навколо прогнозованих значень, ви, можливо, зможете зробити заяви про віру в незалежність. Ознайомтеся з gamпакетом mgcv. Допомога досить хороша, і тут є допомога щодо ІС .

Це може бути цікаво ...

Гарсія, ЖЕ; Gonzalez-Lopez, VA (2014) Тести незалежності для безперервних випадкових величин на основі найбільш тривалої зростаючої послідовності. Журнал багатоваріантного аналізу, т. 127 с. 126-146.

http://www.sciencedirect.com/science/article/pii/S0047259X14000335