Як обговорити розсіювач з декількома лініями, що виникають?

Ми виміряли дві змінні, і розсіювач, здається, пропонує декілька "лінійних" моделей. Чи є спосіб спробувати вигнати ці моделі? Ідентифікація інших незалежних змінних виявилася складною.

Розсіювання двох змінних

Обидві змінні сильно косо ліворуч (у напрямку невеликої кількості), це очікуване поширення в нашому домені. Інтенсивність точки являє собою кількість точок даних (за шкалою ) при цьому . $\log_{10}$ $<x,y>$

Як варіант, чи існує спосіб кластеризації точок?

У нашому полі стверджується, що ці дві змінні лінійно співвідносяться. Ми намагаємось зрозуміти / пояснити, чому це не так у наших даних.

(зверніть увагу, у нас є 17М точок даних)

оновлення: дякую за всі відповіді, ось деякі запитувані роз'яснення:

Обидві змінні є лише цілими числами, що пояснює деякі зразки в розсипці журналу.
На щастя, за визначенням мінімальне значення обох змінних дорівнює 1.
7М балів знаходяться на рівні ("пояснюється" лівою косою інформацією) $<3,1>$

Ось запитувані сюжети:

журнал розсипання журналу: Scatterplot в журналі журналу

(пробіли зумовлені цілими значеннями)

log-log polar: полярні координати $\theta = y$

Гістограма співвідношення:

Частота знаходиться в масштабі журналу, оскільки бар - це 7М балів, і приховає інші смуги. $1/3$

linear-model scatterplot

— Деві Лендман
джерело

Як виглядає цей сюжет у полярних координатах ? (Можливо, доцільно спочатку взяти логарифми і (плюс, якщо потрібно, невеликий початковий зсув, щоб уникнути нулів).) Оскільки всі рядки видаються випромінюючими від початку, то можливо - особливо, якщо варіація навколо рядків з'являється гомосептичне - тоді все, що вам потрібно зробити, - це згрупувати точки у розмірі .

(r, θ)

$(r,\theta)$

X

$X$

Y

$Y$

θ

$\theta$

θ

$\theta$

— whuber

Чи є співвідношення, що беруть участь у отриманні Y і X? Чи задіяні змінні, які приймають лише окремі значення? Як це виглядає як журнал-журнал?

— Glen_b -Встановити Моніку

@whuber & Glen_b Я додав сюжети з тими перетвореннями.

— Дейві Лендман

Дякую, Дейві. Мені слід було б зрозуміти точку використання полярних координат: побудувавши на горизонтальній осі та на вертикальній осі, будь-які радіальні лінії на початковій ділянці будуть виходити як ідеально горизонтальні лінії. Вони не тільки можуть бути легко виявлені візуально (наші очі мають вбудовану обробку для розпізнавання горизонтальних лінійних ознак). Після виявлення вони можуть бути оброблені за допомогою кластерного аналізу, заснованого виключно на . Ваш полярний графік "log-log", застосовуючи нелінійні перетворення до координат (особливо ), знищує ці приємні властивості.

r

$r$

θ

$\theta$

θ

$\theta$

θ

$\theta$

— whuber

@whuber Я оновив сюжет, поставив тету на у, це ви маєте на увазі рядки?

— Деві Лендман

Відповіді:

У вас можуть бути артефакти, що виникають із-за обмежень на те, що можливо фізично або на те, що записано (найпростіше, лише цілі числа). Цілком анонімні і не дають жодних впевнених здогадок про те, як це виникає, але виглядає так, ніби деякі віддають перевагу, і я, безумовно, дивлюсь на розподіл цього співвідношення. Крім того, якщо це так, на мій досвід, не корисно шукати окремі моделі, якщо ви насправді не змішуєте зовсім інші ситуації. (Для "фізично" читайте "біологічно" або будь-який прислівник має сенс.) $Y$ $X$ $Y/X$

Чим більше я дивлюся на це, тим більше я здогадуюсь, що такі рядки, як або , очевидні для цілого , тому що самі значення є цілими числами. $X/k$ $kX$ $k$

Інший, але можливо пов'язаний з цим момент, полягає в тому, що мені ці дані кричать за перетвореннями. Якщо вони всі позитивні, вказуються логарифми. Я боюся, що у вас є нулі, і в цьому випадку те, що робити, є відкритим для обговорення. Наприклад, рядок у може бути відгаданий у вашому графіку. Якщо є нулі, деякі клянуться в або в корінь куба. Що б не допомогло вам чіткіше бачити візерунки, це захист. $Y = 0$ $\log(Y + \text{constant})$

Точка термінології: хиткість у статистиці описується з посиланням на хвостик, який є більш розтягнутим. Ви можете розглядати цю термінологію як відсталу. Тут обидві змінні перекошені на високі значення, або позитивно, або вправо.

ОНОВЛЕННЯ: Дякую за додаткові графіки, які є найбільш корисними. Майже всі здогадки видаються підтвердженими. (Нижній рядок, так би мовити, , а не ) Смуги - це артефакти або вторинні ефекти використання цілих чисел, які цілком можуть бути єдиним або, принаймні, найбільш практичним способом вимірювання того, що ви є вимірювальними (щодо яких питання залишається невмілим). Журнал журналу та інші ділянки виявляють дискретність. Тож незважаючи на розсуд, дискретність підтверджується. Існують яскраво виражені режими (піки розподілу) для співвідношень 1/4, 1/2, 1/1 та 2/1. $Y = 1$ $Y = 0$

Як і раніше, я б не радив моделювати різні смуги по-різному, не маючи наукових підстав розрізняти їх або розглядати їх окремо. Ви повинні просто в середньому перевищувати те, що у вас є. (Можливо, відомі методи з подібними даними для придушення дискретності. Якщо люди у вашому полі звичайно вимірюють мільйони балів за кожен сюжет, важко повірити, що цього раніше не бачили.)

Кореляція, безумовно, повинна бути позитивною. Крім формального тесту на значущість, який тут був би абсолютно марним, оскільки хвилинні кореляції будуть кваліфіковані як такі значні щодо цього розміру вибірки, чи буде він оголошений сильним - це питання очікувань та стандартів у вашій галузі. Кількісне порівняння співвідношення з результатами інших - це шлях.

Деталь: Скісність все ще описується неправильно, відповідно до статистичної конвенції. Ці змінні перекошені вправо; цей жаргон підходить, дивлячись на гістограму з горизонтальною віссю величини і зазначаючи, що косисть названа довшим хвостом, а не концентрацією з більшими значеннями.

— Нік Кокс
джерело

Я додав графік журналу журналів і намагався бути більш точним щодо косості.

— Дейві Лендман

Я думаю, що інструмент, який ви хочете, називається переключенням регресії. Ідея полягає в тому, що існує кілька регресійних ліній, і кожна точка даних присвоюється одній з них. Наприклад, рівнянням першої регресійної лінії було б: Рівняння лінії регресії було б: Усього існує, наприклад, різних ліній регресії. Для будь-якої заданої точки даних ми можемо побачити лише одну з регресійних ліній. Таким чином, має бути якийсь механізм для визначення того, яку лінію регресії ми бачимо для кожної точки. Найпростіший механізм - це просто багаточленний розподіл. Тобто ми бачимо

\begin{aligned} Y_{i} & = α_{1} + β_{1} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_1 + \beta_1X_i + \epsilon_i \end{align}$

m^{t h}

$m^{th}$

\begin{aligned} Y_{i} & = α_{m} + β_{m} X_{i} + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= \alpha_m + \beta_mX_i + \epsilon_i \end{align}$

M

$M$

m^{t h}

$m^{th}$ лінія регресії з ймовірністю , де .

p_{m}

$p_m$

\sum_{m} p_{m} = 1

$\sum_m p_m =1$

Модель зазвичай оцінюється за максимальною вірогідністю. Якщо припустити, що розподілено , функція ймовірності, яку ви максимізували б, буде: Функція є стандартною нормальною щільністю. Ви максимізуєте це в параметрах урахуванням обмежень . Зазвичай це дещо хитра проблема максимізації, якщо ви збираєтесь використовувати методи квазі-Ньютона для її вирішення. Ви не можете просто запустити всі та на нулі та $\epsilon$ $N(0,\sigma^2)$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} p_{m} \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M p_m\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

ϕ

$\phi$

3 M + 1

$3M+1$

\sum_{m} p_{m} = 1, p_{m} \geq 0

$\sum_m p_m=1,\; p_m\ge0$

α

$\alpha$

β

$\beta$

p_{m}

$p_m$

\frac{1}{M}

$\frac{1}{M}$

α

$\alpha$

β

$\beta$

$Z_i$ $p_m$ $p_m$ $Z_i$

\begin{aligned} L (α, β, σ) = \sum_{m = 1}^{M} (\frac{e x p (δ_{m} + γ_{m} Z_{i})}{\sum_{m^{'}} e x p (δ_{m^{'}} + γ_{m^{'}} Z_{i})}) \frac{1}{σ} ϕ (\frac{Y_{i} - α_{1} - β_{1} X_{i}}{σ}) \end{aligned}

$\begin{align} L(\alpha,\beta,\sigma) = \sum_{m=1}^M \left(\frac{exp(\delta_m+\gamma_mZ_i)}{\sum_{m'} exp(\delta_{m'}+\gamma_{m'}Z_i)}\right)\frac{1}{\sigma}\phi\left(\frac{Y_i-\alpha_1-\beta_1X_i}{\sigma}\right) \end{align}$

$5M+1$ $5M-1$ $\delta, \gamma$

$M$

— Білл
джерело

M

$M$

Я спостерігав подібну поведінку в деяких своїх наборах даних. У моєму випадку декілька різних ліній були наслідком помилки квантування в одному з моїх алгоритмів обробки.

Тобто, ми дивимося на графіки розкидання оброблюваних даних, і алгоритм обробки мав деякі ефекти квантування, що спричинило залежності в даних, які виглядали точно так, як у вас вище.

Виправлення ефектів квантування призвело до того, що наш вихід виглядає набагато більш плавним та менш згуртованим.

Щодо вашого коментаря "лінійна кореляція". Те, що ви представили, недостатньо для визначення того, чи є ці дані лінійно співвіднесеними чи ні. Тобто в деяких полях коефіцієнт кореляції> 0,7 вважається сильною лінійною кореляцією. Зважаючи на те, що більшість ваших даних близькі до походження, цілком можливо, що ваші дані є лінійно корельованими щодо того, що сказала б "звичайна мудрість". Кореляція дуже мало говорить про набір даних.

— Джон
джерело