Визначення оптимальної дискретизації даних від безперервного розподілу

Припустимо , що у вас є набір даних $Y_{1}, ..., Y_{n}$ від безперервного розподілу з щільністю підтримуваної на що невідомо, але досить велика, тому оцінка щільності ядра (наприклад), , є досить точний. Для конкретного застосування мені потрібно перетворити спостережувані дані в кінцеву кількість категорій, щоб отримати новий набір даних з масованою функцією маси . $p(y)$ $[0,1]$ $n$ $\hat{p}(y)$ $Z_{1}, ..., Z_{n}$ $g(z)$

Простим прикладом може бути коли і коли . У цьому випадку функція індукованої маси була б $Z_{i} = 0$ $Y_{i} \leq 1/2$ $Z_{i} = 1$ $Y_{i} > 1/2$

\hat{g} (0) = \int_{0}^{1 / 2} \hat{p} (y) d y, \hat{g} (1) = \int_{1 / 2}^{1} \hat{p} (y) d y

$\hat{g}(0) = \int_{0}^{1/2} \hat{p}(y) dy, \ \ \ \hat{g}(1) = \int_{1/2}^{1} \hat{p}(y)dy$

Два "параметри настройки" тут - кількість груп, та вектор довжини порогів . Позначимо індуковану функцію маси через . $m$ $(m-1)$ $\lambda$ $\hat{g}_{m,\lambda}(y)$

Я хотів би процедури, яка відповідає, наприклад, "Який найкращий вибір щоб збільшення кількості груп до (і вибір оптимального там) призвело б до незначного поліпшення?" . Я відчуваю, що, можливо, може бути створена тестова статистика (можливо, з різницею в розбіжності KL або щось подібне), розподіл якого можна отримати. Якісь ідеї чи відповідна література? $m, \lambda$ $m+1$ $\lambda$

Редагувати: Я рівномірно розподіляв часові вимірювання неперервної змінної і використовую неоднорідний ланцюг Маркова для моделювання тимчасової залежності. Відверто кажучи, з дискретними державними ланцюгами markov набагато простіше впоратися, і це моя мотивація. Дані, що спостерігаються, є відсотками. Наразі я використовую спеціальну дискрецію, яка мені дуже добре виглядає, але я думаю, що це цікава проблема, коли можливе формальне (і загальне) рішення.

Редагування 2: Насправді мінімізація розбіжності KL була б рівнозначною, ніж взагалі не дискретизувати дані, тому ця ідея повністю відсутня. Я відповідно редагував тіло.

continuous-data discrete-data

— Макрос
джерело

У більшості випадків потреби подальших заявок визначатимуть користь будь-якого рішення. Можливо, щоб дати нам кілька порад, ви могли б сказати більше про це.

— whuber

Спочатку визначте, що ви маєте на увазі під незначним . Це, здається, пов'язане з проблемою спотворення швидкості . Текст обкладинки та Томаса дає приємне для читання ознайомлення з такими темами.

— кардинал

Я думаю про дискретизацію з

рівнями, як модель з параметрами

(для порогів). Під цим налаштуванням, коли я кажу незначно, я маю на увазі "не варто додавати додатковий параметр" у статистичному сенсі.

k

$k$

k - 1

$k-1$

— Макрос

Я не впевнений, чи дискретизація насправді хороший крок. Ви не зможете узагальнити межі, які створюють дискретні значення в оригінальному просторі ваших спостережень.

— bayerj

Я буду ділитися рішенням, з яким я придумав цю проблему ще раз - це не офіційний статистичний тест, але може надати корисну евристику.

Розглянемо загальний випадок , коли у вас є безперервні спостереження ; не втрачаючи загальності, припустимо, пробним простором кожного спостереження є інтервал . Схема категоризації залежатиме від ряду категорій, та порогів розташування, які розділяють категорії, . $Y_{1}, Y_{2}, ..., Y_{n}$ $[0,1]$ $m$ $0 < \lambda_{1} < \lambda_{2} < \cdots < \lambda_{m-1} < 1$

Позначимо категоризовану версію через , де . Розмірковуючи про дискретизацію даних як про розподіл вихідних даних на класи, дисперсію можна розглядати як комбінацію варіацій всередині і між групами для фіксованого значення : $Y_{i}$ $Z_{i}(m, {\boldsymbol \lambda})$ ${\boldsymbol \lambda} = \{ \lambda_{1}, \lambda_{2}, \cdots, \lambda_{m-1} \}$ $Y_{i}$ $m, {\boldsymbol \lambda}$

v а r (Y_{i}) = v а r (Е (Y_{i} | Z_{i} (м, λ))) + Е (v а r (Y_{i} | Z_{i} (м, λ))) .

$\begin{equation} {\rm var}(Y_{i}) = {\rm var} \Big( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) + E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big). \end{equation}$

Дана категоризація є успішною при створенні однорідних груп, якщо в груповій дисперсії є відносно мало, кількісно визначена . Тому ми шукаємо парсимоністичну групування, яка надає більшу частину варіація до $E( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $Y_{i}$ . термін зокрема, ми хочемощоб вибрати , так що шляхом додавання додаткових рівнів ми не додаємо суттєво до однорідності всередині групи. Зважаючи на це, ми визначаємо оптимальний ${\rm var}( E(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}) )$ $m$ ${\boldsymbol \lambda}$ для фіксованого значення бути $m$

λ_{м}^{⋆} = {а r г м i н}_{λ} Е (v а r (Y_{i} | Z_{i} (м, λ)))

$\begin{equation} {\boldsymbol \lambda}^{\star}_{m} = {\rm argmin}_{\boldsymbol \lambda} E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda})) \Big) \end{equation}$

Приблизною діагностикою для визначення того, який вибір є адекватним, є огляд дропфу в $m$ як функції- ця траєкторія є монотонно не- зростаючи, і після того, як він різко зменшується, то ви можете бачити, що ви набираєте порівняно меншу точність, включаючи більше категорій. Цей евристичний за духом схожий на те, щоіноді використовується"Екран екрану", щоб побачити, скільки основних компонентів пояснюють "достатньо" варіації. $E \Big( {\rm var}(Y_{i} | Z_{i}(m, {\boldsymbol \lambda}^{\star}_{m} )) \Big)$ $m$

— Макрос
джерело