Як знайти режим функції щільності ймовірності?

Надихнувшись іншим моїм запитанням , я хотів би запитати, як можна знайти режим функції щільності ймовірності (PDF) функції ?$f(x)$

Чи є для цього якась процедура «кухарської книги»? Мабуть, це завдання набагато складніше, ніж здається спочатку.

Говорячи "режим", мається на увазі, що розподіл має один і єдиний. Взагалі дистрибутив може мати багато режимів або (можливо, жоден).

Якщо є декілька режимів, вам потрібно вказати, чи потрібно їх усіх або просто глобальний режим (якщо такий існує саме такий).

Якщо припустити, що ми обмежимося одномодовими розподілами *, тому ми можемо говорити про режим "", вони знайдені так само, як і знаходження максимумів функцій більш загальним.

* зауважте, що на сторінці написано, що " термін" режим "має багато значень, так і термін" унімодальний " " пропонує декілька визначень режиму - який може змінити те, що саме вважається режимом, чи є 0 1 або більше - а також змінює стратегію їх виявлення. Особливо зверніть увагу на те, наскільки загальним є "більш загальне" фразування того, що унімодальність є у вступному параграфі " унімодальність означає, що існує лише одне найвище значення, якесь визначене "

Одне визначення, запропоноване на цій сторінці, є:

Режим безперервного розподілу ймовірностей - це значення, при якому функція щільності ймовірності (pdf) досягає свого максимального значення

Отже, з урахуванням конкретного визначення режиму ви знаходите його так, як ви б визначили, що саме таке визначення "найвищого значення", коли стосується функцій в більш загальному плані (якщо припустити, що розподіл є одномодальним за цим визначенням).

Існує різноманітна стратегія в математиці для виявлення таких речей залежно від обставин. Дивіться розділ «Пошук функціональних максимумів і мінімумів» на сторінці Вікіпедії про Максиму та мінімуми, який дає коротке обговорення.

Наприклад, якщо речі досить приємні - скажімо, ми маємо справу з безперервною випадковою змінною, де функція щільності має первинну першу похідну - ви можете продовжити, намагаючись знайти, де похідна функції щільності дорівнює нулю, і перевіряючи який тип критичної точки це (максимальна, мінімальна, горизонтальна точка перегину). Якщо є саме одна така точка, яка є локальним максимумом, це повинен бути режим одномодального розподілу.

Однак загалом справи складніші (наприклад, режим може не бути критичним моментом), і застосовуються більш широкі стратегії пошуку максимумів функцій.

Іноді знайти, де похідні дорівнюють нулю алгебраїчно, може бути важко або принаймні громіздко, але все ж можливо виявити максимуми іншими способами. Наприклад, можливо, що можна визначити міркування симетрії при виявленні режиму одномовного розподілу. Або можна звернутися до якоїсь форми чисельного алгоритму на комп'ютері, щоб знайти режим чисельно.

Ось декілька випадків, які ілюструють типові речі, на які вам потрібно перевірити, навіть коли функція не є одномовна та, принаймні, кусочно безперервна.

Так, наприклад, ми повинні перевірити кінцеві точки (центральна діаграма), точки, де похідна змінюється знаком (але може не дорівнювати нулю; перша діаграма) та точки розриву (третя діаграма).

У деяких випадках справи можуть бути не такими акуратними, як ці три; ви повинні спробувати зрозуміти характеристики конкретної функції, з якою ви маєте справу.

Я не зачіпав багатовимірний випадок, коли навіть коли функції досить "приємні", просто пошук локальних максимумів може бути значно складнішим (наприклад, чисельні методи для цього можуть вийти з ладу в практичному розумінні, навіть коли вони логічно повинні успішно зрештою).

Ця відповідь повністю зосереджена на оцінці режиму з вибірки з акцентом на одному конкретному методі. Якщо є якийсь сильний сенс, в якому ви вже знаєте щільність, аналітично чи чисельно, то кращою відповіддю є, коротко кажучи, шукати одиничні максимум або множинні максимуми безпосередньо, як у відповіді від @Glen_b.

"Режими напівпроби" можуть бути обчислені за допомогою рекурсивного відбору напівпроби з найменшою довжиною. Хоча воно має довші коріння, відмінну презентацію цієї ідеї дали Біккель і Фрюхвірт (2006).

Ідея про оцінку режиму як середини найкоротшого інтервалу, що містить фіксовану кількість спостережень, сягає щонайменше Даленію (1965). Дивіться також Робертсона та Кріера (1974), Бікеля (2002) та Бікеля та Фрюхвірта (2006) про інших оцінювачів режиму.

$n$$x$$x_{(1)} \le x_{(2)} \le \cdots \le x_{(n-1)} \le x_{(n)}$

Режим напівпроби тут визначається за допомогою двох правил.

$n = 1$$x_{(1)}$$n = 2$$(x_{(1)} + x_{(2)}) / 2$$n = 3$$(x_{(1)} + x_{(2)}) / 2$$x_{(1)}$$x_{(2)}$$x_{(2)}$$x_{(3)}$$(x_{(2)} + x_{(3)}) / 2$$x_{(2)}$

$n \ge 4$$3$$h_1 = \lfloor n / 2\rfloor$$k$$k + h_1$$x_{(k + h_1)} - x_{(k)}$$k = 1, \cdots, n - h_1$$h_1 + 1$$h_2 = \lfloor h_1 / 2\rfloor$

$x_{(k)}, \cdots, x_{(k + h)}$$h = \lfloor n / 2 \rfloor$$(x_k + x_{(k + h)}) / 2$$x$shorth

Деякі коментарі з широкою щіткою випливають із переваг та недоліків напівпробових режимів, з точки зору практичних аналітиків даних, як і з математичних чи теоретичних статистиків. Який би проект не був, завжди буде розумним порівнювати результати зі стандартними підсумковими заходами (наприклад, медіанами або засобами, включаючи геометричні та гармонічні засоби) та пов'язувати результати з графіками розподілів. Більше того, якщо ваш інтерес викликає існування або ступінь бімодальності чи мультимодальності, найкраще буде переглянути безпосередньо відповідні згладжені оцінки функції густини.

Оцінка режиму Підсумовуючи, де дані найгустіші, напівпробовий режим додає автоматизовану оцінку режиму в панель інструментів. Більш традиційні оцінки режиму, засновані на виявленні піків на гістограмах або навіть графіках щільності ядра, чутливі до рішень щодо походження чи ширини біна, типу ядра та напівширини ядра, а у будь-якому випадку складніше автоматизувати. При застосуванні до розподілів, які є одномодовими та приблизно симетричними, режим напівпроби буде близьким до середнього та середнього, але більш стійким, ніж середнє для людей, що випадають в обох хвостах. При застосуванні до розподілів, які є одномодовими та несиметричними, режим напівпробої вибірки, як правило, буде набагато ближчим до режиму, визначеного іншими методами, ніж середній або середній.

Простота Ідея напівпробного режиму досить проста і легко пояснити студентам та дослідникам, які не вважають себе статистичними фахівцями.

Графічна інтерпретація Напівпробовий режим може бути легко пов'язаний зі стандартними відображеннями розподілів, такими як графіки щільності ядра, кумулятивний розподіл та квантильні графіки, гістограми та графіки стебла та листків.

При цьому зауважте, що

Не корисно для всіх дистрибутивів Якщо застосовуватись до дистрибутивів, які мають приблизно J-форму, режим напівпробої вибірки буде приблизним мінімуму даних. Якщо застосовувати до розподілів, які мають приблизно U-подібну форму, режим напівпроби буде знаходитися в межах тієї половини розподілу, яка матиме більш високу середню щільність. Жодна поведінка не здається особливо цікавою чи корисною, але однаково мало дзвінків щодо одиночних модних підсумків для J-подібних або U-подібних розподілів. Для фігур U, бімодальність робить ідею єдиного режиму, якщо не недійсною.

Краватки Найкоротша половина може бути не визначена однозначно. Навіть при вимірюваних даних округлення повідомлених значень часто може породжувати зв'язки. Що робити з двома або більше найкоротшими половинками, в літературі мало обговорювалося. Зверніть увагу, що зав’язані половинки можуть або перекриватися, або бути роз'єднаними.

hsmode$t$$t$$\lceil t/ 2\rceil$

$-9, -4, -1 , 0, -1, 4, 9$$-0.5$$0$$1 + \lfloor n / 2\rfloor$$n$$n$, чого важко досягти за інших десідератів, особливо, що довжина вікна ніколи не повинна зменшуватися в залежності від розміру вибірки. Ми вважаємо за краще, що це незначна проблема з наборами даних розумного розміру.

$1 + \lfloor n / 2\rfloor$$n$$n$$n = 1,$$n = 2$$\lceil n / 2\rceil$

$1.6, 3.11, 3.95, 4.2, 4.2, 4.62, 4.62, 4.62, 4.7, 4.87, 5.04, 5.29, 5.3, 5.38, 5.38, 5.38, 5.54, 5.54, 5.63, 5.71, 6.13, 6.38, 6.38, 6.67, 6.69, 6.97, 7.22, 7.72, 7.98, 7.98, 8.74, 8.99, 9.27, 9.74, 10.66.$hsmode$5.00, 5.02, 5.04$

Ендрюс, DF, PJ Bickel, FR Ham Hampel, PJ Huber, WH Rogers та JW Tukey. 1972. Надійна оцінка місцеположення: опитування та досягнення. Прінстон, Нью-Джерсі: Прінстонський університетський прес.

Bickel, DR 2002. Надійні оцінювачі режиму та перекосу суцільних даних. Обчислювальна статистика та аналіз даних 39: 153-163.

Bickel, DR та R. Frühwirth. 2006. Про швидкий, надійний оцінювач режиму: порівняння з іншими оцінками з додатками. Обчислювальна статистика та аналіз даних 50: 3500-3530.

Даленій, Т. 1965. Режим - Нехтуючий статистичний параметр. Журнал, Королівське статистичне товариство A 128: 110-117.

Grübel, R. 1988. Довжина шорта. Літописи статистики 16: 619-628.

Hampel, FR 1975. Поруч із параметрами розташування: надійні концепції та методи. Вісник, Міжнародний статистичний інститут 46: 375-382.

Maronna, RA, RD Martin та VJ Yohai. 2006. Надійна статистика: теорія та методи . Чичестер: Джон Вілі.

Робертсон, Т. та Дж. Д. Крейдер. 1974. Ітеративна процедура оцінки режиму. Журнал, Американська статистична асоціація 69: 1012-1016.

Rousseeuw, PJ 1984. Найменша медіана регресії квадратів. Журнал, Американська статистична асоціація 79: 871-880.

Rousseeuw, PJ та AM Leroy. 1987. Надійна регресія та виявлення зовнішньої форми . Нью-Йорк: Джон Вілі.

Цей обліковий запис базується на документації для

Cox, NJ 2007. HSMODE: Статистичний модуль для обчислення режимів половини вибірки, http://EconPapers.repec.org/RePEc:boc:bocode:s456818 .

Дивіться також веб-сайт Девіда Р. Бікеля тут для отримання інформації про реалізацію іншого програмного забезпечення.

Якщо у вас є зразки з розподілу у векторі "x", я би зробив:

 mymode <- function(x){
   d<-density(x)
   return(d$x[which(d$y==max(d$y)[1])])
 }

Ви повинні налаштувати функцію щільності, щоб вона була досить гладкою вгорі ;-).

Якщо у вас є лише щільність розподілу, я б використовував оптимізатор, щоб знайти режим (REML, LBFGS, симплекс тощо) ...

 fx <- function(x) {some density equation}
 mode <- optim(inits,fx)

Або скористайтеся пробовідбірником Монте-Карло, щоб отримати деякі зразки з дистрибуції (пакет rstan) та скористайтеся описаною вище процедурою. (У всякому разі, пакет Стен як "оптимізуюча" функція, щоб отримати режим розподілу).