Математичні та статистичні передумови для розуміння фільтрів частинок?

Наразі я намагаюся зрозуміти фільтри для частинок та їх можливе використання у фінансах, і я дуже боюся. Які математичні та статистичні передумови я повинен переглянути (виходячи з досвіду кількісних фінансів), щоб (i) зробити основні фільтри для частинок доступними та (ii) пізніше зрозуміти їх? Я добре знаю економетрику часових рядів випускників, за винятком державно-просторових моделей, які я ще не висвітлював.

Будь-які підказки високо оцінені!

Шокуюче далеко можна дістатись лише за допомогою кількох основних понять. Нотація, вибух змінні і т.д. ... може зробити речі виглядають складної, але основна ідея фільтрації частинок дивно проста.

Деякі основні ймовірності, які вам потрібно буде (і, швидше за все, вже!) Зрозуміти:

• Обчислювальний граничний розподіл :$P(X = x) = \sum_i P(X = x, Y = y_i)$
• Деф. Умовна ймовірність:$P(X \mid Y) = \frac{P(X,Y)}{P(Y)}$
• Правило Байєса:$P(X \mid Y) = \frac{P(Y \mid X) P(X)}{P(Y)}$
• Байєсівські терміни: напр. попередній, ймовірність, задній (+1 @Yair Daon, я згоден!)

Основні етапи фільтра для частинок неймовірно прості:

Спочатку:

• Почніть з певних переконань про якийсь прихований стан. Наприклад, ви можете почати з переконання, що ваша ракета знаходиться на стартовій площадці. (У фільтрі частинок вірування про прихований стан будуть представлені хмарою точок. Кожна точка позначає можливе значення прихованого стану. Кожна точка також пов'язана з ймовірністю стану справжнього стану.)

Потім ви повторіть наступні кроки, щоб оновити час до часу :$t$$t+1$

1. Крок прогнозування: переміщення вперед розташування точок на основі закону руху. (наприклад, переміщення точок вперед на основі поточної швидкості ракети, траєкторії тощо ...). Це, як правило, розширює хмару точок із збільшенням невизначеності.
2. Крок оновлення ймовірності: використовуйте дані, введення датчика для оновлення ймовірностей, пов’язаних з точками, за допомогою Правила Байєса. Це, як правило, згортає хмару точок, оскільки невизначеність зменшується.
3. Додайте окремі кроки / рекомендації щодо фільтрування частинок. Напр. :
   • Інколи переупорядковуйте свої бали, щоб кожна точка мала однакову ймовірність.
   • Змішайте шум, не допускайте, щоб ваш крок ймовірності (2) занадто сильно розвалив хмару точок (при фільтруванні частинок важливо, щоб у вашому справжньому місці була хоча б одна точка з позитивною ймовірністю!)

Приклад:

Ініціалізуйте свій фільтр: - Подивіться на своє місцезнаходження, де ви стоїте. Тепер закрийте очі.

Потім повторіть:

1. Зробіть крок вперед із заплющеними очима.
2. Крок Пророцтва: враховуючи минулі переконання про те, де ви були стояти, передбачити , де ви в даний час стояли даний крок вперед. (Зверніть увагу, як розширюється невизначеність, оскільки ваш крок вперед із закритими очима не надто точний!)
3. Крок оновлення: використовуйте датчики (наприклад, почуття навколо тощо), щоб оновити свої переконання щодо місця, де ви стоїте.

ПОВТОРИТИ!

Машини ймовірності, необхідні для впровадження, - це лише основна ймовірність: правило Байєса, обчислення граничного розподілу тощо.

Пов'язані ідеї, які можуть допомогти зрозуміти велику картину:

У деякому сенсі кроки (1) та (2) є загальними для будь-якої проблеми байєсівської фільтрації . Деякі поняття, що дуже пов'язані з цим, можливо, читати про:

• Прихована модель Маркова . Процес - це Марков, якщо минуле не залежить від майбутнього з огляду на сучасний стан. Майже будь-який часовий ряд моделюється як якийсь процес Маркова. Модель прихованого Маркова - це така ситуація, де стан не спостерігається безпосередньо (наприклад, ви ніколи безпосередньо не спостерігаєте за точним місцем розташування вашої ракети, а замість цього виводите її розташування через байєсівський фільтр).
• Фільтр Кальмана . Це альтернатива фільтруванню частинок, яка зазвичай використовується. Це в основному байєсівський фільтр, де все вважається багатоваріантним гауссом.

Спершу слід дізнатися про простіші для кодування моделі простору стану та фільтрацію закритої форми (тобто фільтри Калмана, приховані моделі марків). Меттью Ганн правдивий, що ти можеш дістатися напрочуд далеко за допомогою простих концепцій, але, на мою скромну думку, ти повинен зробити це проміжною метою, оскільки:

1.) Порівняно кажучи, у моделях простору держав є більше рухомих частин. Коли ви вивчаєте SSM або приховані моделі markov, є багато позначень. Це означає, що в робочій пам’яті є ще багато речей, які потрібно зберігати, коли ви граєте, перевіряючи речі. Особисто я, коли спершу я дізнався про фільтри Кальмана та лінійно-гауссові ССМ, я в основному думав: «е-е, це все лише властивості багатоваріантних нормальних векторів ... я просто повинен відслідковувати, яка матриця є». Крім того, якщо ви перемикаєтесь між книгами, вони часто змінюють позначення.

Згодом я подумав про це як "е-е, це все лише правило Байєса в кожний момент часу". Коли ви думаєте про це таким чином, ви розумієте, чому родинні сім’ї є приємними, як у випадку з фільтром Калмана. Коли ви кодуєте приховану модель маркова та її дискретний простір станів, ви бачите, чому вам не доведеться обчислювати будь-яку ймовірність, і фільтрувати / розгладжувати це легко. (Я думаю, що я відхиляюся від загальноприйнятого хм-аргону тут.)

2.) Вирізання зубів при кодуванні багатьох із них допоможе вам зрозуміти, наскільки загальним є визначення простору моделі стану. Досить скоро ви будете записувати моделі, які ви хочете використовувати, і в той же час бачите, чому ви не можете. Спочатку ви зрештою побачите, що просто не можете записати його в одну з цих двох форм, до яких ви звикли. Коли ви ще трохи подумаєте про це, ви записуєте правило Байєса і бачите, що проблема полягає у вашій нездатності обчислити якусь ймовірність даних.

Таким чином, ви зрештою не зможете обчислити ці задні розподіли (згладжування або фільтрування розподілів станів). Щоб подбати про це, там є багато приблизних речей для фільтрування. Фільтрація частинок - лише одна з них. Основний винос фільтрації частинок: ви моделюєте ці розподіли, оскільки не можете їх обчислити.

Як ви моделюєте? Більшість алгоритмів є лише деяким варіантом вибірки важливості. Але і тут стає складніше. Я рекомендую цей підручник з Доусета та Йохансена ( http://www.cs.ubc.ca/~arnaud/doucet_johansen_tutorialPF.pdf ). Якщо ви розумієте, як працює фільтрація закритої форми, вони вводять загальну ідею вибірки важливості, потім загальну ідею методу Монте Карло, а потім показують, як використовувати ці дві речі, щоб почати з приємного прикладу фінансових часових рядів. ІМХО, це найкращий підручник з фільтрації частинок, який я натрапив.

Окрім додавання до поєднання двох нових ідей (вибірки важливості та методу Монте-Карло), тепер є більше позначень. Деякі щільності, які ви відбираєте відтепер; деякі ви оцінюєте, а коли оцінюєте їх, ви оцінюєте на вибірках. Результат після того, як ви все це зашифрували, зважуються зразками, що вважаються частинками. Вони змінюються після кожного нового спостереження. Було б дуже важко підібрати все це одразу. Я думаю, що це процес.

Прошу вибачення, якщо я натрапляю на них як дурний або рукописний. Це лише часовий графік мого особистого знайомства з темою. Повідомлення Меттью Ганна, ймовірно, прямо відповідає на ваше запитання. Я просто подумав, що викину цю відповідь.