Найкращий спосіб оцінити методи оцінки PDF

Я хочу перевірити деякі свої ідеї, які, на мою думку, кращі за все, що я бачив. Я можу помилятися, але я хотів би перевірити свої ідеї і перемогти свої сумніви більш певними спостереженнями.

Що я думав зробити, це наступне:

1. Аналітично визначте набір розподілів. Деякі з них є такими легкими, як Гаусс, Уніформа чи Топхат. Але деякі з них повинні бути складними та складними, наприклад розподіл Сімпсонів.
2. Реалізуйте програмне забезпечення на основі цих аналітичних дистрибутивів та використовуйте їх для створення деяких зразків.
3. Оскільки дистрибутиви визначені аналітично, я вже - за визначенням - знаю їх справжні PDF-файли. Це чудово.
4. Тоді я перевіряю наступні методи оцінки PDF щодо наведених вище зразків:
   • Існуючі методи оцінки PDF (наприклад, KDE з різними ядрами та пропускною здатністю).
   • Моя власна ідея, яку я вважаю, варто спробувати.
5. Тоді я буду вимірювати похибку оцінок проти справжніх PDF-файлів.
6. Тоді я краще буду знати, який із методів оцінки PDF хороший.

Мої запитання:

• Q1: Чи є якісь покращення щодо мого плану вище?
• Q2: Мені важко аналітично визначити багато справжніх PDF-файлів. Чи вже є вичерпний перелік багатьох аналітично визначених справжніх PDF-файлів з різними труднощами (включаючи дуже складні), які я можу тут повторно використовувати?

A2: Ви можете протестувати свої методи в 1D на наступному наборі орієнтирів .

• А1. Це звучить як розумний план для мене. Відзначимо лише пару пунктів. Ви хочете перевірити різні показники помилок ($L^p$, Розбіжність KL та ін.), Оскільки методи працюватимуть по-різному залежно від функції втрат. Також ви хочете протестувати на різну кількість зразків. Нарешті, багато методів оцінки щільності виглядають дуже погано поблизу розривів / меж, тому обов'язково включіть у свій набір усічені pdfs.

• А2. Вас цікавить лише одновимірний pdfs або ваш план перевірити багатоваріантний випадок? Щодо базового набору pdfs, я раніше задавав запитання, яке було пов'язане з метою тестування алгоритмів MCMC , але я не знайшов нічого подібного до налагодженого набору pdfs.

Якщо у вас є достатньо часу та обчислювальних ресурсів, ви можете розглянути можливість проведення змагальних тестувань своєї ідеї:

• Визначте дуже гнучке параметричне сімейство pdfs (наприклад, велика суміш кількох відомих pdfs) та перемістіться навколо простору параметрів суміші за допомогою якогось невипуклого методу глобальної оптимізації (*), щоб мінімізувати продуктивність вашого методу та максимально збільшити виконання деяких інших сучасних методів оцінки щільності (і, можливо, навпаки). Це буде сильним випробуванням на міцність / слабкість вашого методу.

Нарешті, вимога бути кращим за всі інші методи - це надмірно висока планка; на роботі не повинно бути принципу безкоштовного обіду (будь-який алгоритм має деякі основні попередні припущення, такі як плавність, масштаб довжини тощо). Для того, щоб ваш метод був цінним внеском, вам потрібно лише показати, що існують режими / домени, які мають загальний інтерес, в яких ваш алгоритм працює краще (змагальний тест, описаний вище, може допомогти вам знайти / визначити такий домен).

(*) Оскільки показник вашої ефективності є стохастичним (ви будете оцінювати його за допомогою вибірки в Монте-Карло), ви також можете перевірити цю відповідь щодо оптимізації галасливих, дорогих цільових функцій.

Q1: Чи є якісь покращення щодо мого плану вище?

Це залежить. Залишки розподілу суміші часто є результатом нерозумних речей, таких як визначення непотрібної суміші в якості моделі даних, для початку. Отже, мій власний досвід пропонує принаймні вказати стільки термінів розподілу суміші у виході, скільки є в моделі. Більше того, вихід PDF-суміші на відміну від PDF-файлів у моделі. Пошук за замовчуванням Mathematica включає розподіли сумішей з двома термінами і їх можна вказати як більшу кількість.

Q2: Чи є вже вичерпний перелік багатьох аналітично визначених справжніх PDF-файлів з різними труднощами (включаючи дуже складні), які я можу тут повторно використовувати?

Це список із програми " FindDistribution" від Mathematica :

Можливі безперервні розподілу для TargetFunctions є: BetaDistribution, Розподіл Коші, ChiDistribution, ChiSquareDistribution, ExponentialDistribution, ExtremeValueDistribution, FrechetDistribution, гамма-розподіл, GumbelDistribution, HalfNormalDistribution, InverseGaussianDistribution, Розподіл Лапласа, LevyDistribution, LogisticDistribution, LogNormalDistribution, MaxwellDistribution, NormalDistribution, Розподіл Парето, Розподіл Рейлі, StudentTDistribution, UniformDistribution, Розподіл Вейбулла , Гістограма, розподіл.

Можливими дискретними розподілами для TargetFunctions є: BenfordDistribution, BinomialDistribution, BorelTannerDistribution, DiscreteUniformDistribution, GeometricDistribution, LogSeriesDistribution, NegativeBinomialDistribution, PascalDistribution, PoissonDistribution, WaringYuleDististist, Divingto, Divingto, Diving, Diving, Diving, Diving, Diving, Diving, Diving, Diving, Diving, Diving, Diving, Diving, Divingist

Внутрішній критерій інформації використовує байєсівський критерій інформації разом з пріорами над TargetFunctions.