Визначення сім'ї розподілу?

Чи має сім'я з розподілу інше визначення статистики, ніж в інших дисциплінах?

Взагалі сімейство кривих - це сукупність кривих, кожна з яких задається функцією або параметризацією, в якій змінюється один або кілька параметрів. Такі сім'ї використовуються, наприклад, для характеристики електронних компонентів .

Для статистики сім'я за одним джерелом є результатом зміни параметру форми. Як тоді ми можемо зрозуміти, що гамма-розподіл має параметр форми та масштабу і лише узагальнений розподіл гами має, крім того, параметр розташування? Це робить сімейство результатом зміни параметра розташування? Згідно @whuber, значення сім'ї неявно "Параметризація" сім'ї - це суцільна карта із підмножини ℝ n , із її звичайною топологією, у простір розподілів, зображенням яких є ця сім'я.$^n$

Що, простою мовою, сім'я для статистичних розподілів?

Питання про співвідношення статистичних властивостей розподілів від однієї сім'ї вже породило чимало суперечок щодо іншого питання, тому здається, що варто вивчити сенс.

Що це не обов'язково просте запитання, що виникає завдяки його використанню у фразі експоненціальної сім'ї , яке не має нічого спільного з сімейством кривих, але пов'язане зі зміною форми PDF-дистрибутива шляхом репараметризації не лише параметрів. , а також підміна функцій незалежних випадкових величин.

Статистичні та математичні поняття абсолютно однакові, розуміючи, що "сім'я" - це узагальнений математичний термін з технічними варіаціями, адаптованими до різних обставин:

Параметричне сімейство - це крива (або поверхня чи інше її кінцеве розмірне узагальнення) у просторі всіх розподілів.

У решті цієї публікації пояснюється, що це означає. Як осторонь, я не вважаю, що все це є суперечливим ні математично, ні статистично (крім одного другорядного питання, який зазначено нижче). На підтримку цієї думки я надіслав багато посилань (переважно на статті у Вікіпедії).

Ця термінологія "сімей", як правило, використовується при вивченні функцій класів $\mathcal C_Y$ на множині $Y$ або "карти". Враховуючи домен $X$ , сімейство $\mathcal F$ карт на $X$ параметризоване деяким набором $\Theta$ ("параметри"), є функцією

для якої (1) для кожного $\theta\in\Theta$ функція $\mathcal{F}_\theta:X\to Y$ задана $\mathcal{F}_\theta(x)=\mathcal{F}(x,\theta)$ знаходиться в$\mathcal{C}_Y$ а (2)$\mathcal F$ має певні "приємні" властивості.

Ідея полягає в тому, що ми хочемо змінювати функції від до Y "гладко" або контрольовано. Властивість (1) означає, що кожен θ позначає таку функцію, тоді як деталі властивості (2) будуть охоплювати сенс, в якому "мала" зміна θ викликає досить "малу" зміну F θ .$X$$Y$$\theta$$\theta$$\mathcal{F}_\theta$

Стандартний математичний приклад, близький до зазначеного у питанні, - це гомотопія . У цьому випадку - категорія безперервних карт з топологічних просторів X в топологічний простір Y ; Θ = [ 0 , 1 ] ⊂ R 0 до F$\mathcal{C}_Y$ $X$$Y$$\Theta=[0,1]\subset\mathbb{R}$ одиничний інтервал з його звичайною топологією, а також вимагати , щоб бути безперервне відображенням з топологічного твори X × thetas ; в Y . Це можна розглядати як "безперервну деформацію карти $\mathcal{F}$$X \times \Theta$$Y$$\mathcal{F}_0$$\mathcal{F}_1$ "Коли є самим інтервалом, такі карти є кривими в Y, а гомотопія - плавною деформацією від однієї кривої до іншої.$X=[0,1]$$Y$

Для статистичних застосувань - це сукупність усіх розподілів на R (або, на практиці, на R n на деякий n , але для того, щоб експозиція була простою, я зупинюся на n = 1 ). Ми можемо ототожнити його з набором усіх не спадаючих функцій cddlàg R → [ 0 , $\mathcal{C}_Y$$\mathbb{R}$$\mathbb{R}^n$$n$$n=1$ коли закриття їх діапазону включає як 0, так і 1 : це функціїкумулятивного розподілу,або просто функції розподілу. Таким чином, X = R і$\mathbb{R}\to [0,1]$$0$$1$$X=\mathbb R$ .$Y=[0,1]$

Сімейство розподілів є будь-яка підмножина . $\mathcal{C}_Y$ Інша назва сім'ї - статистична модель. Він складається з усіх розподілів, які, як ми вважаємо, регулюють наші спостереження, але ми інакше не знаємо, який розподіл є фактичним.

• Сім'я може бути порожньою.
• сама - сім'я.$\mathcal{C}_Y$
• Сім'я може складатися з одного розподілу або просто кінцевої їх кількості.

Ці абстрактні множинно-теоретичні характеристики представляють порівняно мало інтересу або корисності. Це лише тоді, коли ми розглянемо додаткову (відповідну) математичну структуру на , ця концепція стає корисною. Але які властивості C Y представляють статистичний інтерес? Деякі, які часто з’являються:$\mathcal{C}_Y$$\mathcal{C}_Y$

1. -опуклий набір: з огляду на будь-які два розподіли F , G ∈ C Y , ми можемо сформуватирозподіл суміші(1-t) F +t G ∈Yдля всіхt∈[0$\mathcal{C}_Y$${F}, {G}\in \mathcal{C}_Y$ $(1-t){F}+t{G}\in Y$ . Це свого роду «гомотопних» від F до G .$t\in[0,1]$$F$$G$

2. Великі частини Росії підтримують різні псевдометрії, такі якрозбіжність Кулбека-Лейблераабо тісно пов'язану метрику інформації Фішера.$\mathcal{C}_Y$

3. має аддитивну структуру: відповідає будь-яким двом розподіламFі$\mathcal{C}_Y$$F$$G$ є їхньою сумою, .${F}\star {G}$

4. підтримує безліч корисних, природних функцій, які часто називають "властивостями". Сюди входять будь-який фіксований квантил (наприклад, медіана), а такожкумулянти.$\mathcal{C}_Y$

5. - це підмножинафункціонального простору. Як такий, він успадковує багато корисних показників, таких якнорма суп( L ∞ норма), задана | | F-G | | ∞ = sup x ∈ R | F(x$\mathcal{C}_Y$$L^\infty$

   $$||F-G||_\infty = \sup_{x\in\mathbb{R}}|F(x)-G(x)|.$$

6. Природні дії групи на індукують дії на C Y . Найпоширенішими діями є переклади T μ : x → x + μ та масштабування S σ : x → x σ при σ > 0 . Ефект, який вони мають на розподіл, полягає в надсиланні F на розподіл, заданий F μ , σ ( x ) = F ( ( x - μ $\mathbb R$$\mathcal{C}_Y$ $T_\mu:x \to x+\mu$ $S_\sigma:x\to x\sigma$$\sigma\gt 0$$F$ . Вони призводять до концепцій локальних сімей та їх узагальнення. (Я не надаю посилання, тому що розширений пошук в Інтернеті виявляє безліч різних визначень: тут, принаймні, може виникнути невелика суперечка.)$F^{\mu,\sigma}(x) = F((x-\mu)/\sigma)$

Властивості, які мають значення, залежать від статистичної проблеми та від того, як ви плануєте аналізувати дані. Розгляд усіх варіацій, запропонованих попередніми характеристиками, зайняв би занадто багато місця для цього середовища. Давайте зупинимося на одному важливому важливому додатку.

Візьмемо, наприклад, максимальну ймовірність. У більшості програм ви хочете використовувати Calculus для отримання оцінки. Щоб це працювало, ви повинні вміти «брати похідні» в сім’ї.

( Технічна сторона: Звичайним способом цього є вибір домену для d ≥ 0 та визначення безперервної, локально перевернутої функції p від Θ в C Y. (Це означає, що для кожного θ ∈ Θ існує існує куля B ( θ , ϵ ) , при ϵ > 0, для якої p ∣ B ( θ , ϵ )$\Theta\subset \mathbb{R}^d$$d\ge 0$$p$$\Theta$$\mathcal{C}_Y$$\theta\in\Theta$$B(\theta, \epsilon)$$\epsilon\gt 0$ - один на один. Іншими словами, якщо ми змінимо θ на достатньо невеликій кількості, ми завжди отримаємо різний розподіл.))$p\mid_{B(\theta,\epsilon)}: B(\theta,\epsilon)\cap \Theta \to \mathcal{C}_Y$$\theta$

Отже, у більшості застосувань для ML вимагаємо, щоб був безперервним (і, сподіваємось, майже скрізь диференційованим) у складі Θ . (Без безперервності максимізація ймовірності, як правило, стає нерозв'язною проблемою.) Це призводить до наступного визначення імовірнісного визначення параметричного сімейства :$p$$\Theta$

Параметричне сімейство (одновимірних) розподілів - локально обернена карта з Θ ⊂ R n , для якої (a) кожен F θ є функцією розподілу і (b) для кожного x ∈ R , функція L x : θ → [ 0 , 1 ], задана L x ( θ )

$$\mathcal{F}:\mathbb{R}\times\Theta \to [0,1],$$ $\Theta\subset \mathbb{R}^n$$\mathcal{F}_\theta$$x\in\mathbb R$$\mathcal{L}_x: \theta\to [0,1]$$\mathcal{L}_x(\theta) = \mathcal{F}(x,\theta)$ є безперервним і майже скрізь диференційованим.

Зауважимо, що параметричне сімейство - це більше, ніж просто збірка F$\mathcal F$$\mathcal{F}_\theta$ : воно також включає конкретний спосіб, у якому значення параметрів відповідають розподілам.$\theta$

Закінчимо кілька ілюстративних прикладів.

• Нехай - сукупність усіх нормальних розподілів. Як дано, це не параметрична сім'я: це лише сім'я. Щоб бути параметричним, ми повинні вибрати параметризацію. Один із способів - вибрати Θ = { ( μ , σ ) ∈ R 2 ∣ σ > 0 } і зіставити ( μ , σ ) нормальний розподіл із середнім μ та дисперсією$\mathcal{C}_Y$$\Theta = \{(\mu,\sigma)\in\mathbb{R}^2\mid \sigma \gt 0\}$$(\mu,\sigma)$$\mu$ .$\sigma^2$

• Безліч Пуассона розподілу$(\lambda)$ є параметричним сімейством з .$\lambda\in\Theta=(0,\infty)\subset\mathbb{R}^1$

• Сукупність уніфікованих розподілів (яка є чіткою у багатьох вправах підручника) є параметричним сімейством з θ ∈ R 1 . У цьому випадку F θ ( x ) = max ( 0 , min ( 1 , x - θ ) ) є диференційованим у θ, за винятком θ ∈ { x , x - 1 } .$(\theta, \theta+1)$$\theta\in\mathbb{R}^1$$F_\theta(x) = \max(0, \min(1, x-\theta))$$\theta$$\theta\in\{x, x-1\}$

• Нехай і G - будь-які два розподіли. Тоді F ( x , θ ) = ( 1 - θ ) F ( x ) + θ G ( x ) - параметричне сімейство для θ ∈ [ 0 , 1 ] . (Доведення: зображення F - це сукупність розподілів і його часткова похідна в θ дорівнює - F ( x ) + G $F$$G$$\mathcal{F}(x,\theta)=(1-\theta)F(x)+\theta G(x)$$\theta\in[0,1]$$\mathcal F$$\theta$ що визначено скрізь.)$-F(x)+G(x)$

• Сім'ї Пірсона є чотиривимірний сім'ї, & , яка включає в себе (серед інших) нормального розподілу, бета розподілу і розподілу зворотної гами. Це ілюструє той факт, що будь-який даний розподіл може належати до багатьох різних сімей розподілу . Це цілком аналогічно спостереженню, що будь-яка точка (достатньо великого) простору може належати до багатьох шляхів, які перетинаються там. Це разом із попередньою побудовою показує нам, що жоден розподіл не визначає однозначно сім'ю, до якої вона належить.$\Theta\subset\mathbb{R}^4$

• $\mathcal{C}_Y$$\mathcal{C}_Y$$p: \Theta\to\mathcal{C}_Y$$\mathcal{C}_Y$$\Theta$$\mathcal{C}_Y$

To address a specific point brought up in the question: "exponential family" does not denote a set of distributions. (The standard, say, exponential distribution is a member of the family of exponential distributions, an exponential family; of the family of gamma distributions, also an exponential family; of the family of Weibull distributions, not an exponential family; & of any number of other families you might dream up.) Rather, "exponential" here refers to a property possessed by a family of distributions. So we shouldn't talk of "distributions in the exponential family" but of "exponential families of distributions"—the former is an abuse of terminology, as @JuhoKokkala points out. For some reason no-one commits this abuse when talking of location–scale families.

Thanks to @whuber there is enough information to summarize in what I hope is a simpler form relating to the question from which this post arose. "Another name for a family [Sic, statistical family] is [a] statistical model."

From that Wikipedia entry: A statistical model consists of all distributions that we suppose govern our observations, but we do not otherwise know which distribution is the actual one. What distinguishes a statistical model from other mathematical models is that a statistical model is non-deterministic. Thus, in a statistical model specified via mathematical equations, some of the variables do not have specific values, but instead have probability distributions; i.e., some of the variables are stochastic. A statistical model is usually thought of as a pair $( S , P )$, where $S$ is the set of possible observations, i.e., the sample space, and $P$ is a set of probability distributions on $S$.

Suppose that we have a statistical model $(S, \mathcal{P})$ with $\mathcal{P}=\{P_{\theta} : \theta \in \Theta\}$. The model is said to be a Parametric model if $\Theta$ has a finite dimension. In notation, we write that $\Theta \subseteq \mathbb{R}^d$ where $d$ is a positive integer ($\mathbb{R}$ denotes the real numbers; other sets can be used, in principle). Here, $d$ is called the dimension of the model.

As an example, if we assume that data arise from a univariate Gaussian distribution, then we are assuming that

Thus, if we reduce the dimensionality by assigning, for the example above, $\mu=0$, we can show a family of curves by plotting $\sigma=1,2,3,4,5$ or whatever choices for $\sigma$.