Як жорстко визначити ймовірність?

Ймовірність може бути визначена кількома способами, наприклад:

• функція від яка відображає на тобто .L ( θ , x ) L ( θ ∣ x ) L : Θ × X → $L$$\Theta\times{\cal X}$$(\theta,x)$$L(\theta \mid x)$$L:\Theta\times{\cal X} \rightarrow \mathbb{R}$

• випадкова функція$L(\cdot \mid X)$

• ми також могли б вважати, що ймовірність - це лише "спостережувана" ймовірність$L(\cdot \mid x^{\text{obs}})$

• на практиці ймовірність приносить інформацію про лише до мультиплікативної константи, отже, ми могли б розглядати ймовірність як клас еквівалентності функцій, а не функцію$\theta$

Інше питання виникає при розгляді зміни параметризації: якщо - це нова параметризація, яку ми зазвичай позначаємо через ймовірність на і це не оцінка попередньої функції у але в . Це образливі, але корисні позначення, які можуть спричинити труднощі для початківців, якщо це не буде наголошено.$\phi=\theta^2$$L(\phi \mid x)$$\phi$$L(\cdot \mid x)$$\theta^2$$\sqrt{\phi}$

Яке ваше улюблене суворе визначення ймовірності?

Крім того, як ви називаєте ? Я зазвичай кажу щось на кшталт "ймовірність на коли спостерігається ".$L(\theta \mid x)$$\theta$$x$

EDIT: З огляду на деякі коментарі нижче, я розумію, що я повинен був уточнити контекст. Я розглядаю статистичну модель, задану параметричним сімейством густин відносно якоїсь домінуючої міри, з кожним визначений у просторі спостережень . Отже, ми визначаємо і виникає питання "що таке ?" (питання не в загальному визначенні ймовірності)$\{f(\cdot \mid \theta), \theta \in \Theta\}$$f(\cdot \mid \theta)$${\cal X}$$L(\theta \mid x)=f(x \mid \theta)$$L$

Третій предмет - це той, кого я бачив найчастіше, використовуючи як суворе визначення.

Інші теж цікаві (+1). Зокрема, перше звертається до уваги, із тим складністю, що розмір вибірки ще не визначений, важче визначити набір "від".

Для мене основна інтуїція ймовірності полягає в тому, що це функція моделі + її параметри, а не функція випадкових змінних (також важливий момент для навчальних цілей). Тож я б дотримувався третього визначення.

Джерелом зловживання позначенням є те, що множина ймовірностей "від" неявна, що зазвичай не відповідає чітко визначеним функціям. Тут найбільш суворим підходом є усвідомлення того, що після трансформації ймовірність стосується іншої моделі. Вона рівнозначна першій, але все ж іншій моделі. Отже, позначення ймовірності повинні показувати, до якої моделі вона посилається (за індексом чи іншою). Я ніколи цього не роблю, звичайно, але для навчання я можу.

Нарешті, щоб відповідати моїм попереднім відповідям, я кажу "ймовірність θ " у вашій останній формулі.$\theta$

Я думаю, я би назвав це чимось інакшим. Ймовірність - це щільність ймовірності для спостережуваного x з урахуванням значення параметра θ, вираженого як функція θ для даного x . Я не поділяю думку про константу пропорційності. Я думаю, що це грає лише тому, що максимізація будь-якої монотонної функції ймовірності дає те саме рішення для θ . Таким чином, ви можете максимізувати c L ( θ ∣ x ) для c > 0 або інших монотонних функцій, таких як log ( L ( θ ∣ x ) $θ$$θ$$x$$θ$$cL(θ∣x)$$c>0$$\log(L(θ∣x))$ що зазвичай робиться.

Ось спроба чіткого математичного визначення:

Let $X: \Omega \to \mathbb R^n$ be a random vector which admits a density $f(x | \theta_0)$ with respect to some measure $\nu$ on $\mathbb R^n$, where for $\theta \in \Theta$, $\{f(x|\theta): \theta \in \Theta\}$ is a family of densities on $\mathbb R^n$ with respect to $\nu$. Then, for any $x \in \mathbb R^n$ we define the likelihood function $L(\theta | x)$ to be $f(x | \theta)$; for clarity, for each $x$ we have $L_x : \Theta \to \mathbb R$. One can think of $x$ to be a particular potential $x_{obs}$ and $\theta_0$ to be the "true" value of $\theta$.

A couple of observations about this definition:

1. The definition is robust enough to handle discrete, continuous, and other sorts of families of distributions for $X$.
2. We are defining the likelihood at the level of density functions instead of at the level of probability distributions/measures. The reason for this is that densities are not unique, and it turns out that this isn't a situation where one can pass to equivalence classes of densities and still be safe: different choices of densities lead to different MLE's in the continuous case. However, in most cases there is a natural choice of family of densities that are desirable theoretically.
3. I like this definition because it incorporates the random variables we are working with into it and, by design since we have to assign them a distribution, we have also rigorously built in the notion of the "true but unknown" value of $\theta$, here denoted $\theta_0$. For me, as a student, the challenge of being rigorous about likelihood was always how to reconcile the real world concepts of a "true" $\theta$ and "observed" $x_{obs}$ with the mathematics; this was often not helped by instructors claiming that these concepts weren't formal but then turning around and using them formally when proving things! So we deal with them formally in this definition.
4. EDIT: Of course, we are free to consider the usual random elements $L(\theta | X)$, $S(\theta | X)$ and $\mathcal I(\theta | X)$ and under this definition with no real problems with rigor as long as you are careful (or even if you aren't if that level of rigor is not important to you).