Чому визначення послідовного оцінювача є таким, яким воно є? А як щодо альтернативних визначень послідовності?

Цитата з wikipedia:

У статистиці послідовний оцінювач або асимптотично послідовний оцінювач - це оцінювач - правило для обчислення оцінок параметра володіє властивістю, яке в міру того, як кількість використаних точок даних збільшується нескінченно, результуюча послідовність оцінок з вірогідністю сходить до . $θ^*$ $θ^*$

Щоб зробити це твердження точним, нехай $\theta^*$ є значенням істинного параметра, який ви хочете оцінити, і нехай є правилом для оцінки цього параметра як функції даних. Тоді визначення консистенції оцінювача можна виразити наступним чином: $\hat\theta(S_n)$

lim_{n \to \infty} P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] = 0

$\lim_{n \to \infty} Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ]=0$

моє питання здається поверхневим на перший погляд, але це: чому саме для опису такої поведінки оцінювача було використано слово "послідовність / послідовність"?

Причина, що я переймаюся цим, полягає в тому, що для мене інтуїтивно слово послідовно означає щось інше (або, принаймні, мені здається іншим, можливо, їх можна показати рівними). Дозвольте розповісти, що це означає на прикладі. Скажіть, що "ви" послідовно "хороші" (для певного визначення добра), то послідовне означає, що кожен раз, коли у вас є шанс довести / показати мені, що ви хороші, ви дійсно доводите мені, що ви хороші, кожен раз (або принаймні більшу частину часу).

Дозволяє застосувати мою інтуїцію, щоб визначити послідовність оцінки. Нехай "ви" є функцією, що обчислює $\hat{\theta}$ і "добре" означає, наскільки ви віддалені від справжньої оцінки $\theta^*$ (добре, в розумінні норми $l_1$ , чому б ні). Тоді кращим визначенням консистенції було б:

\forall n, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\forall n,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

Незважаючи на те, що це може бути менш корисним визначенням послідовності, для мене є більше сенсу в тому, як я б визначив узгодженість, тому що для будь-яких навчальних / зразкових наборів, які ви кинете на мій оцінювач , я зможу зробити хороша робота, тобто я постійно буду робити добре. Я усвідомлюю, що це трохи нереально зробити це для всіх n (можливо, неможливо), але ми можемо виправити це визначення, сказавши: $\hat\theta$

\exists n_{0}, \forall n \geq n_{0}, \forall S_{n}, P r [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] < δ

$\exists n_0, \forall n \geq n_0,\forall S_n, Pr[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon ] < \delta$

тобто для досить великого n наш оцінювач не зробить гірше, ніж (тобто не більше ніж від "істини") від істинного ( намагається зафіксувати інтуїцію, яка вам потрібна як мінімум деяка кількість прикладів, щоб дізнатися / оцінити що-небудь, і як тільки ви досягнете цього числа, ваш оцінювач буде добре протягом більшої частини часу, якщо він буде відповідати тому, як ми намагаємося його визначити). $\epsilon$ $\epsilon$ $\theta^*$ $n_0$

Однак попереднє визначення є сильним, можливо, ми могли б дозволити нам малу ймовірність бути далеко від для більшості навчальних наборів розміром (тобто не потрібно цього для всіх , але над розподіл або щось подібне). Таким чином, ми матимемо велику помилку лише дуже рідко для більшості наборів / навчальних наборів. $\theta^*$ $n \geq n_0$ $S_n$ $S_n$

У будь-якому випадку, моє запитання, чи справді ці запропоновані визначення поняття "узгодженість" збігаються з "офіційним" визначенням послідовності, але еквівалентність важко довести? Якщо ви знаєте доказ, будь ласка, поділіться ним! Або моя інтуїція повністю відключена і чи є більш глибока причина вибору послідовності визначення у спосіб, який зазвичай визначається як? Чому ("офіційна") послідовність визначається таким, яким він є?

Деякі мої думки щодо підтвердження кандидатом певної еквівалентності чи, можливо, подібності між моїм поняттям послідовності та прийнятим поняттям несуперечливості, можливо, будуть розгадувати визначення межі в офіційному визначенні узгодженості за допомогою визначення межі. Однак я не був на 100% впевнений, як це зробити, і навіть якщо я спробував, офіційне визначення узгодженості, здається, не враховує розмови про всі потенційні навчальні / вибіркові набори. Оскільки я вважаю, що вони є рівнозначними, чи я надав офіційне визначення неповним (тобто, чому це не говорить про набори даних, які ми могли б, або про всі різні набори даних, які могли б генерувати наші вибіркові набори)? $(\epsilon, \delta)-$

Одне з моїх останніх думок - це те, що будь-яке визначення, яке ми надаємо, також повинне бути точним, у випадку якого розподілу ймовірностей ми говоримо, це або . Я думаю, що кандидат повинен також бути точним, якщо все, що він гарантує, якщо він гарантує його WR до якогось фіксованого розподілу або wrt до всіх можливих розподілів на навчальних наборах ... правда? $P_x$ $P_{S_n}$

machine-learning mathematical-statistics consistency

— Чарлі Паркер
джерело

(+1) Творче мислення. Дякуємо, що поділилися цим із нами. Я вірю, що я зможу надати тут деякі думки як відповідь.

— Алекос Пападопулос

Перше визначення мало корисне, оскільки воно вимагає, щоб усі оцінки були дуже точними. Другий не має сенсу, оскільки він намагається керувати єдиною логічною змінною з кількома кванторами.

n

$n$

— whuber

Розглянемо друге попереднє твердження ОП, дещо змінене,

\begin{matrix} (1) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ] < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n, \exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\P_n\big[|{\hat \theta(S_{n}}) - \theta^*|\geq \epsilon \big] < \delta \tag{1}$

Ми вивчаємо обмежену в послідовність дійсних чисел $[0,1]$

{P_{n} [| \hat{θ} (S_{n}) - θ^{*} | \geq ϵ]}

$\big\{ P_n\big[|{\hat\theta(S_{n}}) - \theta^*|\geq \epsilon \big]\big\}$

індексується . Якщо ця послідовність має обмеження як , назвіть її просто , у нас це буде $n$ $n\rightarrow \infty$ $p$

\begin{matrix} (2) & \forall θ \in Θ, ϵ > 0, δ > 0, S_{n}, \exists n_{0} (θ, ϵ, δ) : \forall n \geq n_{0}, | P_{n} [| \hat{θ (S_{n}}) - θ^{*} | \geq ϵ] - p | < δ \end{matrix}

$\forall \theta\in \Theta, \epsilon>0, \delta>0, S_n,\,\exists n_0(\theta, \epsilon, \delta): \forall n \geq n_0,\;\\\Big| P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon \big] -p\Big|< \delta \tag{2}$

Отже, якщо ми припускаємо (або вимагаємо) , ми по суті припускаємо (або вимагаємо), що межа як існує і дорівнює нулю, . $(1)$ $n\rightarrow \infty$ $p=0$

Отже читає "межа оскільки дорівнює ". Що саме є поточним визначенням послідовності (і так, воно охоплює "всі можливі зразки") $(1)$ $P_n\big[|\hat{\theta(S_{n}}) - \theta^*|\geq \epsilon\big]$ $n\rightarrow \infty$ $0$

Отже, виявляється, що ОП по суті запропонував альтернативний вираз для точно тієї ж властивості, а не іншої властивості, оцінювача.

ДОДАТИ (забув частину історії)

У своїй «Основах теорії ймовірності» (1933) Колмогоров у виносці згадує це (концепція конвергенції у ймовірності)

"... пояснюється Бернуллі; його цілком загальне трактування було запроваджено Є.Слуцьким".

(у 1925 р.). Робота Слуцького є німецькою мовою - може бути навіть питання про те, як німецьке слово було перекладено англійською мовою (або терміном, який вживав Бернуллі). Але не намагайтеся читати занадто багато слова.

— Алекос Пападопулос
джерело