Чи є якась кількісна властивість населення «параметром»?

Я відносно знайомий з різницею між термінами статистика та параметр. Я бачу статистику як значення, отримане від застосування функції до вибіркових даних. Однак більшість прикладів параметрів стосуються визначення параметричного розподілу. Поширений приклад - середнє та стандартне відхилення для параметризації нормального розподілу або коефіцієнтів та відхилень помилок для параметризації лінійної регресії.

Однак існує багато інших значень розподілу популяції, які є менш прототиповими (наприклад, мінімальне, максимальне, r-квадрат при множинній регресії, квантил .25, медіана, кількість предикторів з ненульовими коефіцієнтами, перекос, кількість кореляцій у кореляційній матриці більше, ніж .3 тощо).

Таким чином, мої запитання :

• Чи має бути якусь кількісну властивість населення позначати "параметром"?
• Якщо так, то чому?
• Якщо ні, то які характеристики не слід позначати параметром? Що вони мають маркувати? І чому?

Опрацювання плутанини

У статті Вікіпедії про оцінювачі зазначено:

"Оцінювач" або "бальна оцінка" - це статистика (тобто функція даних), яка використовується для виведення значення невідомого параметра в статистичній моделі.

Але я можу визначити невідоме значення як .25 квантил, і я можу розробити оцінювач для цього невідомого. Тобто, не всі кількісні властивості популяції - це параметри так само, як, наприклад, середнє значення і sd - параметри нормального розподілу, але справедливо намагатися оцінити будь-яку кількісну властивість населення.

Це питання лежить в основі того, що таке статистика і як провести хороший статистичний аналіз. Це викликає багато питань, деякі термінології та інші теорії. Щоб уточнити їх, почнемо з відмітки неявного контексту питання та переходимо звідти до визначення ключових термінів "параметр", "властивість" та "оцінювач". На декілька частин запитання дано відповіді під час обговорення. В заключному заключному розділі узагальнено основні ідеї.

Державні простори

Загальне статистичне використання "розподілу", як у "Нормальному розподілі з PDF, пропорційним "- це насправді (серйозна) зловживання англійською мовою, оскільки, очевидно, це не один розподіл: це ціла родина розподілів,параметризованасимволамиμтаσ. Стандартне позначення для це "простір стану"Ω,множина$\exp(-\frac{1}{2}(x-\mu)/\sigma)^2)dx$$\mu$$\sigma$$\Omega$розподілів. (Я дещо спрощую тут для викладу і продовжуватимуть спрощуватись, коли ми йдемо далі, залишаючись максимально жорсткими.) Його роль полягає у визначенні можливих цілей наших статистичних процедур: коли ми щось оцінюємо, ми підбір одного (а іноді і більше) елементів .$\Omega$

Іноді простори станів явно параметризуються, як у . У цьому описі є відповідність один на один між набором кортежів { ( μ , σ ) } у площині верхньої половини та набором розподілів, які ми будемо використовувати для моделювання наших даних. Одне значення такої параметризації полягає в тому, що тепер ми можемо конкретно посилатися на розподіли в Ω за допомогою впорядкованої пари дійсних чисел.$\Omega = \{\mathcal{N}(\mu, \sigma^2)|\mu \in \mathbb{R}, \sigma \gt 0\}$$\{(\mu,\sigma)\}$$\Omega$

В інших випадках простіри станів не є явними параметрами. Прикладом може бути набір усіх одномодальних безперервних розподілів. Нижче ми розглянемо питання про те, чи в будь-якому випадку в таких випадках можна знайти адекватну параметризацію.

Параметризації

Як правило, параметризація з , є відповідність (математична функція ) з підмножини R д (з г кінцева) , щоб Ом . Тобто він використовує впорядковані набори d -tuples для позначення розподілів. Але це не просто будь-яке листування: воно повинно бути «добре поведене». Щоб зрозуміти це, розглянемо набір усіх постійних розповсюджень, PDF-файли яких мають кінцеві очікування. Це широко розглядалося б як "непараметричне", в тому сенсі, що будь-яка "природна" спроба параметризації цього набору буде включати в себе лічильну послідовність дійсних чисел (з використанням розширення на будь-якій ортогональній основі). Тим не менше, оскільки цей набір має кардинальність $\Omega$$\mathbb{R}^d$$d$$\Omega$$d$ , що є кардинальністю дій, між цими розподілами та R повинно існувати певна відповідність. Парадоксально, але, здавалося б, це зробило бпараметризованийпростір станівєдинимреальним параметром!$\aleph_1$$\mathbb{R}$

Парадокс вирішується, зазначивши, що одне реальне число не може насолоджуватися "приємними" відносинами з розподілами: коли ми змінюємо значення цього числа, розподіл, якому він відповідає, у деяких випадках повинен змінюватися радикально. Ми виключаємо такі "патологічні" параметризації, вимагаючи, щоб розподіли, що відповідають близьким значенням їх параметрів, самі повинні бути "близькими" один до одного. Обговорення відповідних визначень "близько" заведе нас далеко, але я сподіваюся, що цього опису достатньо, щоб продемонструвати, що параметр є набагато більшим, ніж просто називати певний розподіл.

Властивості розподілів

Завдяки багаторазовому застосуванню ми звикаємо думати про «властивість» розподілу як про якусь зрозумілу кількість, яка часто з’являється в нашій роботі, як-от її очікування, дисперсія тощо. Проблема з цим як можливим визначенням "власності" полягає в тому, що це занадто розпливчасте і недостатньо загальне. (Ось де математика була в середині 18 століття, де "функції" розглядалися як кінцеві процеси, застосовані до об'єктів.) Натомість про єдине розумне визначення поняття "властивість", яке завжди буде працювати, - це мислити властивість як будучи числом, яке однозначно присвоюється кожному розподілу в $\Omega$. Сюди входять середнє значення, дисперсія, будь-який момент, будь-яке алгебраїчне поєднання моментів, будь-яке квантил і багато іншого, включаючи речі, які навіть неможливо обчислити. Однак він не включає речі, які не мали б сенсу для деяких елементів . Наприклад, якщо Ω складається з усіх розподілів Student t, середнє значення не є дійсним властивістю для Ω (оскільки t 1 не має середнього значення). Це ще раз вражає нас, наскільки наші ідеї залежать від того, з чого насправді складається Ω .$\Omega$$\Omega$$\Omega$$t_1$$\Omega$

Властивості не завжди є параметрами

Властивість може бути настільки складною функцією, що вона не послужила б параметром. Розглянемо випадок "Нормального розподілу". Ми можемо хотіти знати, чи є середнє значення справжнього розподілу при округленні до найближчого цілого числа. Це властивість. Але він не буде служити параметром.

Параметри - це не обов'язково властивості

Якщо параметри та розподіли знаходяться у відповідності один до одного, то, очевидно, будь-який параметр і будь-яка функція параметрів для цього питання є властивістю згідно нашого визначення. Але між параметрами та розподілами не повинно бути однозначного відповідності: іноді кілька розподілів повинні бути описані двома або більше чітко різними значеннями параметрів. Наприклад, параметр розташування для точок на кулі, природно, використовував би широту та довготу. Це добре - за винятком двох полюсів, які відповідають заданій широті та будь-якій дійсній довготі. місце(точка на сфері) дійсно є властивістю, але довгота її не обов'язково є власністю. Хоча існують різні ухили (наприклад, просто оголосити довготу полюса нульовою, наприклад), ця проблема підкреслює важливу концептуальну різницю між властивістю (яка однозначно пов'язана з розподілом) та параметром (що є способом маркування розподіл може бути і не унікальним).

Статистичні процедури

Ціль оцінки називається оцінкою . Це просто власність. Статистик не може вибрати оцінку: це провінція її клієнта. Коли хтось до вас звернеться зі зразком сукупності і попросить вас оцінити 99-й відсоток населення, ви, швидше за все, звільниться, подавши оцінку середнього рівня! Ваша робота, як статистик, полягає в тому, щоб визначити хороший порядок оцінки оцінки, яку ви отримали. (Іноді ваша робота полягає в тому, щоб переконати свого клієнта, що він вибрав неправильну оцінку для своїх наукових цілей, але це вже інше питання ...)

$\Omega$

Оцінювачі

$\Omega$$\Omega$

$t$$\theta$ $F \in \Omega$$F$$s$$t(s)$$\theta(F)$$F$$t(s)$$\theta(F)$$F$$\Omega$

$F \in \Omega$$t_1$$t$$t$

("Баєсівський" статистик завжди буде порівнювати ризики шляхом усереднення за "попереднім" розподілом можливих станів (як правило, надається клієнтом). Статистик "частота" може зробити це, якщо такий попередній обгрунтовано існує, але він також готовий порівнюйте ризики іншими способами ухилення від байесів.)

Висновки

$t$$\theta$$\theta$$t$$\theta$$\theta$

$\Omega$$t$

Як і у багатьох запитаннях щодо визначень, відповіді повинні бути прицілені як до основних принципів, так і до того, як терміни використовуються на практиці, які часто можуть бути хоч трохи розкутими або непослідовними, навіть з боку осіб, які добре обізнані, і багато іншого що важливо, змінний від громади до спільноти.

Один загальний принцип полягає в тому, що статистика - це властивість вибірки, і відома константа, а параметр - відповідна властивість сукупності, і так невідома константа. Слово "відповідне" тут слід розуміти як досить еластичне. Між іншим, саме це відмінність і саме ця термінологія мають менше століття, введені Р. А. Фішером.

Але

1. Набір вибірки та сукупності не характеризує всіх наших власних проблем. Часові ряди - один з основних класів прикладів, коли ідея є скоріше основним процесом генерування, і щось подібне, можливо, є глибшою та загальнішою ідеєю.

2. Існують налаштування, в яких змінюються параметри. Знову ж, аналіз часових рядів дає приклади.

3. До головного, ми на практиці не вважаємо всі властивості популяції чи процесу як параметри. Якщо деяка процедура передбачає модель нормального розподілу, то мінімальний і максимальний не є параметрами. (Дійсно, згідно з моделлю, мінімум і максимум є довільно великими від’ємними і позитивними числами в будь-якому випадку, не те, що нас повинно турбувати.)

Я б сказав, що колись Вікіпедія вказує тут у правильному напрямку, і практика, і принцип дотримуються, якщо ми говоримо, що параметр - це все, що ми оцінюємо .

Це допомагає і з іншими питаннями, які викликали спантеличення. Наприклад, якщо ми обчислимо порізану середню на 25%, що ми оцінюємо? Обґрунтованою відповіддю є відповідна властивість населення, яка по суті визначається методом оцінки. Однією з термінологій є те, що оцінювач має оцінку, що б не оцінював. Починаючи з якоїсь платонічної ідеї властивості "там" (скажімо, спосіб розподілу) і продумувати, як оцінити це розумно, як і придумувати хороші рецепти для аналізу даних і продумувати те, що вони мають на увазі, коли вони розглядаються як умовивід.

Як часто в прикладній математиці чи науці, є параметр двоякий аспект. Ми часто думаємо про це як про щось справжнє, що ми виявляємо, але також правда, що це щось визначене нашою моделлю процесу, так що воно не має сенсу поза контекстом моделі.

Два досить різні моменти:

1. Багато вчених використовують слово "параметр" так, як статистики використовують змінну. У мене є людина вченого, а також статистична, і я б сказав, що це прикро. Змінні та властивості - це кращі слова.

2. У дивовижному вживанні англійської мови надзвичайно поширене, що цей параметр вважається обмеженням або межами, які можуть бути наслідком деякої первісної плутанини між "параметром" і "периметром".

Примітка про оціночну точку зору

Класична позиція полягає в тому, що ми визначаємо параметр заздалегідь, а потім вирішуємо, як його оцінити, і це залишається практикою більшості, але повернення процесу не є абсурдним і може бути корисним для деяких проблем. Я називаю це точкою зору оцінки. Це в літературі принаймні 50 років. Тукі (1962, с. 60) закликав це

"Ми повинні приділити ще більше уваги тому, щоб почати з оцінювача і виявити, що є розумною оцінкою, і виявити, що розумно вважати оцінювачем як оцінним".

Подібну точку зору були досить детально та глибоко розроблені Біккелем та Леманном (1975) та неофіційно із значною дохідливістю від Мостеллера та Тукі (1977, с. 32-34).

Існує також елементарна версія. Використовувати (скажімо) вибіркове медіанне або геометричне середнє для оцінки відповідного параметру сукупності має сенс незалежно від того, чи є базовий розподіл симетричним, і та сама ж репутація може бути поширена на (наприклад) вибірки обрізаних засобів, які розглядаються як оцінки їх популяційних аналогів .

Бікель, PJ та Е. Л. Леманн. 1975. Описова статистика непараметричних моделей. II. Місцезнаходження . Анали статистики 3: 1045-1069.

Mosteller, F. та JW Tukey. 1977. Аналіз даних та регресія. Редінг, MA: Аддісон-Веслі.

Tukey, JW 1962. Майбутнє аналізу даних . Анали математичної статистики 33: 1-67.

$$\text{pdf}=\frac{1}{\sqrt{2\pi\sigma^2}}e^{-\frac{1}{2}\frac{(x_i-\mu)^2}{\sigma^2}}$$ $1$$2$$\pi$$\approx 3.1415926$$e$$\approx 2.718281828$$X$$x_i$значення також. Іншими словами, як тільки я знаю, що вищевказане рівняння - це те, над чим я повинен працювати, я знаю все, що треба знати, як тільки я дізнаюся значення для та$\boldsymbol\mu$$\boldsymbol\sigma^2$ . Ці значення є параметрами . Зокрема, це невідомі константи, які контролюють поведінку розподілу. Так, наприклад, якщо я хотів би знати значення , яке відповідає , можна визначити , що (або що - небудь ще про те , що розподіл), після того, знаючи і (але не навпаки). Наведені вище привілеї рівняння$X$$25^{\text{th}}\%$$\mu$$\sigma^2$$\mu$і таким чином, що це не має жодного іншого значення. $\sigma^2$

Так само, якби я працював із моделлю множинної регресії OLS, де передбачається процес генерування даних: потім, як тільки я дізнаюся (на практиці, оцінюю ) значення , , , і , я знаю, що все є знати . Все інше, наприклад умовного розподілу де , я можу обчислити, виходячи зі свого знання
β 0 β 1 β 2 σ 2 25- й % Y X = x i β 0 β 1 β 2 σ 2 β 0 β 1 β 2 σ

$$Y=\beta_0 + \beta_1X_1 + \beta_2X_2 + \varepsilon \\ \text{where } \varepsilon\sim\mathcal N(0, \sigma^2)$$ $\boldsymbol\beta_0$$\boldsymbol\beta_1$$\boldsymbol\beta_2$$\boldsymbol\sigma^2$$25^{\text{th}}\%$$Y$$X=x_i$$\beta_0$, , та . Модель множинної регресії вище привілеїв , , та таким чином, що вона не має жодного іншого значення. $\beta_1$$\beta_2$$\sigma^2$$\beta_0$$\beta_1$$\beta_2$$\sigma^2$

(Все це, безумовно, передбачає, що моя модель розподілу населення або процесу генерування даних є правильною. Як завжди, слід пам’ятати, що «всі моделі неправильні, але деякі корисні» - Джордж Бокс .)

Щоб відповісти на ваші запитання більш чітко, я б сказав:

• Ні, будь-які старі кількісні належним чином не повинні бути позначені "параметром".
• н / в
• Характеристики, які мають бути позначені "параметром", залежать від специфікації моделі. У мене немає спеціальної назви для інших кількісних характеристик, але я думаю , що було б добре , щоб називати їх властивість або характеристику або наслідки і т.д.

На це питання було кілька чудових відповідей, я просто подумав, що підсумую цікаву посилання, яка забезпечує досить жорстке обговорення оцінок.

Сторінка віртуальних лабораторій на оцінювачах визначає

• статистики як «спостережувана функція змінного результату».
• "у технічному сенсі параметр є функцією розподілу X"$\theta$

Поняття функції розподілу є дуже загальною ідеєю. Таким чином, кожен приклад, поданий вище, можна розглядати як функцію певного розподілу.

• Кожен квантиль, включаючи міні, медіану, 25 квантиль, макс, може бути функцією розподілу.
• Косоокість - це функція розподілу. Якщо розподіл населення нормальний, то вони будуть нульовими, але це не зупиняє обчислення цих значень.
• Підрахунок числа кореляцій, що перевищує певне значення, є функцією коваріаційної матриці, що, в свою чергу, є функцією багатоваріантного розподілу.
• R-квадрат - це функція розподілу.