Що означає "нормалізація" та як переконатися, що зразок чи розподіл нормалізуються?

18

У мене є запитання, в якому він просить перевірити, чи нормалізується Уніфікований розподіл ( ${\rm Uniform}(a,b)$ ).

Для одного, що означає нормалізація будь-якого розподілу?
І два, як ми можемо перевірити, нормалізується чи ні розподіл?

Я розумію, обчислюючи ми отримуємо нормалізовані дані , але тут він просить перевірити , нормалізується чи ні розподіл .

\frac{X - mean}{sd}

$\frac{X-\text{mean}}{\text{sd}}$

— Ада
джерело

3

Що означає, що розподіл нормалізується, не так просто (і зазвичай це нормалізується не сам розподіл, а випадкова величина). Наприклад, у випадку з мундиром деякі люди можуть означати "лінійно переосмислений розмір, щоб отримати стандартну форму" (тобто отримати

a = 0

$a=0$ і

b = 1

$b=1$ ) ... тоді як інша людина може означати "лінійно переосмислений розмір, отримати середнє значення 0 і sd 1 ". Для уніформи я б зазвичай припускав перше, але як ви бачите з відповіді нижче, інші люди можуть сприймати це як щось інше. Найкращий варіант - попросити людину, яка використовує термін, бути менш неоднозначною.

— Glen_b -Встановити Моніку

1

Більш умовні терміни стандартизовані (для досягнення середнього нуля і SD одиниці) і нормалізуються (щоб довести діапазон до інтервалу

або змінити масштаб векторної норми до

). Таким чином, повторне вираження

є стандартизацією, тоді як помноження щільності

на постійну

щоб

[0, 1]

$[0,1]$

1

$1$

X \to (X - mean) / S D

$X\to (X-\text{mean})/SD$

f

$f$

C

$C$

-нормалізація, тому що

-

норма

.

\int_{- \infty}^{\infty} C f (x) d x = 1

$\int_{-\infty}^\infty Cf(x)dx=1$

\int f (x) d x

$\int f(x)dx$

L^{1}

$L^1$

f

$f$

— whuber

Також запитували на math.SE.

— Діліп Сарват

1

Будь ласка, не перехресне повідомлення , @Ada. Це проти політики ІП. Якщо ви публікуєте Q на одному сайті, а потім думаєте, що вам слід було розмістити його на іншому, позначте свій Q і попросіть модераторів перенести його на вас.

— gung - Відновити Моніку

33

На жаль, терміни використовуються по-різному в різних областях, різними людьми в межах одного поля тощо, тому я не впевнений, наскільки добре тут можна відповісти. Ви повинні переконатися, що ви знаєте визначення, яке ваш викладач / підручник використовує для "нормалізованого". Однак ось декілька загальних визначень:

У центрі: Стандартизований:

X - m e a n

$X-{\rm mean}$

Нормалізовано:

\frac{X - mean}{sd}

$\frac{X-\text{mean}}{\text{sd}}$

Нормалізуючив цьому сенсі ваші дані перерозподіляє на одиничний інтервал. Стандартизаціяперетворює ваші дані в

-scores, як зазначає @Jeff. Ацентрированиепросто робить середнє значення ваших даних рівним

.

\frac{X - min (X)}{max (X) - min (X)}

$\frac{X-\min(X)}{\max(X)-\min(X)}$

z

$z$

0

$0$

Тут варто визнати, що всі три з них є лінійними перетвореннями ; як такі вони не змінюють форму вашого розповсюдження . Тобто, іноді люди називають перетворення -score "нормалізуючим" і вважають, що через зв'язок -scores з нормальним розподілом це робить їх дані нормально розподіленими. Це не так (як зазначає @Jeff, і як ви могли сказати, будуючи свої дані до і після). Якщо вас зацікавить, ви можете змінити форму своїх даних, наприклад, використовуючи сімейство перетворень Box-Cox . $z$ $z$

Що стосується того, як ви могли перевірити ці перетворення, це залежить від того, що саме мається на увазі під цим. Якщо вони означають просто перевірити правильність роботи коду, ви можете перевірити засоби, SD, мінімум та максимум.

— gung - Відновити Моніку
джерело

1

Я бачив, як нормалізовані пропонують стандартизувати або пропонувати встановити стандартний нормальний розподіл, тобто

, тому три нормалізованих , швидше за все, будуть неправильно зрозумілими. Коментар Ада щодо застосування нормалізуючої константи до функції ймовірності є ще однією можливою інтерпретацією.

Φ^{- 1} (F (X))

$\Phi^{-1}(F(X))$

— Генрі

4

Використовуючи формулу, яку ви надали для кожного балу у вашій вибірці, ви перетворюєте їх усі на z-бали .

$0$ $1$

Мета цього - скласти все в одиниці відносно стандартного відхилення вашої вибірки. Це може бути корисно для різних цілей, наприклад, для порівняння двох різних наборів даних, які були оцінені за допомогою різних одиниць (можливо, сантиметри та дюйми).

Важливо не плутати це з запитанням, чи нормальний розподіл є нормальним , тобто чи він наближається до розподілу Гаусса .

— Джефф
джерело

тож, щоб перевірити, нормалізувався чи ні Уніфікований розподіл, було б еквівалентно сказати E (X) = 0 і Var (X) = 1, де X ~ Уніформа (a, b)?

2

дані навіть не повинні бути з рівномірного розподілу, вони можуть бути з будь-якого розподілу. також це справедливо лише за допомогою наданої вами формули; дані можуть бути нормалізовані іншими способами, ніж використання z-балів. наприклад, як кажуть, показники IQ нормалізуються з оцінкою 100 і стандартним відхиленням 15.

— Джефф

1

Після консультації з ТА, питання, що задавали, було, якщо

\int_{- \infty}^{\infty} f (x) d x = 1

$\int_{-\infty}^{\infty}f(x)dx=1$

$f(x)$ у цьому випадку - щільність рівномірної (a, b).

— Ада
джерело

2

Термінологія, яка тут використовується, полягає в тому, що функція щільності ймовірності розподілу нормалізується. Тому що це відображає аксіоматичний факт, що загальна ймовірність повинна дорівнювати

1

$1$ , запитуючи, чи нормалізується сам розподіл (у цьому сенсі) завжди однакова тривіальна відповідь: звичайно.

— whuber

Це ми просимо перевірити. f (x) насправді не повинен бути PDF-файлом, і це може бути будь-яка негативна функція. Для будь-якої негативної функції, де вищезгадане не задовольняє, ми завжди можемо помножити на нормалізуючу константу

— Ада

1

Не завжди. Наприклад, нехай

f (x) = e^{- x}

$f(x)=e^{-x}$ , негативна функція, визначена на всіх дійсних числах: нормалізуючої константи немає. Але коли вам скажуть, як у вашому запитанні запитання, що "так-то і є PDF для такого-і-такого розповсюдження", тоді нічого не можна перевірити: за визначенням він інтегрується в єдність.

— whuber

Це правда, не будь-яка негативна функція, де ми можемо змусити її задовольняти вищевказаній умові, навіть якщо помножити на нормалізуючу константу.

— Ада