Обчислення стандартної помилки після log-перетворення

19

Розглянемо випадковий набір чисел, які зазвичай розподіляються:

x <- rnorm(n=1000, mean=10)

Ми хотіли б знати середню та стандартну помилки середньої величини, тому робимо наступне:

se <- function(x) { sd(x)/sqrt(length(x)) }
mean(x) # something near 10.0 units
se(x)   # something near 0.03 units

Чудово!

Однак припустимо, що ми не обов'язково знаємо, що наш вихідний розподіл слід нормальному розподілу. Ми записуємо-перетворюємо дані та виконуємо той же стандартний обчислення помилок.

z <- log(x, base=10)
mean(z) # something near 1 log units
se(z)   # something near 0.001 log units

Класно, але тепер нам потрібно перетворити назад, щоб отримати відповідь в одиницях НЕ журналів.

10^mean(z) # something near 10.0 units
10^se(z)   # something near 1.00 units

Моє запитання: Чому для звичайного розподілу стандартна помилка відрізняється залежно від того, чи була вона обчислена від самого розподілу чи вона була перетворена, обчислена та зворотно трансформована? Примітка: засоби вийшли однаковими незалежно від трансформації.

РЕДАКТИКА №1: Зрештою, я зацікавлений у розрахунку середнього та довірчого інтервалів для нешироко розповсюджених даних, тому, якщо ви можете дати певні вказівки, як обчислити 95% ІС на перетворених даних, у тому числі про те, як зробити зворотну трансформацію до їх рідних одиниць , Я би оцінив це!
ЗАКРІБНА РЕДАКТА №1

EDIT № 2: Я спробував використати квантильну функцію, щоб отримати 95% довірчі інтервали:

quantile(x, probs = c(0.05, 0.95))     # around [8.3, 11.6]
10^quantile(z, probs = c(0.05, 0.95))  # around [8.3, 11.6]

Отже, той сходився на одній відповіді, що добре. Однак використання цього методу не забезпечує точно такий же інтервал, використовуючи ненормовані дані з "малими" розмірами вибірки:

t <- rlnorm(10)
mean(t)                            # around 1.46 units
10^mean(log(t, base=10))           # around 0.92 units
quantile(t, probs = c(0.05, 0.95))                     # around [0.211, 4.79]
10^(quantile(log(t, base=10), probs = c(0.05, 0.95)))  # around [0.209, 4.28]

Який метод вважали б "правильнішим". Я припускаю, що можна вибрати найбільш консервативну оцінку?

Як приклад, ви б повідомили цей результат для ненормованих даних (t) як середнього значення 0,92 одиниці з довірчим інтервалом 95% [0,211, 4,79]?
ЗАКРІБНА РЕДАКТА №2

Дякую за ваш час!

confidence-interval data-transformation descriptive-statistics

— спантеличений
джерело

1

SE - SD, поділене на квадратний корінь N. Не тільки N.

— Penguin_Knight

3

Спасибі! Я вирішив цю проблему. Однак питання, яке у мене виникає, залишається.

— спантеличено

12

$e^{\text{sd}(\log(Y))}$ $\text{sd}(Y)$

$\text{sd}(Y)$ $\text{sd}(\log(Y))$

Вар (г (Х)) \approx {(г^{'} ({мк}_{Х}))}^{2} σ_{Х}^{2} .

$\text{Var}(g(X))\approx \left(g'(\mu_X)\right)^2\sigma^2_X\,.$

$X$ $g(X)=\exp(X)$

$\text{Var}(\exp(X))\approx \exp(\mu_X)^2\sigma_X^2$

$\text{sd}(\exp(X))\approx \exp(\mu_X)\sigma_X$

Ці поняття відносяться до розподілу вибірки.

Це, як правило, працює досить добре, якщо стандартне відхилення дійсно невелике порівняно із середнім значенням, як у вашому прикладі.

> mean(y)
[1] 10
> sd(y)
[1] 0.03
> lm=mean(log(y))
> ls=sd(log(y))
> exp(lm)*ls
[1] 0.0300104

Якщо ви хочете перетворити CI для параметра , це працює, трансформуючи кінцеві точки.

$E(\exp(X))\approx \exp(\mu_X)\cdot (1+\sigma_X^2/2)$ $(c.\exp(L),c.\exp(U))$ $L,U$ $c$ $1+\sigma_X^2/2$

Якщо ваші дані приблизно в нормі в масштабі журналу, ви можете розцінити це як проблему створення інтервалу для середнього значення.

— Glen_b -Встановити Моніку
джерело

1

Дякую Glen_b. Я ніколи цього не дізнавався на уроці статистики.

— спантеличено

2

\begin{array}{rcl} Е [f (Х)] & \approx & f ({мк}_{Х}) + \frac{f^{''} ({мк}_{Х})}{2} σ_{Х}^{2} \\ = & досвід ({мк}_{Х}) (1 + \frac{σ_{Х}^{2}}{2}) \end{array}

$\begin{eqnarray*}\text{E}[f(X)] &\approx& f(\mu_X)+\frac{f^{\prime\prime}(\mu_X)}{2}\sigma_X^2\\ &=& \exp(\mu_X)\left(1 +\frac{\sigma_X^2}{2}\right) \end{eqnarray*}$

\exp (μ_{x}) ≫ σ_{X}^{2}

$\exp(\mu_x)\gg\sigma_X^2$

E [\exp (X)]

$\text{E}[\exp(X)]$

Дякую @Dezmond Так, це правильно. Допоправню свою відповідь, що частина її наприкінці є доволі виправданою.

— Glen_b -Встановіть Моніку

0

Здається, ви ефективно хочете, щоб стандартна геометрична помилка була схожа на середню геометричну exp(mean(log(x))).

Хоча може здатися обґрунтованим обчислити це як:

exp(sd(log(x)/sqrt(n-1)))

Ви та інші вже вказали, що це не правильно з кількох причин. Замість цього використовуйте:

exp(mean(log(x))) * (sd(log(x))/sqrt(n-1))

Яке середнє геометричне значення, помножене на стандартну помилку журналу. Це має досить добре наблизити "природну" стандартну помилку.

Джерело: https://www.jstor.org/stable/pdf/2235723.pdf

— dmp
джерело