У мене є дві 2 години GPS даних зі швидкістю вибірки 1 Гц (7200 вимірювань). Дані наведені у вигляді , де - невизначеність вимірювання.N $(X, X_\sigma, Y, Y_\sigma, Z, Z_\sigma)$$N_\sigma$

Коли я беру середнє значення всіх вимірювань (наприклад, середнє значення Z за ці дві години), яке його стандартне відхилення? Я, звичайно, можу розрахувати стандартне відхилення від значень Z, але тоді я нехтую тим фактом, що відомі вимірювальні невизначеності ...

Редагувати: дані є з однієї станції, і всі координати переглядаються щосекунди. Через супутникові сузір'я тощо, кожне вимірювання має різну невизначеність. Мета мого аналізу - знайти зрушення внаслідок зовнішньої події (тобто землетрусу). Я хотів би взяти середнє значення для 7200 вимірювань (2 год) перед землетрусом, а інше - за 2 год після землетрусу, а потім обчислити отриману різницю (наприклад, по висоті). Для того, щоб уточнити стандартне відхилення цієї різниці, мені потрібно знати стандартне відхилення двох засобів.

Я підозрюю, що попередні відповіді на це питання можуть бути трохи поза оцінкою. Мені здається, що те, що насправді тут задають оригінальний плакат, можна перефразувати як "з урахуванням серії векторних вимірювань: з , і коваріація вимірювання :

$$\vec{\theta}_{i} = \left( \begin{array}{c} X_{i} \\ Y_{i} \\ Z_{i} \end{array}\right)$$ $i=1, 2, 3,...,7200$ $$C_{i} = \left( \begin{array}{ccc} X_{\sigma,i}^{2} & 0 & 0 \\ 0 & Y_{\sigma,i}^{2} & 0 \\ 0 & 0 & Z_{\sigma,i}^{2} \end{array} \right)$$ як би я правильно обчислив коефіцієнт зваженого значення для коваріації для цієї серії векторних вимірювань, а потім, як я правильно розрахував його стандартне відхилення? "Відповідь на це питання можна знайти у багатьох підручниках, що спеціалізуються на статистиці фізичних наук Одним із прикладів, який мені подобається, зокрема, є Фредерік Джеймс, "Статистичні методи в експериментальній фізиці" , 2-е видання, World Scientific, 2006, розділ 11.5.2, "Об'єднання незалежних оцінок", стор 323-324. Ще один дуже хороший, але Більш вступний текст рівня, який описує середньозважене середньозважене обчислення для скалярних значень (на відміну від повних векторних величин, як це представлено вище) - Філіп Р. Бевінгтон та Д. Кіт Робінсон, "Зменшення даних та аналіз помилок для фізичних наук ", 3-е видання, McGraw-Hill, 2003, розділ 4.1.x, "Зважування даних - неоднорідні невизначеності". Оскільки у записі афіші трапилася діагоналізована коваріаційна матриця в цьому випадку (тобто всі позадіагональні елементи дорівнюють нулю), проблема насправді розділяється на три індивідуальні (тобто X, Y, Z) скалярні середньозважені задачі, тому аналіз Бевінгтона та Робінсона також однаково добре застосовується і тут.

Взагалі, відповідаючи на запитання stackexchange.com, зазвичай не вважаю корисним перепаковувати довгі виводи, які вже були представлені в численних підручниках - якщо ви хочете по-справжньому зрозуміти матеріал та зрозуміти, чому відповіді виглядають на Як вони це роблять, то вам дійсно слід просто піти і прочитати пояснення, які вже були опубліковані авторами підручника. Зважаючи на це, я просто перейду безпосередньо до повторного викладу відповідей, які вже надали інші. Від Фредеріка Джеймса, встановивши , середньозважене значення: і коефіцієнт зваженого середнього значення:$N=7200$

$$\vec{\theta}_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1} \left( \sum_{i=1}^{N} C_{i}^{-1} \vec{\theta_{i}} \right)$$ $$C_{mean} = \left( \sum_{i=1}^{N} C_{i}^{-1} \right)^{-1}$$ Ця відповідь є повністю загальною і буде дійсною незалежно від того, що форму , навіть для недіагональних коваріаційних матриць вимірювання.$C_{i}$

Оскільки так трапляється, що коваріації вимірювань є діагональними в цьому конкретному випадку, аналіз Бевінгтона та Робінсона також може бути використаний для обчислення середньозважених засобів для окремих , та . Форма скалярної відповіді подібна до форми векторної відповіді: а дисперсія - або рівнозначно, і аналогічно$X_{i}$$Y_{i}$$Z_{i}$

$$X_{mean} = \frac{\sum_{i=1}^{N} \frac{X_{i}}{X_{\sigma,i}^{2}}}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ $$X_{\sigma,mean}^{2} = \frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}$$ $$X_{\sigma,mean} = \sqrt{\frac{1}{\sum_{i=1}^{N} \frac{1}{X_{\sigma,i}^{2}}}}$$ $Y_{mean}, Y_{\sigma, mean}$і . Короткий запис у Вікіпедії, який також відповідає цій самій відповіді для скалярного випадку, доступний тут .$Z_{mean}, Z_{\sigma, mean}$

Це слід легко вирішити, використовуючи байєсівські умовиводи. Ви знаєте вимірювальні властивості окремих точок відносно їх справжнього значення і хочете зробити висновок про середнє значення сукупності та SD, що генерувало справжні значення. Це ієрархічна модель.

Перефразування проблеми (основи Байєса)

Зауважте, що тоді як ортодоксальна статистика дає вам єдине середнє значення, в байесівських рамках ви отримуєте розподіл достовірних значень середнього. Наприклад, спостереження (1, 2, 3) із SD (2, 2, 3) могли бути сформовані за максимальною оцінкою ймовірності 2, але також у середньому 2,1 або 1,8, хоча дещо рідше (за даними) ПЛЮС. Отже, крім SD, ми також підводимо середнє значення .

Ще одна концептуальна відмінність полягає в тому, що ви повинні визначити свій рівень знань, перш ніж робити спостереження. Ми називаємо це пріорами . Ви можете заздалегідь знати, що певна ділянка була відсканована і в певному діапазоні висоти. Повна відсутність знань полягала б у тому, щоб мати рівномірний (-90, 90) градусів як попередній у X та Y, а може бути і рівномірний (0, 10000) метрів по висоті (над океаном, під найвищою точкою на землі). Ви повинні визначити розподілення пріорів для всіх параметрів, які ви хочете оцінити, тобто отримати задні розподіли . Це справедливо і для стандартного відхилення.

Отже, перефразовуючи свою проблему, я припускаю, що ви хочете зробити висновок про достовірні значення для трьох засобів (X.mean, Y.mean, X.mean) та трьох стандартних відхилень (X.sd, Y.sd, X.sd), які можуть мати генерував ваші дані.

Модель

Використовуючи стандартний синтаксис BUGS (використовуйте WinBUGS, OpenBUGS, JAGS, stan або інші пакети для запуску цього), ваша модель виглядатиме приблизно так:

  model {
    # Set priors on population parameters
    X.mean ~ dunif(-90, 90)
    Y.mean ~ dunif(-90, 90)
    Z.mean ~ dunif(0, 10000)
    X.sd ~ dunif(0, 10)  # use something with better properties, i.e. Jeffreys prior.
    Y.sd ~ dunif(0, 10)
    Z.sd ~ dunif(0, 100)

    # Loop through data (or: set up plates)
    # assuming observed(x, sd(x), y, sd(y) z, sd(z)) = d[i, 1:6]
    for(i in 1:n.obs) {
      # The true value was generated from population parameters
      X[i] ~ dnorm(X.mean, X.sd^-2)  #^-2 converts from SD to precision
      Y[i] ~ dnorm(Y.mean, Y.sd^-2)
      Z[i] ~ dnorm(Z.mean, Z.sd^-2)

      # The observation was generated from the true value and a known measurement error
      d[i, 1] ~ dnorm(X[i], d[i, 2]^-2)  #^-2 converts from SD to precision
      d[i, 3] ~ dnorm(Y[i], d[i, 4]^-2)
      d[i, 5] ~ dnorm(Z[i], d[i, 6]^-2)
    }
  }

Природно, ви стежите за параметрами .mean і .sd і використовуєте їх афіші для висновку.

Моделювання

Я імітував такі дані, як:

# Simulate 500 data points
x = rnorm(500, -10, 5)  # mean -10, sd 5
y = rnorm(500, 20, 5)  # mean 20, sd 4
z = rnorm(500, 2000, 10)  # mean 2000, sd 10
d = cbind(x, 0.1, y, 0.1, z, 3)  # added constant measurement errors of 0.1 deg, 0.1 deg and 3 meters
n.obs = dim(d)[1]

Потім запустили модель, використовуючи JAGS для 2000 ітерацій після спалаху 500 ітерацій. Ось результат для X.sd.

Синій діапазон вказує на 95% найвищої задньої щільності або достовірного інтервалу (де ви вважаєте, що параметр є після спостереження за даними. Зауважте, що православний інтервал довіри вам цього не дає).

Червона вертикальна лінія є оцінкою MLE для вихідних даних. Зазвичай так буває, що найвірогідніший параметр за байєсівською оцінкою - це також найбільш вірогідний (максимальна ймовірність) параметр в ортодоксальній статистиці. Але вам не слід надто піклуватися про верхню частину задньої частини. Середнє значення або медіана краще, якщо ви хочете звести їх до єдиного числа.

Зауважте, що MLE / top не на 5, тому що дані були генеровані випадковим чином, а не через неправильну статистику.

Обмеження

Це проста модель, яка наразі має кілька вад.

1. Він не обробляє ідентичність -90 і 90 градусів. Це, однак, можна зробити, зробивши деяку проміжну змінну, яка зміщує крайні значення оцінюваних параметрів у діапазон (-90, 90).
2. X, Y і Z в даний час моделюються як незалежні, хоча вони, ймовірно, співвідносяться, і це слід враховувати, щоб отримати максимальну користь від даних. Це залежить від того, рухався вимірювальний пристрій (послідовна кореляція та спільний розподіл X, Y і Z дасть вам багато інформації) чи стоять нерухомо (незалежність в порядку). Я можу розширити відповідь, щоб підійти до цього, якщо вимагаю.

Я мушу зазначити, що є багато літератури про просторові байєсівські моделі, про які я не знаю.

Я спершу ввожу деякі позначення і встановлюю проблему, використовуючи простий підхід, який ви згадали. Тоді йдіть далі. Я буду використовувати для позначення даного вами вектора Z.$\mathbf{z}$

Розглянемо наступну модель, в якій відсутня явна помилка вимірювання: , де - середнє оцінене значення , а - справжнє середнє значення Z. Тут - вектор помилок у ваших даних, і ви очікуєте, що якщо ваш зразок великий перейде до . Якщо ви просто візьмете спостережувані значення і середнє їх значення, ви отримаєте а якщо обчислити вибіркове стандартне відхилення, ви отримаєте , оцінку справжнього стандартного відхилення сукупності$\bar{Z} = \frac{\sum_{i=1}^n\mu_{Z} + \epsilon_i}{n}$$\bar{Z}$$\mathbf{z}$$\mu_Z$$\mathbf{\epsilon}$$\bar{Z}$$\mu_Z$$Z$$\bar{Z}$$\hat{\sigma}$$\sigma$ . Що робити, якщо ви хочете скористатися деякими знаннями про помилку вимірювання?

$\mathbf{z} = \mathbf{1}\beta + \epsilon$$\mathbf{1}$$\beta$$\bar{Z}$$\mu_Z$$\epsilon$$\mathbf{z}$

$\mathbf{z} = \mathbf{1}\beta + \mathbf{Q}u +\epsilon$$u$$\mathbf{Q}$$\mathbf{z}$$u$$u$$Z_\sigma$$\mathbf{z}$? Якщо так, це можна використовувати для розподілу випадкових ефектів. Як правило, програмне забезпечення для моделювання базових змішаних ефектів передбачає, що випадкові ефекти мають нормальний розподіл (із середнім значенням 0 ...) і оцінить дисперсію для вас. Можливо, ви можете спробувати це для тестування концепції. Якщо ви бажаєте скористатися вашою попередньою інформацією про розподіл похибки вимірювання, в порядку баєсової моделі змішаних ефектів. Ви можете використовувати R2OpenBUGS.

Оцінивши цю модель, стандартна помилка, яку ви отримуєте для залишків - це стандартна помилка, до якої ви виражаєте інтерес. помилка. Це дозволяє отримати більш релевантну оцінку варіації$\epsilon$$\epsilon$

Дивіться цей документ для більш глибокого обговорення такого підходу випадкових ефектів для обліку помилок вимірювання. Ваша ситуація схожа на ситуацію, яку вводять автори для і її помилка вимірювання пошкоджена версія . Приклад у Розділі 4 може запропонувати деякі розуміння вашої ситуації.$\mathbf{D}$$\mathbf{W}$

Як згадує whuber, можливо, ви захочете врахувати автокореляцію у своїх даних. Використання випадкових ефектів не вирішить цю проблему.