Об'єктивна оцінка матриці коваріації для множинні цензуровані дані

Хімічні аналізи зразків навколишнього середовища часто цензуруються нижче за межами звітності або різними межами виявлення / кількості. Останні можуть варіюватися, як правило, пропорційно значенням інших змінних. Наприклад, зразок з високою концентрацією одного з'єднання, можливо, повинен бути розведений для аналізу, в результаті чого пропорційна інфляція меж цензури для всіх інших сполук, що аналізуються одночасно в цьому зразку. Як інший приклад, іноді наявність сполуки може змінити реакцію тесту на інші сполуки ("матрична інтерференція"); коли це виявиться лабораторією, вона відповідно завищить свої межі звітності.

Я шукаю практичний спосіб оцінити всю дисперсійно-коваріаційну матрицю для таких наборів даних, особливо коли багато сполук зазнають понад 50% цензури, що часто буває. Загальноприйнята модель розподілу полягає в тому, що логарифми (справжніх) концентрацій мультинормально розподіляються, і це, здається, добре відповідає практиці, тому рішення цієї ситуації було б корисним.

(Під "практичним" я маю на увазі метод, який можна надійно кодувати принаймні в одному загальнодоступному програмному середовищі, такому як R, Python, SAS тощо) таким чином, що виконується досить швидко для підтримки ітеративних перерахунків, таких як багаторазова імпутація, і це досить стабільно [саме тому я не бажаю досліджувати реалізацію BUGS, хоча байєсівські рішення взагалі вітаються].)

Заздалегідь дякую за ваші думки з цього приводу.

Я не повністю усвідомлював питання про матричну інтерференцію, але ось один підхід. Дозволяє:

- вектор, який представляє концентрацію всіх цільових сполук у нерозведеному зразку.$Y$

- відповідний вектор у розведеному зразку.$Z$

- коефіцієнт розведення, тобто зразок розбавляється d : 1.$d$$d$

Наша модель:

$Y \sim N(\mu,\Sigma)$

$Z = \frac{Y}{d} + \epsilon$

де являє собою похибку через помилки розведення.$\epsilon \sim N(0,\sigma^2\ I)$

Отже, випливає, що:

$Z \sim N(\frac{\mu}{d}, \Sigma + \sigma^2\ I)$

Позначимо вищерозподілений по f Z ( . ) .$Z$$f_Z(.)$

Нехай - спостережувані концентрації, а τ являє собою поріг випробувального приладу, нижче якого він не може виявити з'єднання. Тоді для сполуки i t h маємо:$O$$\tau$$i^{th}$

$O_i = Z_i I(Z_i > \tau) + 0 I(Z_i \le \tau)$

Не втрачаючи загальності, нехай перші сполуки будуть такими, що вони знаходяться нижче порогу. Тоді функцію ймовірності можна записати так:$k$

$L(O_1, ... O_k, O_{k+1},...O_n |- ) = [\prod_{i=1}^{i=k}{Pr(Z_i \le \tau)}] [\prod_{i=k+1}^{i=n}{f(O_i |-)}]$

де

$f(O_i |-) = \int_{j\neq i}{f_Z(O_i|-) I(O_i > \tau)}$

Оцінка - це питання використання або максимальної ймовірності, або байєсівських ідей. Я не впевнений, наскільки це можна сказати, але я сподіваюся, що він дає вам деякі ідеї.

Іншим більш обчислювально можливим варіантом було б пристосування матриці коваріації за моментом відповідності за допомогою моделі, яка отримала назву "діхомізований Гаусс", насправді просто модель копули Гаусса.

Нещодавній документ Macke et al 2010 описує процедуру закритої форми для встановлення цієї моделі, яка включає лише (цензуровану) емпіричну матрицю коваріації та обчислення деяких біваріантних нормальних ймовірностей. Ця ж група (лабораторія Бетге в MPI Tuebingen) також описала гібридні дискретні / безперервні гауссові моделі, які, мабуть, є те, чого ви тут хочете (тобто, оскільки гауссові РВ не є повністю «дихотомізованими» - лише ті, що знаходяться нижче порогового рівня).

Критично це не оцінка ML, і я боюся, що я не знаю, які його властивості зміщення.

Скільки сполук у вашому зразку? (Або наскільки велика матриця коваріації, про яку йдеться?).

Алан Генц має дуже приємний код на різних мовах (R, Matlab, Fortran; див. Тут ) для обчислення інтегралів багатовимірної нормальної щільності над гіпер прямокутниками (тобто типи інтегралів, які потрібно оцінити ймовірність, як зазначає користувач28).

Я використовував ці функції ("ADAPT" і "QSIMVN") для інтегралів розміром приблизно 10-12, а кілька функцій на цій сторінці рекламують інтеграли (та пов'язані з ними похідні, які можуть знадобитися) для проблем розміром 100. Я не знаю, чи достатньо розмірів для ваших цілей, але якщо так, то це, ймовірно, може дозволяти вам знайти максимальну оцінку ймовірності за градієнтним підйомом.